解除劳动违约金问题

我签的是劳务派遣合同，现用工单位要求提前解除劳务合同，派遣单位（劳动合同的甲方）同意提前解除合同，并支付违约金。我与派遣单位已签订提前解除合同的协议，协议上注明了违约金金额。在支付违约金时，以我在用工单位有借款未还为由，拒付违约金。说明：借款有正常手续，且我也承认此事。借款是出差借的差旅费，当时是我与我的同事一起出差，我借的款。在我回单位时，我的同事没有回，继续留在出差地，当时我给他留了一些钱（用工单位领导要求的）。也就是说所借款项并未全在我手里。所以我认为目前不具备还清上述款项的条件。请问派遣单位拒付违约金理由是否成立（合法）。如不成立，我该采取怎样方式追缴？谢谢！