债务追讨问题

律师您好：

我于今年二月帮国外客户在国内寻找了一工厂做货，起初跟他们一业务员联系，价格谈好，后来在我付定金百分之三十（5850RMB）之后，才知他们公司又不能做（他也跟我说了这是他的私单），于是他又找了内地工厂做活，期间他给工厂汇了3200RMB（还剩2650RMB）之后再无跟踪此单，一直是我跟踪工厂直至交货。在此期间，工厂索要4500RMB押金，直至完成5000个数量后，返还10000RMB，目前也只做了1500个，而且客人收到货也不满意。因为很多变故，我也没赚到利润，于是订单结束之后想问他要回本该属于我自己的钱，以4500RMB押金各分一半为由（利润一半），只问他要余款的2250RMB，同时给他看了所有银行单据，包括收到客人的款及我汇给工厂的，以证明确实不赚钱，他拿的是我自己的钱，但他这次扣留不给，执意要在下次合作中返还我，否则担心我再不跟他合作。

目前只有他的收据（写的是定做货的定金）。其实钱不多，但是我自己的，他没有理由剥夺，但如果不给他好处，日后联系不上此人，更没法要回了。我该怎么办？可以索要回现金么，难道只有合作才能拿到我的钱？