服装加工合同纠纷

我是加工方，加工服装5400件。在加工过程中，因加工期限很紧，交货时质量有问题，委托加工方不愿意由我方将服装拿回返修，承诺由她们帮我们返修，按2.6元/件收取返修费，但是在过了两个月后，委托方告诉我方加工费为7.2元/件，同时在返修时还有1000多件衣服未返修回，故委托方要求我方承担7.2元/件的返修费（5359件），还要承担1000多件衣服的面辅料费，约为50000元，即一共要扣除我们60000多元，请问我们需要付这笔费用吗？怎样才能协商，将我们的损失减到最小？我方只想支付2.6元/件（1000多件）的返修费。