退货引起的关税问题~~

我想问一下以下事件我需不需要负责：
我代表一个国外客户在大连一个工厂买了产品，产品发过去后发现质量有问题，与工厂协商后很久，终于同意客户第二次下单时补了第一次质量有问题的货，然后客户把第一次质量有问题的货发还给厂家，退回的运费工厂有在第二次单里扣除（但没说明是退到港口还是工厂）。现货柜到大连港了，需要付进口关税，清关费等，费用比较高（当时出口时报关买单，核销单不见了，不然可以按退税处理，费用不用那么高）。厂家现不同意出关税与清关等费用。他们说是对我（即对内贸，不是外贸），说是我（中间商）的责任，需由我负责，不然起诉我，请问我需负责吗？