房产中介以买方未按时支付中介费为由，不继续履行合同导致的违约

我是买方，由于买房时签订了中介服务费约定合同成立时就要全额中介费
当时并没有按合同支付，并口头约定了支付的时间，中介未表示异议
现由于卖方没有按合同要求的时间，拿到首付后7天内完成房屋抵押贷款的注销，主要原因是卖方没有足够的钱去销贷。
故我担心卖方因为没有钱在规定的时间内销贷而导致合同无法进行，我坚持在看到销贷证明后再支付中介服务费。
中介认为我没有按合同规定支付中介费，要求我在支付全部的中介服务费后，才继续将合同履行下去。
现在已经到了我审税的日期，中介来通知我要审税，但是坚持要我先付清中介费，否怎他们就不继续履行合同。而卖方的房屋抵押贷款的注销又没有落实，我拒绝支付中介费，要求看到房屋抵押贷款的注销结清证明再支付中介费。
请问如果由于这个原因导致合同无法按时进行，应该由谁来承担违约责任，谢谢