房屋交易中转按揭手续费及罚金究竟应该由谁承担

　　各位律师，您好！我在广州，去年（09年）我买入一套二手房，在广州兴业银行贷款（当时是签订了3年内不能提前还款，若提前还款则缴纳提前还款额的10％作为违约金），今年1月31日在中介的劝说下我把房子挂牌出售，目前已经与买家、中介签订了三方协议。之前给中介签委托书的时候是要求实收，签三方合同的时候也是说明税费由买方承担。三方合同中与买方约定到兴业银行办理转按手续：合同签订30天内，卖方负责到原抵押银行办理转按手续。
　　　　
　　后来在2月8日我与买家、中介经纪人一起到兴业银行办理相关手续，银行提出办理转按可能需要缴纳10％的违约金，由于三方合同里面对此没有提到谁来承担，因此当时买家、卖方及中介口头约定如果出现这种现象，买卖双方自行解除合同，已经缴纳给中介的中介费再协商解决。
　　　　
　　今年3月初接到银行通知，银行认为转按其实就是提前还款，以我的贷款不足1年为理由，要求缴纳10％的违约金。因此我向买方提出按照之前口头约定撤销合同。但买方此时已经不同意，并坚持这部分罚金应该由我自行解决。现在合同限于僵持状态，买家准备起诉我拖延执行合同，要求赔偿10％房价的损失。
　　　　
　　请问各位律师，房屋交易中转按揭手续费及罚金究竟应该由谁承担？原来口头解除合同的协议是否有效。谢谢！