二手房买卖纠纷

我作为买方在4月3号签了一份中介版的二手房买卖合同。由于卖方后来不想卖了，在合同规定的3个工作日内没有配合中介去做公证。后经中介劝说在第5个工作日做了委托公证。之后我在邮政做按揭申请贷款57.6万，同时我也在合同规定的时间存入了首期款，并做了资金监管。由于国家政策收紧，银行客服经理电话告知只能批50万（并未出贷款承诺函），因为与中介承诺的2成首付不符（中介只是口头承诺，合同上写的首付款为：“总金额-定金-银行贷款额”“银行贷款额以银行出具的贷款承诺函的金额为准）我要求换银行做按揭，因为中介说工行可贷到56.5万，后来就撤销了在邮政的资金监管，转到工行做按揭申请，并做了首期款监管。卖方以没有经过他允许，我和中介就私自撤销邮政的监管并转到工行做按揭为由判定买方违约，拒绝履行合同，而且撤销了公证并没收了定金。情况就是这样。请求帮助，我该怎么办。银行监管的首付款有危险吗？