买方这样算违约吗？

我想咨询一个问题，我是业主，我三月份卖了一套房，跟买家签定了购房合同，他也付了两万定金（但是在中介方托管），我们打算在5月中办理过户手续，但是在这1个多月里中央出了很多政策打压房价，而且买家原打算首付两成的，现在银行放不了那么多款，必须要付三到四成首期才行，因此买家打算不买了。那么我是不是可以没收他的定金，可是买方说责任不在他，是银行放不了款，当时我们合同上写的是首付两成，但是合同中也明明说了首期款不够需要自己补齐，请问他不买是他违约吗 ?他不配合解除合同，中介方也不肯把定金给我，请问我现在应该怎么办？谢谢