二手房的定金该不该退？

你好！我和买方找个中介公司签了个三方所谓的转让经纪合同，对方付了二万做为定金，待我的二证办下来后双方签署武汉市房地产买卖合同时直接转为首付款，合同也约定了如果由于我的原因合同不能执行，我要双倍退还定金和中介费，中介也只是买方自己找来帮助申请货款的，我也按约定的时间办下了二证，可是由于最近的国家政策一系列出台，货款也不好办了，要提高首付，税也增加了，以此为理由，买方要求退房并退还定金，我该退定金吗？纠结中，谢谢解答！