买家逾期签订《房屋买卖合同》

我于2015年7月18日通过中介公司与买方签订了居间协议，房屋售价为325万元协议规定10日内签订《房屋买卖合同》，但是到了7月27日中介公司还没与买方敲定具体签合同时间，到了7月29日，我问中介是否买方出了什么问题怎么还不确定签合同时间，后收到回复说约好7月30日到中介公司签约，可是到了7月30日上午得到中介消息说买家反悔，原因是其他中介公司在翘边，说我的房子只要卖300万，还带买家又看了房，但是此中介我从未给过钥匙，他们之前也是到其他中介公司借钥匙看房的，估计是借的时候私配的钥匙，但是我之前放钥匙的中介公司钥匙也在7月20日都取回了，现在买房的具体反悔原因我只有从中介公司了解，但是我明确说既然已经过了约定时间，买家未能签正式《房屋买卖合同》，按居间协议买房已属于单方违约，可以不退还定金，重新挂盘出售我的房屋吗？