求助 商品房问题~

您好，我在哈尔滨华风海城湾定下一套商品房，已付定金2万，当时因为出差跟开发商协商等出差回来再交首付，他们同意了，等我出差回来后因为是要贷款，售楼小姐说先别交首付看看能不能贷下款，等到银行因为条件不符不能贷款，我又跟开发商协商怎么办，他们要我填退房申请后，我几乎天天催，半个月后他们给我答复说我没按时交首付不给我退定金，又拿他们家律师说事，就是不退还要我告他们去。我一老百姓买套房子都这么艰难，还受开发商欺负，请问您我该怎么办。谢谢！
补充提问：
但是，他们不说他们违约，因为是银行不给贷款，而且他们要我填退房申请的时候把交定金的协议书也给收回了，我现在手里就有一张2万元的发票，其他都没有。