门面房退房违约金怎么算？

我于2014年9月5日银行按揭付了首付，房子是门面房，总价是109万，付了54.5万，房地产公司销售员和我们说首付交完贷款很快能下来。就可以拿到钥匙，现在都一个多月了，中途房地产销售员和我们说工商银行首付贷款增加10%，我们拿不出这么多钱。后来说要换银行，然后又过了半个月，说他们和工商银行协调首付又变成了50%。我以前在刚上班的时候办理过信用卡，中途有两个月没有按时交钱，说信用度不好，银行利息又加了3万多块，买个房子弄出这么多事，贷款还没有下来。弄得我现不想买这个房子了，想问一下现在如果退房的话，要不要付违约金，违约金是多少？另外购房合同已经下来了，但合同上没有这一条。