房产价格问题

2月23日，我看好一套房子，职业顾问给我们打了93折，并把价格全部算好，让在2月28日前办手续。置业顾问让当天交5000元定金，并告知是不退的。
2月28日因工作忙，我们到售楼中心时已经是4点多了，但是我们又不想要那个房子了，想换房子，最后我们换了个小户型的，置业顾问给我们把打折后的价格算好后写在了宣传册子上，我们看了后觉得挺便宜的，于是决定购买，但是置业顾问说领导已经下班走了，没法些换房单，要想留着这个房子的话就得交定金5000，说前面的定金可以在付款时冲抵房款。（之前我们知道小房子按揭是打84折，一次性是81折的，当时置业顾问把价格算好后我们并未核算的）
3月2日我们去办手续付款时，职业顾问发现他把价格给我们算错了，要求我们按84的价格付款。
请问我们应该怎么付，是按84折还是83折，如果我们不想要房子了，请问我们交的2个定金的款给退吗