对方转让房屋指标，后反悔，怎么办？

我是山东潍坊高新区的，高新区管委会盖了单位房子，2009年花了2万元买了别人的房屋指标，钱也接着给他了，当时有合同，有证人，房款全是我们交的。四十多万。也选好了房子，今年六七月份交钥匙，可是被转让房屋指标的人突然反悔了，不想转给我们了，要不就是多拿钱，我们可以不还给他房子吗？可以收到法律保护吗？2009年到现在这么长时间了，我们如果在其他地方买的话，房子都涨钱了，还有我爸爸借的民间贷款，25的利息。这些该怎么算呢？ 现在对方找我们谈判，作为我们这一方，应该怎么谈，以什么依据？怎么可以说了不算呢？单位房子，没有跟开发商签合同，但是卖房款的名字全是对方的，涨钱了多要钱，便宜了呢？难道会推给我们钱吗？为了这套房子，我们把原来的住房都卖了，太可恶了。

补充提问：
可我看了一篇跟我们情况一样的案例，最终我们赢了，因为我们才是实际购房人+