购房入住几年，产权证未办，现屋主要收回房子。

2005年我家购买了一层楼房，合同上清楚明确的说明屋主办理房屋总产权证书，我们负责办理产权分证的各种费用，2011年的今天，屋主的房产总证办好了，通知我们要给他5000块RMB才能把总证给我们拿去办分证， 理由是他办总证的时候办贵了亏了，又说什么当时卖房屋给我们，卖得太便宜，并扬言如果我们不给他这所谓总证的五千元钱，就把房屋收回去，只给合同上说的违约金三千块。（当时签的购买合同上注明如双方反悔，违约金三千）
我想知道，如果我们拒付他索要的五千块钱，他有权收回房屋并只给合同上的违约费三千就完事了么？
2005年我们已付清房屋款，并已装修好了房屋入住到现在，屋主这种要求我觉得不合理，但我不知道如果我不支付这总证的五千块钱，找法律途径能得到多少帮助。