买二手房斡旋金能否退还呢？谢谢了！

我通过中介买二手房，斡旋金合同我已经签字了，斡旋金是10000块，我交了1千，剩下的打的欠条。但我们提出再次看房时，中介却以各种理由推脱，我们感觉有问题，而且感觉中介的操作也很有问题，斡旋金合同只有一份，我们签完字也没给我们一份复印件，感觉其中有问题，就不想买了，但是中介告诉我们房主已经在斡旋金合同上签字了，现在不买就是违约，必须要把1万块的斡旋金赔偿给房东，否则将诉诸法律。请问我该怎么办？谢谢！
补充提问：
斡旋金合同有我的签名和手印，还留了我的身份证复印件，是否一样没有法律效应呢？合同上违约的日期就快到了，我现在应该采取什么有效的措施要求中介撤销合同呢。而且我怀疑房主并没有签字，只是中介不让我看合同？多谢了！