房产买卖违约(居间协议)

2016.1，通过中介我与买家签订了房屋的买卖居间合同(当时没有房产证)，约定3月份签订正式买卖合同，当时买家支付了10万元定金，现在我的房子我不想卖了，我这边同意退回买家的10万元定金，同时再补偿买家10万元作为违约金，中介这边我觉得居间协议没有成功，我无需赔偿中介费，但我可以适当赔付中介一些必要的劳务费，不知道我这样的理解对不对？

目前买家想要更多的赔偿，以我违约要求赔付房款20%作为违约金，如果他这样起诉我，法院会支持吗？
补充提问：
居间合同中既有卖方双倍归还定金这条，也有违约方赔偿20%房款作为违约金，2%作为中介费的说法，如果买家按20%房款作为违约金提出赔偿申请，法院会支持吗？