如果买房人和中介签订有购房委托合同,你们也在中介居间服务下签订了房屋买卖合同,且该房屋买卖合同合法有效的情况下,按购房委托合同约定,买房人是要交一笔中介费给中介公司的,如果你单方不卖房,买房人就要承担这份中介费的损失,所以买房人是可以要求你赔偿的。