我的卖房合同是否有法律效力

您好：我有一套房产，因在外地，所以请我的家人帮我卖房子，但没有书面的委托书，前几天通过二十一世纪中介，我的家人与买房人签订了合同，买房人支付定金，并暂由中介保管，约定待过户时才给卖方。但是，几天后买房人后悔了，不想买房子了。我们要求按照合同违约责任进行。中介想息事宁人，以我们没有正式的委托书为由，想不按照合同违约责任赔付。我们很气愤，因为在与他们签定合同后，我们就推掉了所有其他的买房看房的人，我们感到无形中就损失了很多。我们能否按照合同违约责任主张权益？谢谢！