二手买卖纠纷问题

我出售一套房子，买我房子的人说是给亲戚买的，亲戚在国外暂时回不来暂时不能过户说先做个公证，因为我对房产买卖这方面不太懂就相信他跟他签了协议。协议内是我把在某地的房子多少平以xx的价格买给他，我定于xx日搬家交房，他先交定金xx元，我搬家交钥匙同时配合买方做公证手续，买方付清剩余房款，我不得在把房子卖给他人。后来我知道那人是中介炒房的，我不想把房子买给他了，有什么办法能解除这个协议吗，我现在以我只跟签协议这个人过户为理由不搬家，那个人也不来找我，这事就一直这么托着，可托也不是办法呀，请律师帮帮忙。
补充提问：
“在没过户之前又卖给别人从法律角度讲是允许的”请问这句话是什么意思，我没有跟他做委托公证，他也只交了定金，我们还没有过户，他凭什么卖我的房子，我不明白。