关于房屋出售合同违约问题

去年我和老公要买新房子，手头一时没那么多现金，于是把我们现在住的房子卖了，买家当时和我们签了合同，并且付了一万元现金，合同写明今年1月付一部分钱，剩余的钱今年五一付清，并且写了无论今年房价是升是跌，由买卖双方自己承担。在他付清房款后，我们去办理房产过户并且搬走。可是在四月底的时候，买房说是因为房价跌了，所以不想买了，让我们退他订金还有预付的房款。并且说，我们签订的合同是无效的，因为没有去公证处签，而且签合同的时候旁边也没有律师。
现在就是想问下1.我们签订的合同真的是无效的吗？
2.合同上写了，违约方需要赔付对方房价20%的违约金，并不退还订金，这份合同是他自己拟定的，他现在要赔我们违约金吗？
3.他说我们五一没有搬走，是我们违约了，应该赔钱给他，这个合理吗？
急问，敬请专业律师解答，多谢~