房产纠纷

事情经过：我购买了一处海淀区房产，在签订合同后，由于房子涨价，加上当时我贷款出现了一点问题，在合同执行期间，卖家就担心我贷款批不下来，不配合我进行房屋交易。在我批贷函下来后，合同马上就要到期了，卖家以我批贷函可能是非正常途径为理由，拒绝跟我过户。(这个事情我和中介都疯了，后来我们报警了，警察有记录。)我别逼无奈,为了促成交易，我在极不情愿的情况下，与卖家签订了补充协议，承诺了卖家晚拿到银行尾款一天，就给他2600元的违约金。这样买家才配合与我过户。尽管我很努力的往前赶，最后银行放款还是慢了一些，与约定日期晚了十五天，但是没有给他造成什么损失。在过完户后，他拿着这个协议想我要钱，一共大约4万元的违约金，我不同意给那么多，想跟他协商，他一点也不妥协，拒绝给我交接物业，并拒绝将原房屋内的旧家具搬走，造成我无法入住。后来在协商无果的情况下，我打110开锁公司换锁，目前他的东西还在屋里。
现在卖家去法院打算起诉我违约金的赔偿，并起诉我非法入侵住宅罪、侵占财产罪和故意损毁财物罪。我不知道该怎么办了，请您解答，非常感谢您。