请问：乙方可以要4万元的双倍罚款吗？

甲是某单位工作人员，听说政府要在某破产矿区进行棚户区改造，就连忙去该矿区联系买房，最后以两万元的价格从乙方买了一房，（当时乙方不卖，甲方还被乙方母亲赶跑了，之后甲方又连去3次，乙方出示了房产证，说没全部产权，甲说自己认识很多人可以办理，需要乙方协助即可，还说自己家开了两次家庭会议，都同意买，硬是把两万元摔在乙方家中，并亲自写下了合同，说双方如果谁反悔要赔偿双倍罚款），乙方原来在那开了一个小卖部，自从4月签好合同后，就开始处理小卖部的货物，减价处理煤、货架等相关物品，同时开始租房并对所租房屋进行简单装修，连同小卖部停业等造成了数千元的损失，5月后甲方却突然反悔，说现在房产局不收礼也不给办过户了，却只同意赔偿500元的损失，请问这样合理吗？乙方可以要4万元的双倍罚款吗？