我购房可以违约吗？

本人购买一间办公室，与卖方签订了购房合同（其中未对违约情况做出处罚规定），合同价为60万。本人私下写了字条并且交给物业公司（中介），其中指明购房价格为60万并且声明房产交易产生的所有税费由我方承担（虽不合法，但不知道有没有法律效力）。而后，本人支付了首付款（50%首付，即30万）并且贷款银行已批，现在等着过户以及缴纳房产交易税费。现在出现的问题是：此房产可能由财税部门进行资产评估，房产的评估价可能是67～70万，而本人承诺支付的所有税费有可能增加3.5万～5.2万。本人现在打算如下：1. 如果财税部门不进行评估，按合同价格缴纳税费，则本人支付所有税费，购买此房屋。2.如果财税部门评估房屋的价值是67万以上，请问本人是否可以违约并且取消购房并且要求卖方返还首付款，或是继续购房并且要求本人承诺之外的税费由卖方承担。本人现在不知道怎么做才好，也不知道如果违约本人需要承担什么责任。请告诉我应该怎么做，谢谢。
（另注：本人和卖方之间的交易未经由房产中介进行，而是由无资格经营房产中介业务的物业管理公司进行，现在本人已向该物业公司支付1.2万元中介费，请问如果交易终止的话，本人是否可以要求该物业公司返还已经支付的中介费）