二手房个税纠纷

我最近在佛山买了一套二手房，现在已经办理了过户，中介通知我们去交个税，让我吃惊的是个税，营业税等加起来多达4万多，而卖方不用交任何税。我们就拨打地税局热线，工作人员说个税是由卖方交，然后我们找到中介，中介说合同上写了由我们买方缴纳，但是当时签合同的时候疏忽了这一点没注意看就签字了。

因为我是第一次买房没经验，不懂哪些税由买方还是卖方交，在当时签三方合同的时候中介说我们要交营业税，个税，等等，我们就潜意识的认为这些税都有我来交， 然后问中介这些税大概要多少，他们说2万就够了，我就评估自己的支付能力，觉得OK就签合同了。

现在感觉很冤，因为中介当时根本就没就个税谁交的问题要买卖双方协商的意思，我估算了下自己的交付能力就决定买下这套房子。

现在我真不知道怎么办？非常困扰，昨晚想着这事我差不多又失眠了。希望律师能为我指点方向。非常感谢。

补充提问：
律师您好！
像我这种案件举证容易吗？ 我更多希望结果是卖方交个税，希望能变更合同，撤销那个条款。如果是撤销该合同的话， 我觉得很麻烦。因为我已经交了中介费， 银行按揭费也交， 首付也交了，要他们退钱也会相当麻烦， 按照合同交了首付就可以住进去，我现在已经住进去了，如果撤销合同估计卖方也会要我们补交房租之类的。