中介隐瞒真实买入价，下家如何维权

你好：我是下家。中介一直声称上家当初的买入价是100万，但是到审税当天才发现买入价实际只有80万，营业税一下子多出1万多元。
我觉得中介对我们隐瞒了上家真实房屋信息，要求从他们的中介费中扣除这笔多出来的费用。请问如果他们不愿意支付，我们应该怎么办？
谢谢。
补充提问：
中介只是写在白纸上算给我们看的，其它没有任何凭证，他只是一直口头上和我们保证。而且我们的交易就差最后过户交易了，这样的情况我们能告到他吗？除了起诉还有什么更好的办法吗