房产纠纷

我是一名银行职员，几年前买了一套单位的房改房40几平米，后向单位借了一间房，这间房和这套房是隔壁的，我把它打通，连成一套。这样住了几年后我把这套房卖了，但向单位借的这间房我没有归还，也就是还是照样和卖的这套房连在一起。我和买主之间没有任何书面协议或合同，只是口头协商。我已向买主口头说明借的这间房是我们单位的房产，我无权卖单位的这间房，如果单位讨要就得归还。买主已付我全额房款。房产证已交在买主手中，由于单位不肯盖章而过户不成，单位三番五次逼我摧讨这间房，但买主用种种借口占着不腾出这间房，我想起诉买主，有法律依据吗？我可以要求被告支付相关诉讼费用吗？请邮箱回复，银行上班电话不方便。谢谢！