离婚协议书女方名下房子判给男方，但过后女方想收回房子。

律师您好，咨询一下：
婚前买的房子，是女方在单位抓阄抓到的房子，房子是女方名下，男方付了房钱，结婚1年多，女方提出离婚，男方不给房子，离婚协议上写了房子归男方，男方付女方一半房钱。达成协议离婚。之后因为单位的特殊规定：女方让出了房子以后就不能在单位买房子了，所以女方想要回房子（此时房子还没过户，还是女方名下）女方想归还离婚时的一半房钱给男方，并付给男方当初买房时的钱，然后要回房子，但是男方不同意，请问怎么办？