离婚协议房子归女方，但是房产证上是男方的名字，现男方反悔

双方离婚后，离婚协议上把房子归女方所有，但是房产证上是男方的名字，一直都没有过户给女方，现在男方带着女儿再婚，反悔当时所签的协议，不肯过户退出房子，当时双方口头承诺房子以后会留给女儿的，而女儿是判给男方抚养的
补充提问：
从协议上看，是男方不对，但双方都很爱这个女儿，男方带着女儿就住在这套房子内，如果女方去法院起诉男方，羸得了房产，是否就此断绝了这份亲情呢？而父女两人也没有别的地方可落脚，女方现在也已成家生子，不缺住房，当时在签离婚协议时，只是口头说明房子日后会给女儿的，父亲做为女儿的监护人，是否可以随女儿一起住？