离婚后孩子和房产问题

我（女方）离婚快三年了，协议书上写：“孩子的监护权归男方，但男方无抚养能力由女方代为抚养。

”这么长时间来孩子一直跟着我，而且孩子各方面都挺优秀的。

现在我想要孩子未成年期间的抚养权，因为孩子跟着我对他成长最有利。

请问怎么办？
律师已给我答复，到当地法院要求变更抚养权，我想问如果男方不同意，这种情况下法院会怎么判？（因为男方曾经未经我知情强性带走孩子，只告诉我要由他来抚养孩子了，但过了一个多星期各方面不允许，孩子也不同意，所以孩子还是回到我身边，孩子和我感情非常深！而且现在孩子对父亲有了隔阂和戒备心理，现在孩子已经九周了。）