协议离婚后女方不履行抚养权该怎么办？

男方出轨和女方已经协议离婚，小孩抚养权归女方，男方净身出户，房子过给小孩，房贷由男方继续还，男方每月给小孩抚养费，小孩平时由男方父母照顾，在男方父母家附近上幼儿园，周末才接走，现在女方仍想小孩继续在男方父母这边上幼儿园，并计划小学也在这边读，她和男方一个星期轮流来接一次小孩，男方出于愧疚答应了女方的要求，请问男方父母有权提出不再照顾小孩，要求女方把小孩接走，让她履行抚养权吗？如果女方不同意该怎么办？