如何变更抚养权

我们都是教师，有一个2岁多一点的女儿。由于他经常跟别的女人来往，甚至半夜不归。后来我们离婚了，是他提出来的，女儿归我，他每月给300元的抚养费。领了离婚证后我又在她家住了几个月，刚离婚时双方父母都不知道，一段时间后双方父母才知道的，双方父母希望我们合婚，可他没有半点诚意，常常对我恶语中伤，有时还有武力对我。于是我就带着孩子就搬出来了，可在搬的当天，我们又大吵了一架。他说：“孩子如果跟我，他不给一分钱的抚养费，也不看望孩子；如果跟他，他也不给我看孩子，也不要我给抚养费”，一气之下，就跟他签了一个“要命”的协议，孩子跟了他。之后我去看过孩子两次，他都是百般阻挠，并且说了很多很多非常难听的话，平时还经常发一些下流短信干扰我和我的现男友。他的家里只有60多岁的父母亲并且年迈多病，家里还种很多庄稼，对孩子的管理要差一些。我现在条件很好，有利于孩子的健康成长。现在我非常痛苦，我想要回孩子的抚养权，请问律师，可以吗？