孩子四个月大协议离婚后我想要回孩子的抚养权

我的宝宝四个月大，正在哺乳期，但是由于经常吵架、生气，母乳就没有了。2010年七月我们协议离婚，婚后宝宝归男方抚养，说好让我看但是现在男方连电话都不接，现在我想孩子，想要回抚养权。男方无工作，都是父母给的，但是父母做工程，有一定积蓄，我无正式工作，都是自己周六日带钢琴课，收入一般在两千多元左右，另外我的父母都是离休干部，退休工资比较高，他们也会帮我带孩子的。我想问我是否可以要回抚养权，把握有多大呢？
补充提问：
补充一下，他几乎没有朋友，在我父母照顾我坐月子时，生气把我父母轰出家门，而且在孩子刚一个月的时候打过我，把我赶出家门，把我的东西都扔出来。我抱着孩子在亲戚家呆了好久。在为了孩子着想的情况下，我委屈求全，但是到孩子第三个月的时候，我们生气，他把家里锁芯换了，这时才一气之下协议离婚。这样我可以要回抚养权吗？现在都不让我看孩子，我很想他，我有什么办法可以要回抚养权呢？