关于小孩抚养权的问题

我和我前夫分居四、五年，后来他找我离婚，当时因为考虑到我自己的年龄，我们就写了一份离婚协议，把小孩抚养权给了他,但是我来照顾。从分居到离婚后，一直还是我带着小孩。可是有一天他突然来要孩子，可孩子又不想和他走。当时我想我是不是一时糊涂，还以为我可以无私的给她幸福，不要男的任何一分钱，带大小孩。可是他既然来要小孩了。我必须又要给他。因为当天他来抱小孩时，有点强行，小孩对他有点反感，哭着不想同他走。我想我是错了，我是不是要拿回抚养权。可是对我以后的路不好走。我只想是给他的，我只要带小孩长大就行。请问我该怎么办。（我前夫有暴力倾向，有吸毒历史，而且他的工资都不够他自己花）