孩子抚养权

我有一女儿，今年8岁，儿子，今年4岁，今年正月我离了婚，两个孩子都归了我，孩子爸每月1000元生活费，我现居住在我妈家，孩子一直都是我妈带的，也一直住在我妈家，到现在孩子爸也才给2000元生活费，现在孩子爸想要回一个孩子去他那边，但他爱打牌，又酗酒，没什么精力去照顾孩子，孩子一直在我这边生活我也不放心孩子过去，但现在，孩子爸硬抢孩子过去，弄得孩子总是哭，我该怎么样才能帮到孩子，？
补充提问：
可是怎么说孩子爸也不听，不喝酒时还好说话一点，喝了酒就拿孩子撒气我要怎么办呢，，如果可以，我可以不要那1000元生活费，就是别为难孩子！