别抢我的孩子

我与已婚男人生下一个孩子，男方没离婚，已有一个儿子，我现在想跟他分手，想另找一个合适的结婚，但孩子不想给他，可是他要跟我抢孩子，请问，孩子一直是我带的，他能抢走我的孩子吗？
补充提问：
我孩子现在4岁了，在他刚刚出生不久，男方在没离婚的同时和我有了孩子，然后又和别的女人在一起好多年，虽然他也爱孩子，但是他只是宠孩子，也不会教育孩子，我想带孩子走，他却总是不让走，还要跟我抢孩子，说我即使现在带走孩子，以后等他离婚了，他也还是要把孩子抢走的，我想问，如果我带孩子嫁给别人之后，他还来抢孩子的话，孩子会判给他吗？