没领结婚证就结婚了，现在要离婚怎么离

我们是一起打工认识的，结婚的时候我父母不同意，因为我年龄小，而且他家离我家很远，不是一个县城的，当时只是举办了仪式，但一直没领证。婚后生育两个孩子，结婚四年的时间，我差不多每年有七八个月跟孩子都在婆家，他很少来，也很少关心孩子，婆婆公公更不用提，他收入很少，好吃懒做，只给月月我们很少的零用钱，还不是月月给，孩子在他外婆家住，一直都是我妈管他们。前段时间我和孩子回去住，他什么也不干，也不看孩子，没经济收入，因为小事他总和我吵，还动手打人，嚷着要和我离婚，孩子一个也别想带走，让我一个人走。我们没领证现在分手孩子算谁的，我该怎么办？