男方不肯离婚怎么办

08年8月我老公出轨，我知道后他反复强调会和那个女人断绝关系，因为当时还有感情就一直给他机会，09年1月我发现自己怀孕了，而老公和那女人的关系还是没有了断，在我怀孕期间我也有提过要离婚，他一直不同意离，虽然他对我已经没感情了。一直到我怀孕4个月多，在各方面压力下，他才真正算跟那个女人断绝关系。本来我以为将就着就这么过下去吧，反正他老是出差，但是孩子出生后，他更是家里倒了酱油瓶都不扶一下，一般情况下是什么家务活都不干，更不用提做任何照顾孩子的事情，但是他嘴上说自己是很爱孩子的，而且家用一直都不会很自觉的给，每次都要我反复向他要了，他才会给一点，我很清楚，现在家里的开销大部分都是我自己的收入。这个男人很小气，和他生活在一起，我每花一分钱他都要唠叨，更不会允许买什么护肤品、做头发、买衣服了，你若买了他要唠叨到你忍无可忍，跟他生活我真的觉得很累了。我想协议离婚，他不同意，我该怎么办？真的要诉讼离婚吗？现在孩子是16个月，孩子的抚养权会归我吗？我要怎么做才能离婚？
补充提问：
我提过说如果他不同意我就向法院起诉离婚，他威胁我说就算法院判离婚，他也不会放过我们，他不会让孩子跟着我的，哪怕采用非法手段。对于这样的行为我该怎么做?