老公有外遇要离婚我要怎么做？

我们是2010年1月份取结婚证的，现在宝宝才4量个月，他有外遇了，我们都想离婚，我想要抚养宝宝，但是我没有稳定的工作，他有，我要怎么办又能得到宝宝的抚养权？
补充提问：
登记之前他借了我两万块钱，有借条的，离婚时可经取这钱吗？因为他是过错方，离婚时他能给多少钱给宝宝，现在我们的关系是这样，宝宝在家他妈看，他就天天上班和打牌，宝宝他也不问，我要十万和宝宝才离婚，但是他没有他也不想给，他的意思是还我钱，宝宝在他家我自己走，我感觉这样不好，所以就这样拖着，现在我也到外地打工，我担心时间长了没回去，他是不是可以申请离婚，我要怎么做好？