按照最高人民法院关于子女抚养问题的司法解释,2周岁以内,孩子由女方抚养。另外,处理孩子抚养问题,主要看哪一方抚养孩子更有利于孩子的健康成长,包括受到良好的教育,经济条件较好,没有不良嗜好及家庭暴力、虐待等严重影响孩子健康成长的情况。综合这些情况,你认为孩子应该由谁抚养?因为男方正在服刑,其根本无法尽到照顾和抚养孩子的义务,所以,子女应当由女方抚养。