要退还彩礼吗？

我是今年一月份跟我老公领的结婚证，二月份举行的婚礼，随后我便住他家里了，三月底他在出差的时候跟他同事发生了关系，随后他跟我说他喜欢这女的，忘不掉她，嘴上说会改，但是一直跟她保持联系，我在南京没有亲戚没有朋友，很无助，当时自己又大着肚子到孕晚期了，之后我爸爸去南京，他跟我爸爸说等生了小孩，等我过了哺乳期就跟我离婚。我爸爸见他铁了心跟我离婚，怕我在南京情绪不稳定对生产不利就带我回了娘家。
然后孩子是在娘家生的，月子是在娘家做的，我知道其实他一直都在跟那女的联系中，我跟他一直都在分居中，他说离婚就抚养费跟彩礼要解决下，他说他每个月抚养费600打给小孩，并且希望我家把彩礼退给他家，我想问一下，我家需要退给他家吗？