请问我向我老公提出离婚，他要退还结婚前的所有礼金，合理吗？

我是经人介绍认识我老公的，他现在还属于军人，个性很强，现在有一个不到一岁的小孩，从生小孩之后他没有给一分生活费给我，我便出来了工作，小孩一直跟着婆婆，出来一直没有联系，直到快两个月他给我打过一次电话，我便提出了离婚，感情的确已分裂，他把和我的通话录了音，证明是我先提出离婚，是我要离的，要我退还所有礼金并出抚养费，抚养费没问题，我会根据我的经济条件出，但是礼金退还我没办法介绍，礼金是不多四万，还有要挟说到我试下看，请问法律上我礼金不退还给他可以吗？