退婚时关于钱的问题

您好！
现我有一个问题想向您求得答案。如果说两个人订婚了，男方想结婚，但女方却一直都不同意，还说种种理由来表示部同意，因此两个的关系坏到了极点。男方女方都想退婚，但由于在订婚的时候男方给了女方家一笔钱，男方家一直不敢提出退婚，怕钱要不回来，而女方家就一直拖着也不说。男方找女方谈这方面的问题，但无论男方说什么，女方就是保持沉默。因此觉得女方就是在等男方家说退婚，意图不归还订婚是给的那笔钱。
就此情况如果去打官司，男方可以顺利的要回那笔钱吗？