婚姻方面

我要陈述的事是发生在河南省许昌市襄城县的，我弟弟去年年底和邻县一个村的女孩经别人介绍认识，很快两人就定婚啦，定婚的时候我们男方给女方1万多定金，还有请她们女方亲戚过来吃放也花了好几百元，后来我弟弟去上海打工，女方去浙江省打工，这之间我弟弟去浙江那边找过女方，俩人也发生了性关系，当然是她们自愿的，而在这之间我弟弟也花了5000多元，是她们共同花的钱。后来到今年这个时候我们男方要求把婚事办了，而她们女方不同意，说今年没有好的日子（就是喜日）而我们男方找人看了是有昔日的，女方非要推到明年办事，女方还要求我们男方拿去5万多钱，我们不同意，所以事情没有谈成，也就是谈崩了，现在我们男方要求把定钱一万多退给我们，而女方说只退5000元，原因是我弟弟和女方发生了性关系。我想咨询下女方这样办事合理吗？我们要不要起诉女方！