买卖婚姻

男方家长经媒婆介绍认识女方，男方家长第一眼见到女方时就觉得这个女的还可以，经过和女方家长商量，女方家长和媒婆说：女孩从小没有母亲，上学只上到一年级，年龄只有19岁，比正常人更笨更蠢，没有其他的精神上的病;男方家长听到这样，就和女方家长说，只要没有精神上的病，笨点、蠢点以后都可以学的会，后面经过协商，女方家长要求16.9万一次性付清，就可以马上带女孩回家，过了几天男方回到家，家里人就和他说了这事后，就走到媒婆那看女方，当时男方也没具体了解女方，就点头同意了，付了钱把女方带回了家，在后几天经过和女方相处发现女方：1、记忆力不行，像个几岁小孩一样，跟她说了事情，转一个身就忘记了
2、如果别人惹了她，或者弄疼了她，她会打人，用石头扔人。
3、就是一整天就是没个停，要么动下这个，要么玩下那个，叫都叫不住。
4、她的脑袋曾经受过伤，从脑袋前面一直到后脑有一条很长的伤疤。
所以男方想把人退还给女方家里，并把钱要回来，当经过和女方家里协商，女方家长不同意将钱退回。请问男方该怎么办？
补充提问：
到法院起诉男方就怕打不赢官司，因为这个没有凭证，只是口头承诺，拿不回这10几万元钱。如果起诉的话能拿回这个钱吗？