我该如何解决前男友的威胁和骚扰？

两年前我通过网络认识一个外地男人，他是农村信用社工作人员，开始他告诉我是离异了，于是我们见面交往后到了一起。一年后我去他单位发现他一直在欺骗我，他根本没有离婚，有老婆和两个小孩。我们在一起的期间，他曾在银行几次汇款过我大概有五万多元，原来是打算我们一起创业的，他也从单位请假一年来到了我的城市，也多次的努力找项目都失败了，最后帮他找新的工作他也做不了，后来他又回到了他的单位。我也果断的提出分手并换了工作环境。我提出分手后他就说要拿回去那些钱并说是要我补偿他，一年后他拿着那汇款单去找过我的父母，并威胁留下话要对我怎么样，现在又相隔一年了，他又去找我家人，并留下条子说要和我谈清楚私了。请问我该如何来面对他这无休止的纠缠呢？他汇款我的汇款单他留那里，但是我们在一起的时候所有的花费我没有凭据，这如何说得清楚？