我要断绝父女关系，有什么办法？

我今年23岁，父女在我11岁的时候离婚，当时我母亲是白血病病人 ，家里急需用钱，而我父亲在这时候还一直在外面找女人，我见到的就有5,6个！后来母亲出院，在家疗养的时候，我父亲每天半夜回来，跟我母亲吵架，摔东西，砸东西的。后来他们离婚了，我父亲可能后悔了，一直要回来，我母亲曾给他过机会，但是他后来找了个日本女的，也就和我母亲没关系了！当时他们离婚时，我父亲说什么都不要，后来法院判下来，让我父亲每个月给200元的赡养费！之后我父亲从来没有给过赡养费，实在是没有钱了，我去讨个几次！最近这几年，我已经不跟他联系了，他一直打电话来恐吓我们，说要回来，说房子是他的，当初离婚的时候他不要，留给我们的！现在我母亲有了自己的生活，也再婚了、我父亲又打电话来威胁，说让我母亲现在的丈夫滚出去，不然就杀了我们！昨天我父亲又跑到家里来，说当初给我母亲看病，他借了2万块，现在叫我母亲还给他，还说给我们一个星期的时间，不然就要我们好看！他当初根本就没出过钱，也不知道他借的钱用到哪里去了，他这样无止尽的恐吓我们，威胁我们，难道我以后还要给他养老吗？他根本就没尽到过一个父亲的责任，我个人已经被烦死了！有什么办法可以断绝这关系吗？