恶意扰民怎么办

我家住在二楼，和一楼之间的矛盾已经好几年了。开始他总是无缘无故的在楼下谩骂，说我家吵着他了，其实生活中难免有些磕磕碰碰都可以谅解，我们也不是故意的而且很小心了。但是再后来他在护栏上挂了个音箱骂，我们报过警后来音箱被拿走以后他就开始用胶水堵我家门锁和剌我爷爷的车胎还砸过我家玻璃。找过他他也不承认。之后就更加变本加厉用石头砸我家的门，砸完就跑也抓不住他。后来警察说建议装摄像头，我们装了之后拍到了他砸门的镜头，他只是拘役了几天就被放出来了。现在他晚上经常在一两点的时候用锤子使劲砸地板几乎天天如此，警察来了他就不砸，走了就继续。而且还在他家的暖气上挂个录音机，录得都是他骂我家人的话，每天都放，声音顺着管道传上来，根本就没法休息。我们报警警察说因为是在他家放的所以没办法，说只能劝他，他不听没办法。警察说让我们打官司，但是我们根本就没有这么大的时间和精力去做，我的父母要上班，我和爷爷奶奶住一起，我还要上学。爷爷奶奶岁数都快八十了根本就受不了这种折腾。以暴制暴的方法不是没想过，我也和他打过架，但是怕连累家人和朋友我还是没这样做，居委会和派出所都管不了，那人还是个光棍就自己住，只有个儿子在外地念书。现在真的是没辙了
所以我想问问懂法律的人我们应该怎么维护自己的合法权益，谢谢