关于邻里纠纷

两家同时盖房，他家先盖房子，盖了三层，我家后盖，从打地基那天就开始争吵他不允许我家也盖三层，说挡他家阳光，我爸也考虑他家在后面，但是我家前面也要盖三层，我们夹在中间，高也不行低也不行，就比后面低了几层砖，但后面这家就不准粉刷后炳墙，争吵了好几次，支书乡政府还有他的弟兄都劝他，他就是不答应，他本身有病，好像体内装了支架，别人也不敢打他，他就等着讹人，他就仗着这点谁粉他就和谁拼命。面对这样一个无赖，我该用什么办法惩治他，把墻粉刷上。