土地使用纠纷

你好，我想问一下，在自己家的宅基地上面建一个矮的围墙防止大车从我们家的地上开过，别人有权不让你建吗？是这样的，我们家是自建房，有自己的宅基地，因为村里统一改造路面，把原先的矮围墙拆了，房子前面的晒谷场跟马路用水泥做到了一起，现在隔壁人家在家里开了一个家庭作坊，经常有大车通过，我就想在自己家的土地上建一个矮围墙防止大车通行，但是私家车可以过，请问律师这样大卡车家人是否有权不让你建？在知道我们要造的时候经常来闹事，而且说话很难听，请我我该怎么办？