求在林事纠纷问题法律上的帮助

我是湖南省某村民俞某，有一块大约20亩的山地，与本村二组的一片山核桃林交界，在当初分山之时，我的山地只长有少量几株山核桃树，当时认为我山上的山核桃树是由二组的树繁殖而来，所以当时把所有的山核桃树都分给了二组，但长有少量核桃树的山地的土地使用权还是归我的。由于这块地离家距离较远，平时也疏于经营和管理，一晃二十几年过去了，在我山上的那几棵核桃树如今已是参天大树，在它的周围也繁殖了更多的山核桃树，其面积已占到了我那块山地的2/3.现在山核桃的价值正逐年攀升，想要把我山上在分山之后长起来的山核桃树全部砍掉显然是不太现实的。现在二组的村民认为全部的山核桃树归他们所有，但也承认那20亩地的使用权归我所有。我认为如果所有的山核桃树归二组所有，那我就不能充分的行使这块地的使用权了。为此我找乡人民政府的相关领导请求调解仲裁，得到的答案是调解无效，而向县人民法院提起诉讼时，又说不能受理此类事件，难道这件事只能不了了之吗？这样的纠纷如何正确的运用法律手段来维护自己的权利呢？请相关专业人士为我指点迷津，找到一条合理的解决办法。