寨中的三个村民小组有权要回个人耕种23年园地的土地权属吗？

这园地的情况是这样的：1971年是我爷爷开荒的，有八亩，种了三年，因某些历史原因，不给开荒种地，后来由村本寨生产队收回耕种了5年，接下来荒了几年。直到1981年土地改革，农田和地都承包到户。这块园地和四周也是园地的，大概有十几亩，生产队没有分，所以也没有土地承包证，谁种谁在使用。在此说明一下，我寨共有六个村民小组，分为上、下寨，每个寨三个村民小组。1982年，上寨的某些村民在这块园地上铲些草皮堆烧成灰，当粪使用。后来1983年、1984年、1985年，这三年上寨的村民没有耕种过，我爷爷和我伯伯、我爸爸、我叔叔也没有耕种，实际上是丢荒了。这块园地长满杂草，到了1985年，我爸三兄弟见没人耕种，可惜，又用竹子围起来耕种，先后种了，红薯、花生。现在这块园地种上按树，龙眼树，等经济果树，龙眼树龄长达23年了，按树有5年了，这期间都没有任何人争议过这块园地的权属。如今眼前按树大了，龙眼树有收成了，上寨的三个村民小组说是他们以前耕种过的，要集体收回这块园地，叫我们砍了，地上的树木。请问上寨的三个村民小组有权要回个人耕种23年园地的土地权属吗？我如何维权？