开荒地使用权

1990年3月，我家开荒了4亩多杂草丛生的减土地，2002年另一家的大哥说地是他家以前开荒过的要求种，双方协调之后，我家同意另一家的大哥种此地中的三间合1亩多地。种了两年，不经营地里又长满了草，几乎没收粮食，我家要求要回其种的1亩多地，另一家大哥同意。20多年来经过原告精心种地，原先的减地已经成为肥沃的土地。2013年2月18号另一家要求种这4亩多地，我家不同意。请问这地的使用权可以全部给我家吗
补充提问：
请问如果归我家所有根据什么法律，请详细说明。谢谢