土地纠纷

你好，我家亲戚要在我们村开石料厂，需要占地，后来就商定用我们家的地来换的种（就是他们种我们家的地，石料厂用他们的地），结果石料厂也没开多少时间，地一直在那放着，地上有一些石头，我叫我家亲戚把你地整理一下，然后把我家的地换回来，可是一直都没有给整理，今年要征地了，正好要征我们家的地（就是和他们换的那地），没办法我自己雇用了铲车把地给整理了，就是想问律师我能要回我们家的地吗？像这种情况在法律上有没有规定：到多少年了就不换回来？（说明：当时没有立字据，也没有规定换多少年，因为我们家的地比他们的地好种）
补充提问：
像这种情况在法律上有没有规定：到多少年了就不能换回来了？