农村土地纠纷

律师，你好！我是广西钦州市灵山县的，我家现在的情况是这样的：我家在五年之前和邻村的互换土地，在去年我家用这些换的土地来建楼房。

但是问题来了，土地原先的所有者要求换回来。但是问题来了，土地原先的所有者要求换回来在道德上我感觉我家是有理的，但是在法律上的就不懂了。

镇上的土地局说以前换的时候没合同，无凭无据。

如果打官司迎面有多少呢？？？

补充提问：
. 当初双方是有口头约定的，没有什么合同。这就是农村的特色，一般都是口头约定，可以说是一种风俗。如果打官司的话，这是不是可以作为一个赢点呢？而且现在对方也承认我们双方都互换过土地，只不过对方的儿女认为当初我们双方约定的时候没有经过他们的同意，只是父母做主。但是我认为具有民事能力人的人须对自己的行为负责，所以……另外这块土地不是宅基地，原先是用来种作物的。这会不会有影响，打官司的话。
二.土地交换之后，双方都用来种植作物。交换时间已经有五年以上了。这个几乎全村的人都知道我们双方互换过土地，这是一个事实。就怕没合同没证明，对方耍赖。
三.双方是同一个村委会的