怎样才能拿回我的土地

我是三峡移民，2002年迁移至山东泰安。移到这里，按规定我们每人有一份责任地。当时村里給我们指定了土地。但我们自己并未耕种。村里就与我们签了协议。大致内容是：我们将土地给村里“管理耕种”，协议期限是2002年9月-2012年9月，期间村里每年补偿给我们每年每亩800斤粮食。我本来是打算到期后就把地拿回来。但是现在镇里的集市迁移到那块地附近，有当地村民在那块地上盖起了房子，我们去问村里怎么回事，村里就以协议未到期为由说现在土地归他们“管理耕种”，不予理睬。去镇里问，也是类似回答。我该怎么办？
协议中提到协议期间土地由村里“管理耕种”，这个“管理耕种”是什么意思？是只有耕种的意思，还是可以有耕种以外的其他权利。
另外，协议中未提到双方违约该怎么处理。若是我想提前终止协议可以吗？需要承担什么责任？