农作物纠纷

事情：十年前，我爷爷与他弟弟（也就是我小爷爷）一起种植了一批摈榔，当年是分了两份，一份由我们家培养管理，另一份由他。（分给我们家的那部分每年我们都去锄草、喷农药，管理培养，十年来一直都是）。可两年前他的那部分被人砍掉了，现在我们家那份摈榔成熟了（我爷爷过世了），他却去摘，还多次到我们家辱骂我们，说那摈榔是他的。当年只是口头协议，没有任何书面证明（但有一个人证）。这样的纠纷该如何解决，我该怎样维权？
补充提问：

谢谢各位的答解！现在我是直接向当地的法院起诉吗？（过程、步骤、需要的东西，具体费用大概是多少） 还是还有其他步骤？