我有权收回这块地吗？

我家20多年前承包了一块地，应为1亩。由于地质不好，实际分田为1亩多一点，但由于田地的一个边角特别不好，无法耕种就用于堆放杂物及木柴，后来邻家由于仓房施工，就借用那筷边角堆放木柴，后来不好意思提，结果就一直放那了。但是一年柴堆比一年大，她家的占得那个边角越来越大！最近两年与他家协商，她家柴堆在那好多年了，属于历史遗留，归她家所有，我家现在想收回那块地，他说我家土地承包证上就一亩，非要量我家地，说一亩之外的就不是我家的了，可是当年我家分地的时候确实有那块地！村委会也和他们家意见一致，说一亩就一亩，也要重量我家地，多出来的就分给他家！请问这合理么？我们家到底有权利要回来那块失地吗？

补充提问：
我家的1亩多地只是有一个小角落由于地质不好未耕种，难道这样就有权利将那里收回给别人？