房产分配

我家在农村，我们四兄弟，上有一老母..大家轮流奉养，我们抚养的时间较长，因为母亲就住在我们的隔壁。老三在多年前已经亡故。留下一居室的平房，老三死后房子给母亲住。后来我家修房，因为老三的房子在我们房子的旁边，修房的时候就把老三的房子也给拆掉重新盖，当时我们的房子修的时候占了老三的一点地基，当时是跟大家和母亲是商量好的，占老三房子的一点地基，帮母亲把老三的房子重新修，给母亲住。大家都同意。
但是现在 其他的几个兄弟说我们占了老三的地基，要我们赔钱给他们，母亲现在年迈，表示急不清楚。
我想问问这种情况我因该怎么寻求法律的途径来解决。