农村房产 纠纷

农村老家的房子，我们已经住了快20年了，宅基地原来是我老太的（我爷爷的三叔），我老太去世都是我爷爷给送的终，我老太死前也口头说明，把地给我父亲，他们就一个女儿那会还小，旧房子已经塌了不能住人了，我老太死后他女儿就跟着我爷爷奶奶，她女儿就是我的姑奶大一点就出去打工了，后来说在外面结婚了不回来，我父亲觉得那块地荒着可以了，就和爷爷商量在那块地上建房子，村上好多人可以证明那块地当时是荒着的，现在我们的房子已经建了到今年快二十年了，也办了房产证和住宅许可证。我姑奶已经在外面结婚生了4个小孩，期间过年还会回来看望我爷爷奶奶，都是住在我们家的，去年我姑奶回家突然说要要回我们的房子，现在说是我们瞒着偷盖的房子，要撤回我们的房产证，请问合理吗？我们要怎么做？