房屋纠纷

我的大爷爷（爷爷的大哥，农村户口，无子女）去世后留下了一处房子，房产证交给了我爷爷，爷爷又给了我爸爸。大爷爷的邻居（与大爷爷同村）想扩建自己的房屋，就拿了600元钱给我爷爷，我爷爷收下后给了我爸爸，爸爸和妈妈不愿意卖，气得半个月没休息好，但是也没有把钱送回去。过了几年，我爷爷去世了，这事情就一直放着，没有再提，600元钱也没有退回去。

现在农村的房屋要拆迁，我家想收回大爷爷的房子，但是又害怕大爷爷的邻居拿这600元说事，整个过程中没有书面合同，也没有证人，房产证在我们手上。想咨询律师，您看这个房屋能否收回，在法律上我家能够履行什么样的权利？

补充：大爷爷邻居的男人和我们是远方亲戚，男人死后，女人从外面招来一个男人（不是本地人），所以现在没有亲戚关系。我们现在都是城里户口，但是拥有房产证。

谢谢您！