房产纠纷

我二哥买房，他没钱，因为他是单身。他就和我商量说让我出钱允许他住。以后房子归我，我就答应了此事。当时也没让他写下来只是口头答应了，没想到二哥突然得病死去，我想反正交钱手续都在我手里，还有我二哥给我打的买房欠条也在我手里，现在大哥大嫂又说起二哥的房子说他们也有份，母亲说“当初买房是他们哥弟商量的事，你二弟为什么不找你商量，为什么找你弟弟商量，他知道信不过你。”请问我大哥这样回家吵闹，我该怎么办啊