有一个家庭纠纷，请求帮助！

爷爷奶奶有一子一女，我是爷爷奶奶的孙子，我的父亲已故，爷爷奶奶有一套房子，三年多前拆迁的时候说好房子给我，我拿30万出来给我姑姑（爷爷奶奶的女儿），于是就这样谈妥了。拆迁完爷爷奶奶一直跟我和我的妈妈一起住，生活起居由我和妈妈全部负责了，老人吃穿无忧，我们也没动老人一分一毛的退休金，拆迁后的三年来姑姑一家从没来看过老人，更不用说对老人尽孝了。后来老人还陆陆续续给了姑姑50万左右，之前约定好的30万，我也已经给了20万给姑姑了，心想已经给姑姑这么多钱了，剩10万也应该留给爷爷奶奶看病用，就不愿意再把剩下的10万拿出来给姑姑了，爷爷奶奶从此气急败坏，打算把我告上法庭，我有胜算吗？该怎么办？