房产纠纷

事情是这样的：媳妇的爷爷奶奶在城中心有点房子，有三个儿子两个女儿，全部都结婚了以后，爷爷奶奶写过一个分单，说一楼给大儿子，二楼给二儿子，后面的地基给三儿子（我岳父），要大儿子和二儿子每人给我岳父50元（因为我岳父分的是地基）！爷爷奶奶和我岳父过，大儿子和二儿子每人每月给爷爷奶奶10元钱生活费。大儿子当时给了一个月，第二个月就只给了5元，第三个月就和爷爷奶奶说钱他不给了，从此以后断绝父子关系！二儿子直接一个月都没给，要求给我岳父的50元也都没给！爷爷奶奶就这样一直由岳父家抚养，后来爷爷病了去通知他们来看看大儿子二儿子直到去世都没来看过一眼。过了三年奶奶也病了，住了三个多月院大儿子和二儿子也没来，后来奶奶快不行了我岳父和他大姐去叫大儿子来看看，他说上的班，没时间。奶奶就说什么都不给大儿子和二儿子全部都给我岳父，一直到去世也还是没来看最后一眼！奶奶在去世以前录过个录音遗嘱，证人现在也都还在，只是录音带弄丢了！
现在老房子那里政府修路要拆迁，大儿子和二儿子来我岳父家吵架说是要按分单上的给他们。
现在我们该怎么办呀？
补充提问：
请问这种算不算遗弃老人呀？