我该养他们吗，他们的房产我有权享受吗

我2岁时，父亲在外找了个女人，和母亲离婚了，母亲当时说舍不得我们，两个孩子都判给了母亲，3岁时母亲受不了村里人的欺服，丢下我和5岁的哥哥跑了，一直没有音信，哥哥带着我到处讨吃求生，5岁时由于没人管患了肾炎，差点死了，亲戚们没办法通知父亲接到昆明冶病，虽然暂时缓住了病情，可病发的时候，父亲随便给几块钱叫我自己去拿药（父亲在某校有正式工作，工资在当时也不算低，有时还有外块可赚），病不发就没人管，后母对我从来都是不闻不问，父亲对我的生活也是能装聋作哑的就装，大多都不管，好多次我都爬到楼顶上想死了算了，可想想自己死了不会有任何人为我伤心的，反而好多人会庆幸少了一个拖油瓶，不管怎样还是赖着脸活了下来，上初中时本来我学习很好，父亲说你生在这样的家庭里，就不要继续上了，回来自己找个工作，自己养活自己，没话说，出来时，我17岁，回来自己靠打工在父亲所在学校的门外开了个小餐馆，由于当时那个小店面是父亲优价给单位拿的，本想是自己的儿子以原价租给我也差不多了，可到最后父亲以双倍的价给我要房租，我小店生意不是很好，那段时间又是假期，他门面也租不掉，本想开着们帮他开开房租，自己也学点经验，到最后三四个月下来我苦得皮包骨头，连条内裤都没舍得买，把身上一分半分都掏给他去了。一气之下，我打算一辈子不再理他了，就算自己死在外面也不去找他，可后来他又厚着脸皮来说我给我安排个工作，我当时也没办法，只有那样了。后来我遇到了一个能懂我的女孩，我们两什么是靠自己白手起家，每次有什么困难父亲总是能躲就躲，实在躲不了了就找这样那样的借口搪塞，总之从来都不管我们，就连我们结婚的时候他都没管过，我们一直苦了三年才结的婚，结婚时本来不想请他的，可又想不管怎样也是生自己的人，再说也要让他看看不靠他我们也一样结婚。现在我和老婆开起了小店，生意还不错，日子一天天好起来了，而且有了一儿一女，父亲开始频繁的给我们打电话，或者就经常来我们这里，拿他的家产来引诱我们，说以后要怎样怎样，（一直以来他都是这样，只说以后要给我们什么什么补偿）实际上实惠的好处我们从来就没得到过，要我们对他和那个后母好，可实际上，他把他所有的四套房子和一辆车都给了他和后母生的儿子，那个儿子和媳妇对他们不好，可他们还是一如继往的为那个儿子着想，他连后母以后的归宿都想好了，说后母和他把我养大，我应该给他们养老送终。我们要有什么意见，他就说我从小是他们养大的，而且我小时候是判给我妈的，不该他抚养的，家产我就不用想了。
我该怎么办？