关于赡养问题

我父母在99年离的婚，我那时21岁，在读大学。
离婚原因：
1、他喜欢赌博，赌博无论大小通吃，派出所的几任所长都知其人，挣的钱他自己都不够花销，我妈还要经常替他还赌债。
2、在外到处沾花惹草（说得不好听简直就是人渣，“野花”就不说了，连亲戚朋友家的都不放过），经常会有人找上门来闹事，这种闹剧不知上演了多少回，我和我母亲身心俱疲。
3、无责任心，从小到大无论对家庭、还是对子女的教育从来都没有上过心，估计连我学校的门向什么方向开都不知道。
4、家里生活开销不负担，他一年到头混在外面，回来也不给家用，更不要说让他出学费了。
主要也就归纳这几点，真正的事迹估计都能写本书了，对我和我妈都是血和泪的教训。
前面20多年，正因为我外婆在农村怕影响不好，一直苦苦规劝我母亲守着这个家，希望他年纪大点后会有悔改之心，但其实这么多年下来，一直在争吵中度过，对我造成了很大的心理阴影。所以在我成年之后，我支持我母亲离开这个无赖，我妈是净身出户，房产和家里的一切都留给了他。
当时离婚法庭的庭长也要求他出点生活费给我，说毕竟女儿上大学也要很大的开支，我妈为了和他脱离干净，拒绝了庭长的好意。
现在我已成家，生活上我们过得都还可以。而他和一个气味相投的女人结了婚后，恶习不改，50多岁的人没有丧失劳动能力，却整天玩乐，不肯做事挣钱，生活过得很潦倒。注：他满60岁后有劳保。
十年来我们之间也无联系，但最近那个人居然要求我给他赡养费，我知道中国的婚姻法上有规定，子女有义务赡养老人，但我心里实在不甘心，我凭什么把自己辛苦挣的钱，贴给他去逍遥作乐。而我母亲身体虽不好（因以前那些生活原因现在精神上有了点问题，一受刺激就头痛欲裂）退休了还去外面打零工挣钱补贴家用，到现在也没要求我来赡养享福。
我现在很苦恼，不知该怎么办？向这样的没有尽到抚养子女的义务，又没有丧失劳动能力，好吃懒做的人，我要去赡养他吗？企盼答复。谢谢！