怎么才能不受其累？

我有个弟弟，妈妈已经和爸爸离婚多年，离婚协议上，我们俩兄弟是跟随妈妈的。但是现在爸爸来找我和弟弟要赡养费，爸爸是个残疾人（中风后遗症）但是他的人品人格极端恶劣，欠下大量赌债，离婚前对我全家人都很不好。我与弟弟都不想再理会他，怎么办？我听说以后我和弟弟的伴侣，都要按照法律程序支付他一定的赡养费，这样的话谁还敢嫁到我家来。。求助！！
补充提问：
我与弟弟都已经成年，每个月给几百块赡养费还是可以的，只是不想扯上生老病死那些钱，因为我们肯定给不起，而且他现在还有工作能力，就已经问我们要赡养费了。我们可以不给吗现在？