解除继父子关系

什么情况可以解除？ 我是继父，他母亲84年和我结婚，并带3个月的男孩。14年后他母亲和别的男人鬼混在一起。离家6年。2005正式办理离婚，孩子想留下，所以归我抚养。 现在孩子已经成家立业，我也再婚。
问题：1. 孩子认母到家，我们不方便在和他走动。
2. 孩子结婚后几乎不看望我们
3. 经常要钱（他不是没钱，他是要更多地占有。）
4. 赶我妻子走，说我妻子住的他的家
目前，我很伤感，我认为：
1. 他和他母亲在窜通骗我的钱。
2 这孩子忘恩负义。我倾家荡产给他娶媳妇，他千方百计要破坏我的家。
我为了他伤害了我的亲生儿子和我的妻子。
为了保住我的家庭和幸福，我必须和他解除——继父子关系。
请问：我要怎么做？