婚前，男方借我名下的房产，向银行抵押贷款。离婚该怎么办

婚前，男方由于自身在外欠下赌债，找到我和我母亲帮忙。我和母亲以自己的名义，拿房子到银行抵押10年，贷款了20万元借于他。（房产证是我和我母亲的名字）。他在拿到钱后，只写了张欠条给我们，他每个月还银行月供。不久，我和男方结婚了。婚后，他依然我行我素。婚姻无法再继续下去，现在想离婚，想收回所有欠款，不想再跟他有任何瓜葛。我该怎么操作？他每月工资8000元左右，未购房购车。由于房子抵押从头到尾都是我和我母亲操作，他未参与，我们手上只有他写的一张欠条，会不会有风险？欠条内容：“今收到女方某某借于的现金20万元整，承诺五年内还清。借款人：男方某某。”