离婚案件

我们夫妻婚后贷款一处房子，借得首付款，从我家人借3万，他家人那借3万，还有他失业一年多，从朋友各处借得的钱。由于其感情不忠（但没实质性证据），多次给予机会和家人劝说无用的情况下，女方我心灰意冷，决意离婚。孩子6岁，我想要抚养，孩子也愿意跟我而不会选择他。在家签了一份协议，虽不是太正规但他也签字了，协议约定谁要孩子谁住房，可过后他反悔了说他房子，我靠不过他，也不想和他靠，想搬离房子，可带着孩子，我也得为以后生活住所打算，房子夫妻共同财产本应共分，他没钱还不卖房，我很无助，求解答。