退租纠纷

我是房东 因家庭原因需提前收回租出去的房子
经协商按合同约定支付违约金双方同意解除合同
退租当天 房客已经腾空房子， 但因屋里水龙头、木门、灯等有损坏，
以及 电话 水 电等费用无法当时结清，
我提出先付违约金拿回房子钥匙
保留押金，等费用结清后结算，租客则要求在押金未还前，即使违约金已付也不给钥匙，并且要求我不再算房租
结果不欢而散 没有达成退租协议 他现在不配合退房 我该怎么办
问：这种情况下，他不配合退房，租房合同继续有效吗 我有权利继续收房租吗