别人用我的房子在银行做了贷款

这个房子是贷款者本人的，因为当时不能过护到他自己的名下，所以先把房子过户到我名下，用我的名字在银行申请了贷款，然后双方约定他按月还贷款，我们只是签了一个简单的协议，现在他总是还款逾期。银行每个月都是追债我，并且已经影响到了我的信誉问题，请问我该怎么办，怎么样通过正规或是非正规手段，把这件事处理了，现在银行已经追债到我的家里，严重的影响了我家人的生活，我怎么和那个人得到赔偿
补充提问：
当初因为想的太简单，协议上只说了不能买卖他的房子，对我根本就没有法律保障，现在我该怎么办