经济纠纷~~

我家没钱盖房，随后我姨夫借的钱给我家盖了房，但是没写借条，然后人家直接居住到房子里面，还是两室一厅的，我们就只住了一点点，我要求住新房，但是我姨夫直接不允许，并且声称没有还完钱就不能住，他直接就可以把房子拆了都行，到现在我们也还没住进去，即使有些房子还是空的，人家还说他给我们盖房，并且以后要得到一定的酬劳，并且在家里一直是很霸权的，我现在已经刚成年，想住新房，如果他一直阻挠，我该怎么办，如果之间产生更大的问题，我会有什么影响没。
希望给出全方面的回答，谢谢。