房屋归还问题

律师您好，我家于2005年拆迁分得三居室两套。其中一套自家住，另外一套借予我的舅舅住（当初的目的是为了让他家方便照顾我年迈的姥姥，但他家从未照顾一天）。购房款共计16万5千元，其中我家出了11万元，房主为我的父亲。从搬入我家之后，他家享受了拆迁户的所有福利，并且将其自家房屋出租。在这几年中，他家陆续归还了购房款，共计11万元（每次归还款额5千、1万不等，且每次都是未到期存折），但房产仍然是我的父亲所有。在这期间，他家共计做出过三次口头承诺，我结婚时他家便归还房屋。今年，他家的房屋已经拆迁，并领取了拆迁补偿款和期间租房钱，而本人也将结婚，并欲将那套房作为婚后住房，所以与他家对房屋归还进行了交涉。但他家以没有住房为由，不答应搬走，此后又提出20万元的赔偿。我家感到很为难，毕竟是亲人，不愿意关系自此破裂，但又不能吃这样的亏！您觉得我家应该怎样做？