租房问题

您好！想咨询下租房过程中发生的纠纷问题。是这样，在租房的时候，看好了一套房，决定订下来了，但是业主委托房屋银行的人管理房屋，也就是我是需要跟房屋银行的人签订租房合同的，当时只交了意向金，开了一张收据，并未签订合同。交意向金的时候说合同签一年，但是房屋银行跟业主的合同还有半年就到期了，并且交意向金的时候，房屋银行的人也并未告知意向金不能退。现在我觉得跟房屋银行的人签订租房协议不保险，不想租房了，让他们退款，他们说我违约在先，并且如果他们给我们退款了，中介就要收取他们的佣金，这个钱是不能退的。我都没跟他们签订合同，没有任何违约责任，我想问下，这种情况，房屋银行的人有权不退款么？