租房中途退房房东不退钱

本人今年10月份租了一套房子。当时交的五个月房租和半个月押金 但是现在本人突然有事情需要退房已经跟房东协商 当时说好的少退一个月房租当违约金 但是今天他突然来电话说房子不是他的而是他从别人手上租的然后租给我们的 说房租已经交到房东手里所以不退钱给我们要我们自己处理。当时签的合同并没说明不能中途退房也没有提到违约金。我愿意承担违约责任付一个月的租金。但是他却表明自己撒手不管了。现在我该怎么让他把钱退还给我。