房屋租赁纠纷

2011年11月1日我将房子租给别人，中介代签的合同一年期的，半年交一次房款，租期到期后，和租房子的人没有继续续签合同。租房子的人按期把房租打到我的卡上，直到最后一次交房租是2014年11月，可是租房子的人现在突然不租了，叫我退还他剩余2、3、4月的房租和暖气费。因为之前合作得很愉快，在第一次签完一年期租赁合同后再没有续签合同。问下现在应该退还他的剩余房租和暖气费吗？现在年初房子不好租了，再说他一直给我打房租是不是默认合同继续有效。