商铺租期未到不能退押金吗

您好！
我去年5月跟一个商业用地的管理部门签订了租赁合同。那里管理很不规范，当时那一片商铺只有靠路的一排租出去了，我是第一个进驻里面的商家。签合同的时候那人说3个月内肯定可以招满，结果半年都没有一个商铺租出去，因为不赚钱，我们在11月就撤了，但是押金没有领，那个经理说当时可以领，或者等期满再领也可以。结果几个月后的现在我再去要押金，那一片商铺已经改建在今年1月份租出去了，他说只能等合同期满才还我押金，我说他违反合同在我的租期内又租出去了。他却说我违反合同几个月没有开店，说我还应该交罚金。
请各位高人帮我解答一下，我的押金可以要回来吗？