出租屋内有陌生人私自进入并住在我的床上

我在中介手上租的房子也是跟中介签的合同，由于后来发现合租房内人员混杂就有意换地方住，跟中介交待转租这间房子并把钥匙交给了中介以便他们带人看房。期间我不过来住。后来回来拿东西发现家里住着别人，当时中介也在场。住我屋的人说是隔壁卧室的，自己屋人多，见这屋没人就搬过来住了，但这人我并不熟悉。我觉得这算是私闯我的房间，具体怎么进来的我不知道。于是强烈要求中介给我一个说法，并立即办退房。因为我认为这影响到我的人身安全和财产安全。后来中介同意给我退房，但要扣我的押金，我觉得不满意。我想知道这种事情中介要负什么样的责任？我又能怎样为自己争取一些利益？