关于开服装店遇到的一些问题咨询

尊敬的律师，您好，我的情况如下：

2008年7月与广州某品牌服装厂商签订合同，一次交付订金2.8万元（价值零售服装3.8万元），取得在上海经营该品牌服装的首家经营权。在经营过程中，出现以下问题：
第一，经营前两个月存在部分换货及新订货行为，由于该厂商在每次送达货物时通过小物流公司，未能将货物送至指定地点，订了三次货，前两次都将货物送在了远离市区和主要线路的 偏僻地区，导致货物没有及时上架，影响了正常经营，最后一次声明送至通过铁路运输送至上海火车站，该厂商在订货后一个星期却又电话确认，是否送至火车站。最终导致货物比预期推迟了近两个星期。由于第三次订货量相对较大。影响程度非常大，最终店主选择放弃经营。
第二，在经营初始，店主应客户提出的质量问题向厂商反馈，厂商同意讲有问题的服装退换，由于服装大多制作粗糙，店主有苦难言，返货量较大，而在返货过程中厂商只是口头承诺换货，在其网站订金不予相应增加。在经营到第三个月时，退换服装零售价近万元，而新订货物依然从订金中扣除。这样，就使得退回换新的服装只是免费送给了厂家，而证据就只有邮寄单。退换服装价值等资金一项，没有任何办法证明具体是多少。
后来，店主与厂商签订合同人联络，表示不想经营要求退订金。对方没有任何表示，最终导致上面第一条里提到的货物中断，店中闲置近十天。店主在商议无果的情况下只有关门大吉。而仍有近2.0万元在厂商的口袋。服装店关门后一个月，店主再次索要交付的订金，对方在确知服装店倒闭的情况下说，仍然在履行合同，只发出货物，不退回订金。距离最后一次电话联系该厂商，距今接近一年时间，请问店主该如何处理这件事情，如何讨回订金呢？