客户签订合同后却不要货了，这样算违约吗？

我司与客户于2011年3月签订了购货合同书。签订后，客户按约定支付了合同总金额的30%作为预付款.我司收到对方预付款后,履行合同积极备货,在我方按合同第五条第1款约定日期内备齐货后项目负责人多次打电话催促项目经理什么时间把货送到指定地点,对方以项目没有完工放在那不太安全为由不让送货. 5月份对方却突然给业务经理打电话说要退货,并且还让快速退还他们公司的预付款.我司本着诚信守法经营,履行合同约定,而客户却不履行合同约定。违约在前并要求无理由退还全部预付款鉴于上海长江新城计算机系统集成有限公司无视法律，视合同为儿戏，无丝毫诚信的态度，对我司造成经济上的损失，我司并多次与本项目负责人协商，扣总金额的的10%作为违约金，余下的退还对方，而对方却态度强硬，说我司无理由扣违约金等等，多次协商未果而此事暂时搁置。现在，客户却以我方没有执行合同规定没给他们按时送货为由反告我们，让我们赔偿他们损失。这样的问题我们该怎么解决。谢谢各位律师的帮忙！