关于违约责任的划分

我承包了一个工程，合同中规定甲方除了交工程预付款之外，其余款项要按工程进度进行支付工程进度款但是合同中并没有明确规定支付具体时间，但是对方只是交付了工程预付款，进度款从来没有交付，现在工程已经完工对方已经使用了3个月左右，但是工程款对方一直以工程延期为由不给我方。同时，由于对方给的预付款不够购进工程原材料等原因，所以我方的开工时间就比合同约定的时间晚了十多天，我可不可以以对方没有按时支付工程进度款是导致工期延误的原因，来追究甲方的责任呢？甲方算不算违约呢？现在甲方以我方开工时间晚是导致工期延误的主要原因而不是因为他没有支付工程进度款而导致的工期延误，这个理由成立吗？他有权拒付所有的工程款吗