拒绝付款，可行吗？

现有欠条一张在别人手中金额为1100元整，这张欠条是因为要急于出货所以给供货的人打的。
货物原定于2010年12月30日交付，但由于供货商调配原因2011年1月4日才供给，本来口头说好成本价格为5940元，但期间成本增加为6800元，缘由是因为他个人业务不熟练造成，交货时，下家扣了我1300元钱，我觉得能在规定时间内交货而由于供货商个人原因导致的成本增加和日期拖延未能交货不是我的过错，所以我拒绝付清余款，他只知道我的身份证号码及姓名，其余一概不知。我和他之间，还有我和下家之间没有文字合同。求专家指点。谢谢