乡下集资房建设过程中的纠纷

你好！我的老家由于马路拓宽旧屋拆除，现政府同意我们往后移重新盖房，相关手续已经办好，所以几户邻居打算一起集资建成单元房，而后划分。初期协商一致，但没有签订书面协议。现在地桩已经打好，每户都各自出资了几万块。现在问题出现，在建房土工方面，有一户邻居是做这行的，所以希望由他来承包，但是价格却要求比市面上其他承包者贵许多，故大家无法接受，我们只能接受他跟市面价格一样可以由他来承包，但是这个邻居坚持如果不是他来承包就不同意继续建房而且价格不降。现在我们无法继续就损失了打桩的钱，请问我们可以通过什么途径来挽回我们的损失吗。谢谢！
补充提问：
谢谢。但是我们并没有相关书面协议约定之类的，这可以算违约吗？