自建房施工合同纠纷

我家要建房，就找了个承建人，并和他签了一份简单的施工合同。242平米，打算建五层的，现在建了两层了，因为我们觉得他们施工没有责任心，施工人员不够才4-5人，以至于建筑质量出现了不少问题，比如砌砖墙体不平整，楼梯梁体蜂窝孔过多，捣制时卫生间沉池梁体渗水严重，他们又随意以各种借口如卫生间过多等理由想要加工钱，我们不同意，现在我们想和承建人终止合同，另找过承建人，他们就说要我们赔他误工费，模板顶木运输费等。我们在他捣制楼板完第二天已经支付80%的工程款了。他们一直赖着不做工了，第2层模板已经超过15天了也没拆模板，和他吵了好几次了。现在我们都不知道该怎么办才好了？？！
补充提问：
施工合同过于简单，没什么详细条款，已催了他拆模板，他就是不做，而且他的工人还死赖住在我一楼施工现场，反而要求我们赔他钱，太无赖了！！他赖住不拆模板，我可否当成无主物，自行处理，并禁止他工人住在我施工现场？？