劳务纠纷

你好，我公司有块场地，存放了一些木材板材，场地有个木材加工厂，帮我加工木材。

加工厂是有一个当地老汉负责的，当初口头说明我提供机器，他帮我加工，招人干什么的全是他找，我付他加工费，他付工资给他找的人。

后来，他找的人无故旷工，给我公司和客户造成了损失，他们的工作态度很差，各方面不怎么配合，我就不想让他们干了。

结果他们就来我场地闹事，要赔钱，麻烦死了，请问这个我该如何处理？

补充提问：
起初没有签字书面的合同协议什么的，所以现在不知道该怎么处理