房主与工人未签合同，工人意外死亡

我家生活在农村，因装修房子，请工人装修，施工之前未与施工人签合同，可施工人死亡，但一切施工都是由他亲手承包，且施工前再三嘱咐他注意安全，可不幸他还从2搂自己搭的下脚架上摔下来导致死亡，其中从上面摔下来的还有一位施工人，只是受了点轻伤。无碍！经庭外调解已赔偿2万，不久，死方家属不同意此赔偿且经常在我家闹事，影响我家人正常休息。 要求我方毫无依据赔偿33万！死亡方家庭现有一个21岁和一个18岁儿子，且两人现都是学生。请问此事该如何解决，责任该怎么算！