装修合同想毁约，赔偿金过高怎么办？

2015年5月和装修公司签订的装修合同，总价6万，付了30%的首期款。然而房子至今未交，我因其他原因不打算让该装修公司装修了。今天去跟对方协商，对方一开始要求扣除我12000元的违约金。合同上写的违约金是工程款的20%。可合同上只写了总价款6万，工程款、水电预收款、工程管理费、设计费等具体项目的金额都没有写明。虽然在报价单中写了，但是对方并不认可。不过后来不断争论后，对方将违约金降到了8000元。但是我仍然觉得太高了，难以接受。请问还有没有希望继续降低违约金呢？