聋人打耳光后要不要赔

我是一个耳朵重听之人,起因是和一个收电费的因为电费有点不清楚,我说暂缓交,但他的态度很差,言语咄咄逼人,我拒绝缴纳电费,他跑到我家中把我的电饭锅摔坏,并打了我.经领导调解,他赔礼道歉后下去了.可是我不服,马上又跑到下面座收电费处和他打了起来,冲突中打了他一个耳光,他也回了我一下耳光.可是过后他对外宣称我打了他,他没有还手,因为我耳朵不听见,当时他讲的时候我没有反驳,等后来知道的时候,人人都知我打了他,而他没有还手.当晚,他儿子威胁说要叫几车子人来打我.被领导劝阻住,并要我去赔礼道歉完事.我妈怕他儿子叫痞子来打我,于是带我上他家赔礼道歉,可是过后他却不依,说要么跪下赔礼,要么就赔二万元.请问这样的有没有依据?我想请问在这场冲突中,我所犯的责任有多大?到底要不要赔?