诽谤罪

你好：我与嫌疑人以前关系还不错。他前妻是和我一个单位的。０９年的时候他们离婚了。然而该嫌疑人在我不知情的情况下一至在外面散布谎言说是因为我跟他媳妇有不正当关系。这件事我也是后来知道的。现在很多人都知道这件事，包括我的家人同事，我很郁闷。因为我感觉可能有误会，所以一至也不忍了下来。事实是我和她他前妻除了同事没有任何一点其它关系，这个我可以证名。原因是他外面可能已经有人了。然而最近一次偶遇，竞借酒劲对我大大出手。我不想把事复杂化，我也吞不下这口气。故向你咨询，他的这种做法够得上吗。如果可以我又该怎么做呢？