不让探视就有权拒绝给付抚养费吗?

律师,您好:
我和前夫于2012年9月离婚,初期是允许他探视的,后来发生分歧是因为第一,他探视的时间不固定,不规律,他想什么时候见孩子,就必须要见,第二,我反对孩子跟前夫的母亲接触,因为他母亲是个聋哑人,心理不正常,实际上在一起生活的两年时间里对孩子并不亲热,曾经为了自己能够出去不限时间的玩,故意摔过孩子以达到我们不敢让她给看护孩子的目的.因为这两点,我和前夫甚至因此发生了争吵,他还动过手.后来沟通一直无效,他非要坚持自己的想法,一点也不妥协,基于这两点,我后来就开始拒绝他探视孩子,因此,从2013年10月开始,他就不再给付抚养费.他的理由也是因为我不让他探视孩子.我说我不是不让他探视孩子 ,但是我是有条件的,不能他想如何就如何,可是他一点都不能妥协.