离婚后，孩子探视时间问题

我和老公分居一年了，期间一直在协议离婚，主要只谈孩子抚养探视问题。宝宝今年9月刚刚4岁，一直跟着我和外婆生活，宝宝的抚养权归我，本着一切以宝宝利益为大，被父亲探视也是宝宝应有的权利，作为父亲也有探视宝宝的权利。我和他协议，他可以每月在第二周和第四周的周六或周日，各探望宝宝一次，由于宝宝太小，探视不得过夜。由于我老公一直有不定期对我施暴，还当过宝宝的面，而且宝宝出生这4年，虽然一起生活，但基本没有照顾过。他的品行堪忧，所有我要求他探视宝宝不能过夜，等宝宝大了，自己有判断力了，我们再协商探视方式，我的要求合理吗？