你们之前是否有对探视时间做出过约定,如做过则按约定来,如果没有做过,那么应当在合理的时间将孩子带回,毕竟孩子的抚养权是你的,甚至你可以与他做约定,把这个探视时间确定下来,如果对方不同意,你可以拒绝其探视。