离婚后小孩都不想要怎么办？

本来是一个很好的家的，因为女方出轨，而且出轨还太离谱，网上聊认识的，才没几天，她竟然自己跑过去跟他有一腿，本来我想为了这个家，不跟她计较，好好过日子，让这个事过去，以后不要再提，可谁曾想她总被着我跑到那男的身边做见不得人的事，还经常不回家，那时我还在不段给她机会，我等了她半年时间，给了都不知道多少次机会，从不为这个家想过，现在变这个样子，我也死心了，心凉了，我们有一个小男孩，我不想要，她说也不想要，现在不知道我儿子怎么办？？
我跟她有协商过，我们自己有签过协议书，双方都签字的，这个法律生效吗？后来她又跟我说小孩她也不要，我跟她说，我们都说好了，协议书你也签字的，现在该怎么办？