准生办不了？

我老婆怀孕4个月了，老婆以前跟个一个男人，还有了一个孩子，但是没有领《结婚证》后来被那家人赶出来，孩子留在那家，老婆也离开老家3年了，没有在见过他们。
现在两家人水火不容，一年前老婆把户口转到我的户口所在地，现在要办《准生证》了，社区要我们去和他家写一个协议，就是两家以后互不相干，孩子他们抚养，不要我老婆管，（当时只有口头协议）。
可是现在麻烦的是1.他家以前就说过不会人我老婆好过，所以他家不会写这个协议，去了几次他妈都不写。2 .他原来的那个男的出去打工了，根本就找不到。
可社区说，没有这个协议，《准生证》就不给办，这不是为难我们吗？
现在我们应该怎么办？