老公被判刑，怎样领离婚证？

孩子刚出生，老公因伤害罪被判无期，现在孩子已10多岁了，不想等了，想离婚。和孩子爸爸已经协议好了，以为可以拿协议书和监狱服刑证明直接去民政局拿离婚证办理，但是，民政局要我去街道法庭写起诉调解书，还要去监狱调差，哎，我不想让很多人知道，毕竟不是什么光彩的事情，我该怎么办？
补充提问：
老公已经把协议书签了，狱警也开了老公的服刑证明，难道非要去法院起诉吗？能不能不去啊？有没有其它的途径啊？不会连我的工作单位和小孩的学校也要去调差吧？我真的很担心别人知道，是他犯了错啊，我怎么拿个离婚证就这么难呢？