我应该如何离婚

我是北京人 老公是河南人 我们是2007年9月26日在河南领的结婚证 我老公跟他前妻没有结婚证 可是有三个孩子 他们的法院判决书是2007年11月下来的 我和我老公有一个男孩 6岁 我们在2011年4月就分居了 我现在想和他离婚 他不离婚 我想咨询一下 我们的婚姻有效么 如果要是协议离婚不行的话 我是不是必须到他的户籍所在地起诉他 如果要是能协议离婚 能不能在北京民政局办理手续
补充提问：
如果双方同意的话 我们能不能在北京离婚 他这样算不算重婚罪