女儿的抚养权利

女儿是我和男友的私生子，他已婚，有一个儿子。我算第三者，但我从没提过要破坏他的家庭要他离婚。女儿已4岁了，我们在一起六年了，一直都这样过着。但现在他的妻子知道了要我们分手，而且还把我们的女儿藏了起来不让我见，而男友对他的老婆言听计从，到现在我已经2个月见不到女儿了。他说要把女儿给我的话我们就分手，并和女儿断绝父子关系，不承担抚养费，反正他是不会离婚的。我便同意了并写了协议。双方都签字了，但第二天他又反悔了，说他老婆不同意，他也不同意了，而且把协议撕了，说我没有经济实力，女儿由他们带，给我点钱走人。女儿从小跟我长大的，我不要放弃她，我该怎么办？我为了看孩子一直没工作，起诉的话是不是会输呢？
补充提问：
起诉的话是不是对我不利，主要是经济上法院会因我的经济不好没有固定工作而不判给我呢？打官司我赢的几率有多大？谢谢。