女儿该由谁抚养

你好，我女儿今年四岁半了，可是我们还没有结婚。孩子一岁的时候他因犯盗窃罪服刑三年半。孩子一直在他家抚养，他父母带。他母亲这几年一直因为病痛躺在床上，由他父亲照顾连带小孩，他们家属于困难户，我每个月回去看女儿的时候都给他们一些生活费。其实自从我女儿出生我们的感情就一直不好，因为我不愿意放弃孩子，所以想等他出来。但是在这三年期间我经常出去玩，也因寂寞做错事。三年半后他服完刑回来我们就一直吵架，感情破裂，我过不下去了。他也不愿意放弃孩子，她说我走可以走，他不阻拦，但是孩子不能带走。他说我和他都没有这个资格抚养孩子，他父母有，因为一直都是他父母带。坚持了几年，我真的很不甘心，我想问一下谁最有权力抚养孩子