我和爸爸后妈的纠纷

本人江苏徐州人，今年23岁. 我简单说下。我从2003年跟爸爸出去做事那时候14岁，到2009年5月份收入（收入不稳定）都被爸爸和后妈拿去了（说帮我盖房子取老婆用，每月也就200---300零花）。2009年下半年我有了女朋友怀孕了到2010年2月生了，我到温州不到一个月在老板那只拿了一千元回家，打电话给爸爸要钱（老婆生孩1000怎么够）爸爸反问我一句没把我气死她们家没钱？（老婆家）我说我的孩子让人家拿什么钱？还说要钱的时候找她了让我去找我妈妈，我说我忙的钱都给谁了，他说资金周转不过来（2000---3000都挤不出来？）。后妈和爸爸有个弟弟比我小2岁房子县城买好了还在上学，我呢老家房子都没动，没说什么时候给我结婚。 （自己估算最少有5--6万员） 请问：我想要回几年的辛苦钱可以吗？ 他不给怎么办 ？ 我可以起速他吗？