两人合伙开店，产生资金纠纷

你好。我和一个人（王）合伙开了一个店，最初是他找我来开这个店，这个店的租赁合同上的名字写的是王的名字，然后营业执照上写的又是我的名字，这个店所投资的钱是我们两个人的，王投的多，我投的少，当初投资这个店的时候为了便于好算账，王说他给店里投的钱都算是从我这儿出，然后我给他打欠条就是了，后来我们因为一些事不想合伙了，我想退出，只要求拿回我所投进去的钱就可以了，可是他现在找各种理由不想给我钱，还用脏话骂我，威胁我，说是我给他打欠条了他不怕，还说要告我，请问我现在应该怎么办？
补充提问：
原本说我们之间要签合同的，可是他一直迟迟没有和我签合同，