求助：合伙人退伙问题

我和我的合伙人是经过朋友介绍认识的，在今年六月的时候，两人都自愿并合伙开一个广告店，但是经过一个半月，店里的生意也不是很好，基本没有盈利。后经协商，两个人其中一个退伙。我也给了他一天的时间考虑，当时我跟他说了，如果我退伙，我可以少一千块钱；第二天他说他不做了，由我来
经营这个店，并要求把钱一分不少的退还给他。
但是我也没多想，就是希望早点结束这段合作。就打了一张欠条，并跟他说明，要把钥匙和一些证件交出来。
可是第二天，我原本以为他是来把钥匙交还的，我也没说什么。但是一天下来，他还是没有把钥匙交还给我，并对我说：如果哪天我把钱给他了，他就不来了。
我想知道，我是不是可以认为他现在还有股份，其实被他一闹我也不是很想开下去了。我现在该怎么做？
谢谢！