这样算诈骗吗？

今年3月份，我和2个人同事合伙每人出资3万元做一个网络分销，当时我们统一钱由其中一个人保管，我们另外两个人就把各自的3万元交给了保管的伙伴，当时我们也没有看见他的3万元钱，但是当时出于对他的信任没有去怀疑。

后来生意不是很顺利，我们需要加大投资力度的时候，问他要钱，他支支吾吾的说他把钱借给了他朋友，并且把我们交给他支配的钱也全部借出，而他根本没有经过我们的同意，甚至没有问过我们，后来那个保管钱的人提出要解散，我们也答应了，所以除去3个人共同亏损的钱他还应该返还我们每人10000块，但是他从5月份开始一直拖，各种借口不还钱，请问一下这样的情况我们能要回钱吗？