没有合同的违约金

今年3月份通过老乡的介绍我向另一个老乡转租了一辆出租车，由于当时车子刚刚更新不久（以前的车子到了使用年限报废），合同他还没有和宁波大众出租车公司续签，我给了他8万块钱他写了个收条给我，说要等到公司通知他的去签合同的时候在叫我去签，收条也换成公司统一的收据。就这样口头说好后3月8号车子我就开来了，开到现在汽油已经调了3次价开出租车就赚不到钱了，我想按当时他说的那样扣违约金把车子退了，当时他说如果车子不想开退给公司要吃5分钱一公里的违约金我开了8万公里。我去了公司公司说5月31号我老乡已经签了4年的合同，现在要退车要扣3万块钱的违约金，可是我是3月7号接的车，他5月份去签的合同怎么不让我去签呢？现在我是一定要退车，找公司公司不理，找老乡他让我一个人出3万违约金才帮我去退车，我现在应该怎么做？我现在手上就一张8万块钱的收条