仅口头约定交付期限，承租人已交付定金,出租人未能按时交房

之前将村委会管理的工业区的一块200平米的地租赁下来承建厂房，由于资金不足就跟承租人约定先交付2万元押金，并且给了押金2万元的收据，当时约定一个月之内把厂房弄好并交付使用，其余的细则并没有做出相关写上。但中途由于建厂工人的问题以及天气等原因厂房施工延期，现在又因为建厂之初没有向城建部门申请，厂房被迫停工，导致现在厂房没有交付使用。承租人由于之前计划搬进来，在七月中旬的时候停止工作，到目前大概一个月的误工期，承租人于是决定不租了，并且要求我方赔偿一万块经济损失。整个过程并没有出现书面的合同协议。在这件事情上，我方是否应该承担主要责任并且赔偿承租人相应的损失？他的要求是否合理？
补充提问：
如果承租人执意不肯，非要赔偿且不租呢？