租房合同没到期,房东(是一家单位)却要收回房子....

律师您好!我于2010年3月1日在武汉一家单位的一楼租了一间房子作为办公室,租房合同上注明租期为三年,租金按年付,如哪一方违约必须付对方违约金两万元,当时装修这房子用了差不多七千块,装修人员也是他们单位指定的,我留有当时的装修报价明细单.到现在租房时间刚刚一年,却收到他们单位的通知,要收回房子,具体原因是因为上级的意思,只是要收回房子,见实在没有商量的余地,我就提出那就按合同来,赔付我应得的违约金.但对方说只能象征性的支付,不可能有两三万那么多(包括装修损失费),这种情况我该怎么办,如走司法程序麻不麻烦,时间会不会拖很久,急盼解答,谢谢!