买房号的纠纷

2009年10月通过中介，购买了王某名下的一个房号，约定于12月份去开发商那办理更名手续，并向王某支付房号费6万。可是12份到了也没办理更名手续，王某说房屋预售许可证还没下来，等房屋预售许可证下来后再去更名也不迟。这期间我也未强烈主张立即去办理更名手续。直到2010年4月份才去办理更名手续时，王某突然变卦说更名手续办不了，想借故抬高房号费，向我再要5万号费，考虑到当时房价猛涨，最后一起支付给王某11万的号费（后来的5万元没任何书面约定），最后与开发商签订了商品预售房合同。现在我想问下能否要回后来5万元的号费,买卖房号合法吗。