单位集资房认购权转让后卖家想单方面违约

我于2012年将一套单位集资房认购权转让给张某，双方签订了《购房认购权转让协议》，协议约定我将单位集资房认购权转让给张某，转让费8万元，违约金为5万元。由张某支付单位集资的资金。现在要交房了（我还没有跟单位签订正式的购房合同，房子还没有过户），我自己想买下房子，我承诺付给张某转让费8万元，违约金5万元和退还张某支付的集资款，想要取消协议。但是张某不同意。我怎么才能取消协议由我自行购买这套单位集资房？
协议中约定，本协议签订后，如因甲方原因单方面解除协议，甲方应当在十五日内退还乙方支付的转让费8万元和截止违约时乙方给单位的所有房款，同时一次性赔偿乙方违约金5万元。我可否用这条为依据，赔偿张某违约金，取消协议？