未签订合同的房屋买卖，是否能追究违约责任？

2012年与A进行房屋交易，没有书面合同，仅口头约定总房价，并且A支付了部分房款（小于50%），同时房屋还贷的银行卡交由A继续还贷，A此时搬进该房屋居住，剩余房款约定于2014年后再行支付。2013年因某些原因A提出不要房子了，要我将他支付的部分房款（包括他还贷的部分）全额返还，并将房屋还贷的银行卡交给我。我在接还贷银行卡时明确声明，房子不是你说不要就不要了的。现在2016年，房屋他一直没有腾退，他的房款我也还未退还。请问A是否存在违约行为？同时我能在此时追究A的违约责任么？
补充提问：
腾退房屋并返还A支付的房款是肯定要做的。
但关键想知道，是否还能够追究A的违约责任？