二手房屋退房问题

2013年5月和一个私人买了一套房子，全款付清。此房子属于单位的集资房，该私人没有与开发商签订购房合同，我们之间只是私下签了一个协议，没有进行公证。当时买房的时候说是2014年可以办下房产证，但是现在也没有办下，而且土地使用证有点问题，现在想退房，对方不答应，遂想起诉，请问可以退房吗？协议上没有标明什么时候可以办下房产证，只是写了要求办房产证时候，对方要协助我们办理。房子已经交了钥匙，没有装修，在开发商那里已经变更成我们的名字。。。请求律师解答，感谢！
补充提问：
我到底是该起诉卖方人还是该起诉开发商呢？因为已在开发商那里更名了。