关于房屋买卖的问题

我于2007年秋买了一处住房，当时是熟人就没有签协议，他把他的房产证给了我，有中间人证人，当时房款就付清了。2008年由于房屋年久失修我就把房子扒了，现在是一块空地。我看房子都没有了就没找他更名房产证，2008年11月我办了一个农民住宅土地使用证。事过三年多了，2011年4月他看这块土地增值了，起诉到法院想往回要，还说这房是他父亲的，他偷着卖的，可是房产证上是他的名。请问他能要回去吗？
补充提问：
如果房子真是他父亲的，我和他的买卖还有效吗？