房屋所有权

2004年我用8000元买下了隔壁大哥的破损房屋。该房屋无产权证，只有土地使用证。双方无任何手续只是大哥写了一张字据“收我8000元，我将长期使用该土地”并把写有大哥名字的土地使用证交给我。2008年我把买来破损的房屋重新修建成三层并与自己的房屋连接起来，把原有的两个大门改成一个大门然后在里面开始居住。
现在面临拆迁，大哥已当初手续不全为由要求返还土地使用证，并想占了在他土地上重修得房屋。还对我说拆迁办只按照土地证的使用者的名字赔偿。面对这种情况，我不知道该怎么办，毕竟当初的手续真得不全，那我在这土地上修得房屋的使用权然道真得要归大哥所有。

补充提问：
现在大哥以各种理由想从我这里借出原本他的土地使用证。并威胁我说，如果我不借，他将自己去土地局重新补办一本新证。请问我能把土地使用证借给大哥吗？大哥真可以在土地局补办到新的土地使用证吗？如果补到了新的土地使用证，我手头上的土地证是不是没有用处了，这对我的房屋所有权有没有影响?