拆迁后我弟弟说不要房，我给了他钱，现在他又反悔怎么办？

产权是我弟弟的，我们一家三口一直住，户口也在里面，2006年拆迁，弟弟说不要房，他像我要了几万元钱，把房产证和身份证都给我了，并签署了拆迁代理协议，代理协议内容是：有我代理签署拆迁事宜，我签的内容他都认可，如有纠纷和开发商无关。拆迁分了两套房，安置人有我们一家三口，和他们一家三口。产权我都改成我的名子，拆迁协议上变更产权人签字，也是我写他的名子变更的。我还写了一份变更说明，内容是：房产变更为我，我签上他的名子及他媳妇和孩子名字并按了我的手印，在最后让他签了他的名子和手印。
我给他钱让他打了条，内容是：今收到房款（钱数），房款两清。
现在他反悔了想要回房子，问他可以要回吗？我占多少份