集体土地买卖纠纷

庞越律师你好：2004年我购买一块建造农村集体村办公室基地、买卖时候有国土局1996年批文、有规划局批文、也有本村村委同以协议、只不过但没到国土局过户、转为我的个人名下、我把水地土提平、直接建造自建住房、三年过后、村民告到国土局、国土传票给我、作为违规建筑处理、叫我恢复原地、请问庞越律师、这样处理算是合法吗？还有反驳途程。
谢谢 庞越律师请答复