房子纠纷

我婆家十几年前因为没房住，给他们村的人买了一栋房子，房子是盖好的，买时付了两万多，可能当时说好，房子归房子，地分地，他那块地是两分地，要我们每年得付100斤的大米，现在那个人看地产价值升高，想叫我们把我们家种大米的那块地分两分给他，要不然就要我们把房子还他，他照旧把当时买的钱还我们。他说不给地就要告我们，而且他说每年付哒大米就当我们给他租的房费，请问房子地契在我们这，他如果向我们讨房子，我们还要按当时哒两万多还回去吗？