关于占地征地

我在2006年在本村买了一块120平方的地打算造房，当时买地时那地上面种了些蔬菜，现在准备起房子了，我那地上面不只有蔬菜了，还种了树，还被别人造了一个简单的10多平方的小房子，他们说我如果要造房子就要支付他的蔬菜青苗损失的钱，每棵树也要付钱，大概1000元以内，还要支付那个小房子的钱，大概2000左右，我们这里如果按政府移民来算也确实是这样付钱的，可我这是私人的地，我有土地使用证的，也就是说是别人在我的土地上种菜，造了房子，我还要反过来给他钱，我想问下这钱我可以不用给吗？如果真要打管司我能赢吗？我该怎么做？谢谢了！