房屋院坝纠纷问题

我爸妈民政协议离婚、在协议上有写到：房子一楼归父亲所有，房子二楼归母亲所有。 因为协议上没有注明院坝归谁，所以现在发生了些纠纷。
在农村里，都有一个院坝、父亲在我们不知情的情况下单方面在院坝修建房屋，我和母亲都在外地打工，我10年12月份回家的时候看到后并多次找父亲、协商未果。找到当地居委会领导调解达成协议：院坝给父亲修房子，父亲把原老房子给母亲便以后修房子。 因为当时母亲在外打工，由我实属无奈签了这个协议。现在母亲告我侵权，说院坝的使用权有她的一半，告我私自用院坝换了父亲的房子（房子和院坝是母亲和父亲婚后共同建造的），居委会调解的协议上她并没有签字，也没有在协议上提到有关她的名字，完全是我和父亲的协议，而且母亲也没有给我写任何委托书让我去签协议，只是母亲在电话里对我说过让我去签，但是母亲现在不认账了。请问母亲告我侵权有道理吗？
离婚协议上我并没有判给谁，只是在离婚协议上看到有这么一条：父亲不负担儿子任何费用开支，儿子以后也不负担父亲的任何费用开支、包括到死。（此协议我并没有参与，是父亲写的）只是母亲这么多年在供我、拉扯我长大的。现在父亲有了另外一个家庭和小孩。请问母亲告我侵权有道理吗？