我现在住的房子能保住吗？这个合同有效吗

几年前我用属于我的房子跟别人交换（价值差不多），但是对方还要我再加一栋我现在住的房子交换，这明显的不平等，妻子不同意，我背着妻子跟他签了合同，内容是我用两处房子跟他交换，我现在住的这处房子，先让我住着，以后也归他，有两个见证人在场，请问这合同有法律效力吗？我现在住的房子可以不给他吗？
补充提问：
我跟我妻子商量她不同意，后来我自己去签的字，事后她才知道的，如果打官司，需要证据证明她不知情吗？另外交换完的房子还算数吗？我已经把换完的房子重修了