男方还是过错方

您好，我有个问题想请教，事情是这样的，我跟我男朋友订婚了，但是我发现他对感情不忠，跟我在一起的同时还有一个女人正在跟他交往着，订婚后我才发现订婚前他们就在一起，由于这样，我跟他开始吵架，现在我吵厌了，我累了，不想再吵下去了，但是我没法过了心里那道坎，所以想明白了要退婚，但是他不同意说是要告我，请问他能不能告上我？彩礼跟买金器一共三万两千八十，然后还有旅游的婚纱照的钱，加上旅游，婚纱照，金器，彩礼的钱一共五万多一点，我想知道怎么退钱，和退多少，谢谢您，请求您帮帮我，旅游婚纱照是双方花费的，如果我只退彩礼跟金器的钱，他还能不能告我？还是说我必须都要退，可是他是过错方呀！我该怎么维护自己的权益？
补充提问：
退还彩礼跟首饰，他是不是没法告我了？我是不是就自由了，遇见这样的事真是闹心