家庭中的经济问题

我和老公是大学同学，相伴至今已经5年，短短的几年，我们建立了深厚的感情基础，并完全通过两人的打拼买车买房。他家人貌似有道理的“借钱”已经开始影响我们夫妻感情。3年前，他哥哥以做生意为由，向我们借了4万元，并承诺几个月就还钱，结果是到现在也没有履行诺言；今年他爸爸又以做生意为由借走40万（这些占据了我们70%的积蓄，大部分是老公赚来的），承诺12月还钱，可是现在又计划暂不还钱，继续投资下笔生意。
我觉得老公家人过于自私，老公也从未催着他们还钱，这让我不知该如何是好。我不希望因为他家人的一些行为影响我和他的感情，自己却无法忘记他家人的行为，由于平时和他家人联系较少，我也无法开口让他们还钱，老公态度模糊不给我一个他的明确态度，我很心疼这么多积蓄被他家人借用。
我该怎么做？