借给家人的钱没有借条怎么办？

很多年前婆婆给我们的钱，其中一部分说是给孩子将来上大学用的。因为我婆家自己有个小厂子，2009年，因为资金运转的不好，以借款的名义把钱借走了。在厂子账上应该入到借款里，但是因为是家里人，借款收据没有给我，我只有借款当天我从银行取钱的记录。另外还有五万元钱，是2011年我直接借给我公公的现金，也是因为厂子缺少资金。现在我老公有外遇，我们要离婚，他父母不想给这个钱了，我怎么办？