不想做小三，请求帮助

您好，两年前我找了一份文员的工作，工作后接触了很多工作，包括统计、财会什么的，反正就是公司有什么杂货都做，在一年前，公司老板说我报假账（注明 我不是财会），我只是把公司库管、车间的数据做成报表交给上级，老板说因为我公司亏了500万左右，但是也没把我怎么处理，就是什么都不让我做了，让我干呆着。去年10月份，我实在是挺不住了，就辞职了。今年一月份，老板突然开始和我联系，说喜欢我，我离开后想我了，我一时糊涂，和他见面了2次，但是没有发生关系，快过年前，给我了20万，说是让我过年的。
过年的这段时间，我想了很多，觉得这样不好，我想和他说明白，钱我一直都没有动，我想能还给他，然后不再和他联系了。但是他说事情不会那么简单，说是让我付出我该付的代价。
我现在也不知道该怎么办了，他会不会哪原来公司的事情来威胁我呢，要是真的被告了，500万根本就是天方夜谭，所以，我想在这里咨询一下律师，这样的事情会发生吗？谢谢