朋友在马来西亚被非法扣留护照

我朋友6月去马来西亚古晋打工，但是一个月以来一直在办工作证，护照等均在老板手里。他们没有跟老板签任何合同。
但是前两天因为另外一个朋友工作时被另外工友欺负老板却不负责，反而责备他们。因为怕继续呆着会跟那一个工友继续发生冲突，所以决定回国。
但是老板不肯返还护照，非让他们拿3万去把护照买回来。在外打工的谁可能付得出这么多钱？他们当然不愿意。于是找古晋的总领事馆，领事馆却不出面，让他们自己回去跟老板商量。商量那是肯定得不到结果的。
大概描述如上，我想问问，老板扣留他们护照到底是合法还是不合法。如果不合法，那为什么领事馆不出面帮助？当地警局也不出面。
谢谢