大学生违约

我是一名即将毕业大学生，和用人单位签署了就业协议书，和一份附加协议，上面说明如果违约的话需要交付5万的违约金。因为种种原因，现在不能去用人单位，想违约。和用人单位协商后，他们说必须交违约金。否则不给你开解约证明，如果是这样的话，我就不能改派（派遣证），影响以后的就业情况，和档案管理（如果没有派遣证，档案就没有单位接受）。
岗前没有培训和不涉及到商业机密。
我想咨询一下，我该怎么办，必须交违约金吗？谢谢！！