关于律师费问题

我聘请律师在上海提起借款合同诉讼，预先按照诉讼标的(166万）的5%分二次（律师代理合同约定：律师受理和法院立案时）预交了8万多的律师费（根据借款合同约定：胜诉后由被告方承担）。一审判决本人胜诉但同时法官却判决律师费过高，判定被告方承担2万，这与我之前预交的数额相差较大。对此，有人认为：法官判决应该有一定道理，对于律师多收部分可以向律师要回，如果律师不同意则可以向原审法院提起诉讼要关于律师费问题回。而律师认为律师费的收取是符合政府有关规定的，法院判决收费过高没有依据，应该可以上诉。究竟我该怎么办？