肇事赔款问题

去年我们出了点交通肇事，折腾了2年多，最后法院判了。
在判之前所有的医药费用是我们自己出的，肇事方只是在肇事那天给交警队压了2万多保车的钱，我们每天拿着医院的药费单子去哪里取，取得那个叫幸苦啊。
现在保险公司给我们赔偿了些，肇事方没有赔偿，赔款中包含他们的2万多，判书上只是说“对方已付2万”，在没有说什么。现在赔款直接打我账户了，我现在想着不给肇事方退那个钱了。
您说从法律角度上，我可以吗，如果我硬不给，他们会怎么做，我会有什么责任。请您给解答，谢谢