我借高利息交给法院的16.8万元能否退回

尽管你的问题并不是很清晰，但凭一个律师的经验你所说的协议应该是谅解协议。空口无凭，法律讲求证据。实话讲，一个六死四伤的惨烈交通事故，16.8万元的赔偿真的是杯水车薪，换了谁反悔都是情有可原的，况且赔偿本来就是被告人的义务，家属向法院代为交纳赔偿款法院会认定为家属的自愿行为，法院不会退还，更何况你们是夫妻关系，即使你不主动代为赔偿，法院也会执行你们的财产。如果你家庭确实困难，可以尽量争取法官和被害人家属的理解，毕竟你是借高利贷来支付的，法官在量刑的时候会酌情从轻处罚的。