机动车与行人事故事后行人没伤但拒绝到故事处理中心签字确认

我驾驶小型汽车在菜场旁路边慢慢驶过，速度不到10公里╱1小时，前面人很多不小心轻碰到车前行人左腿，但没有碰倒他，也没有一点外伤，但他说不能走路了，我就报了警，后送他到医院拍片，检查结果也是一切正常，连外表皮都没有一点损伤。医药费是我付的，可事已过了一段时间，他不到事故理中心签字确认，我被扣驾驶证和行驶证的副证就拿不出来。我该怎么做？
补充提问：
今天下午我又到事故处理中心的交警让我慢慢等，等到当事人同意过来结案为止，没有其它办法。若当事人不一直不来结案，那就等满两年消案…
交警的回答让人晕啊！还说我认的是全责，没法起诉…
真是冤啊！冤的是：本来我就是他穿过来碰到我的车，本想好心，反正他也没伤，我也有保险，就认全责吧…现在弄成这样…
我现在怎么做？
烦请您帮忙给予好的见意，谢谢！