MWS AI Vision Bench: что изменилось за год и зачем мы добавляем антифрод
Habr ·
Год назад мы выложили в открытый доступ MWS AI Vision Bench — бенчмарк для оценки мультимодальных моделей на русскоязычных документах. За это время мультимодальные модели существенно шагнули вперед, метрики в VQA начали упираться в потолок, а мы добавили в бенчмарк задачу, которой критически не хватало — Anti-fraud. По катом расскажу, как изменился бенчмарк и почему с антифродом все оказалось сложнее, чем мы думали… Читать далее
Год назад мы выложили в открытый доступ MWS AI Vision Bench — бенчмарк для оценки мультимодальных моделей на русскоязычных документах. За это время мультимодальные модели существенно шагнули вперед, метрики в VQA начали упираться в потолок, а мы добавили в бенчмарк задачу, которой критически не хватало — Anti-fraud. По катом расскажу, как изменился бенчмарк и почему с антифродом все оказалось сложнее, чем мы думали… Читать далее