Средняя метрика скрывает провал редкого сегмента: проверяем ML-модель на срезах
Habr ·
Accuracy выросла, очередь на ручную проверку сократилась — кажется, новую ML-модель можно выпускать в продакшен. Но за улучшением общих метрик может скрываться серьёзная просадка качества на отдельных сегментах данных. На примере классификатора объявлений разбираем, как выявлять такие проблемы, проверять модель на срезах и определять критерии её готовности к релизу. Разобрать ошибки ML