Нет записи о покупке — нет покупки? Как реальные данные изменили постановку задачи
Habr ·
Для оценки рекомендательной системы я подготовила 60 000 сессий, но Hit@20 посчитала только по 748. Остальные не стали автоматически промахами: отсутствие записи о покупке ещё не доказывает, что посетитель ничего не купил. На данных Coveo это заставило меня пересмотреть цель, подготовку данных и обучение. В статье разбираю на простом примере, какие действия может видеть модель, откуда берутся нулевые метки и почему промахи отбора кандидатов должны оставаться в метрике. Все эти правила уже работают в проекте с графом товаров, LightGBM и локальным HTTP API. Код и инструкция воспроизведения доступны в репозитории. Почему в метрике 748 сессий?