Больше кандидатов — без прироста Hit@20: разбор эксперимента
Habr ·
В моей рекомендательной системе товары из последующих зарегистрированных покупок чаще терялись до ранжирования. Я увеличила квоты кандидатов из описаний и изображений: общий предел вырос с 300 до 370. Затем пересчитала признаки и переобучила LightGBM на прежних данных. На 625 сессиях с зарегистрированной целью покрытие кандидатов выросло с 66,24% до 68,96%, но попаданий в первые 20 стало 388 вместо 389. В статье показываю разбор потерь, условия эксперимента и решение сохранить исходный вариант — без заявления о его статистическом превосходстве. Проект построен на данных Coveo. Код и инструкция воспроизведения открыты. Разобрать эксперимент