Пилот, который сам собирает себе разметку
Habr ·
Когда стоит задача научить ИИ ловить аномалии, мы первым делом смотрим, на чём эта модель будет учиться. Справочники и источники данных можно привести в порядок заранее — это делается до всякой модели, про такую подготовку был отдельный разбор. С разметкой фокус не проходит. Её нельзя подготовить впрок: никто никогда не отмечал задним числом, где была аномалия, а где норма, и этой истории не существует, пока кто-то не начнёт выносить вердикты на живом потоке. Собирать её отдельным этапом — это полгода, а то и год ждать, прежде чем система хоть что-то начнёт делать. Мы этот путь сокращаем: разворачиваем пилот, который производит разметку сам, пока уже работает и приносит пользу. Меня зовут Алексей, я руковожу ML-направлением в компании. Приём сбора разметки пилотом у нас отработан на разных задачах; покажу его на контроле закупок — поиске завышенных цен, нецелевых и внетендерных закупок. Та самая задача, где эталон рыночной цены я в прошлый раз честно оставил открытым вопросом: на ней как раз и видно, что запускаться можно, не дожидаясь, пока этот эталон появится. Почему тут нельзя просто взять модель, я уже разбирал отдельно: supervised обучать не на чем, unsupervised на редких событиях сыплет ложными, LLM без эталона уверенно называет завышенную цену рыночной. Итог один: сперва слой на правилах, модель — сверху и позже. Дальше — про то, как именно этот слой превращается в машину для сбора разметки. Читать далее
Когда стоит задача научить ИИ ловить аномалии, мы первым делом смотрим, на чём эта модель будет учиться. Справочники и источники данных можно привести в порядок заранее — это делается до всякой модели, про такую подготовку был отдельный разбор. С разметкой фокус не проходит. Её нельзя подготовить впрок: никто никогда не отмечал задним числом, где была аномалия, а где норма, и этой истории не существует, пока кто-то не начнёт выносить вердикты на живом потоке. Собирать её отдельным этапом — это полгода, а то и год ждать, прежде чем система хоть что-то начнёт делать. Мы этот путь сокращаем: разворачиваем пилот, который производит разметку сам, пока уже работает и приносит пользу. Меня зовут Алексей, я руковожу ML-направлением в компании. Приём сбора разметки пилотом у нас отработан на разных задачах; покажу его на контроле закупок — поиске завышенных цен, нецелевых и внетендерных закупок. Та самая задача, где эталон рыночной цены я в прошлый раз честно оставил открытым вопросом: на ней как раз и видно, что запускаться можно, не дожидаясь, пока этот эталон появится. Почему тут нельзя просто взять модель, я уже разбирал отдельно: supervised обучать не на чем, unsupervised на редких событиях сыплет ложными, LLM без эталона уверенно называет завышенную цену рыночной. Итог один: сперва слой на правилах, модель — сверху и позже. Дальше — про то, как именно этот слой превращается в машину для сбора разметки. Читать далее