Как мы строили и улучшали LLM‑слой для общения с покупателями
Habr ·
Мы начали с бота, который должен был снять с поддержки рутинные напоминания. Затем добавили языковую модель, научились учитывать смысл ответов покупателей и собрали каскад из двух судей и арбитра. По обновлённой сводке экспериментов совпадение действий с разметкой выросло с 74% до 84%, а общее число ошибок сократилось на 38% при примерно прежней средней стоимости решения. Расскажем, как получили этот результат: меняли промпты, проверяли правила, увеличивали контекст и сравнивали модели. Покажем, где показатели улучшались, где мы теряли полезные продолжения вместе с ошибками и почему дополнительный признак процесса оказался важнее части экспериментов с моделями. Результат относится к экспериментальной оценке: выбранный каскад ещё предстоит проверить на новых диалогах и включить в прод. Читать далее