ИИ‑агент уверенно ошибается, а ИИ‑проверяющий говорит: всё в порядке
Habr ·
Пользователь просит ИИ‑агента «отменить предыдущий заказ», но у него два заказа, и агент должен спросить, какой именно имеется в виду. Вместо уточнения агент сам выбирает заказ, отменяет его и сообщает, что всё готово. Второй ИИ, которому поручено проверять ответы, читает сообщение об отмене, видит, что оно соответствует состоянию базы, и ставит положительную оценку. Проверяющий в этом эпизоде не соврал о том, что произошло: заказ действительно отменили. Он оценивал, насколько честно агент описал своё действие, а не то, имел ли агент основание совершать его без уточнения. Положительная оценка объяснения поэтому оставила незамеченной проблему, которую обнаружила отдельная программная проверка. Главная мысль этого разбора состоит в том, что один общий процент успеха смешивает разные проблемы, которые нужно проверять по отдельности. Я начинал с гипотезы, что короткая добавка к инструкции ухудшит работу агента, но эксперимент этого не подтвердил. Зато разбор записей помог найти три разных дефекта, для каждого из которых требуется своё исправление. В первом случае агент выполнил действие без требуемого уточнения, а проверяющий объяснения этого не остановил. Во втором тест требовал от агента выбора кода ответа по правилу, которое инструкция полностью не объясняла. В третьем агент выполнил операцию правильно, но проверяющий придумал причину для отказа. Разобрать ошибки