Тестирование ИИ-агента реального действия на выполнение неназванных условий: прогоны на DeepSeek
Habr ·
Что показали 3360 испытаний и что агент при этом сообщал пользователю Ранее мы описывали методологию создания тестовой системы для ИИ-агентов с вызовом функций, имеющих реальный эффект. https://habr.com/ru/articles/1090748/ . Ее основная идея заключается в том, что для совершения действия агент должен проанализировать условия, которые обеспечивают правомерность действия, но при этом он может их узнать только из внешнего источника – из ответа функции чтения или из доступного ему документа, то есть условие имеет статус неназванного. Методология позволяет воспроизводимо проверить, вызовет ли ИИ-агент функцию, когда вызывать ее нельзя, а также сопоставить с действием ответ агента, который он даст при этом пользователю. Метод, план прогона, карты ошибок и подробный анализ опубликованы в препринте https://doi.org/10.5281/zenodo.23556771 . Здесь мы представим лишь некоторые выводы, касающиеся работы агента плюс несколько замечаний о методе. Главный результат прогона: удержит ли агент условие, зависит прежде всего от того, как оно записано в данных. Норму, записанную словом в имени поля или значением-запретом, DeepSeek соблюдал почти всегда. Запрет, который нужно вывести из описания объекта, он нарушал и без всякого давления. В большинстве срывов агент называл препятствие и всё равно выполнял действие. Читать далее