[Перевод] Все вызовы API успешны. Почему ИИ-агент всё равно нарушает правила?

Habr ·

[Перевод] Все вызовы API успешны. Почему ИИ-агент всё равно нарушает правила?

Агент создал запись о подрядчике, отправил договор на подпись и подготовил выплату. Все вызовы API завершились успешно. Однако обязательную проверку статуса подрядчика он пропустил. Для каждой системы действия выглядели допустимыми, а весь процесс оказался неправильным. Такой сценарий описывает технический директор Workday Гейб Монрой в колонке для VentureBeat . Проблема шире конкретного продукта: разрешение вызвать инструмент ещё не означает разрешения провести операцию в текущих обстоятельствах. Разберём, где агенту нужны ограничения и как проверить их до запуска. Читать далее

Агент создал запись о подрядчике, отправил договор на подпись и подготовил выплату. Все вызовы API завершились успешно. Однако обязательную проверку статуса подрядчика он пропустил. Для каждой системы действия выглядели допустимыми, а весь процесс оказался неправильным. Такой сценарий описывает технический директор Workday Гейб Монрой в колонке для VentureBeat . Проблема шире конкретного продукта: разрешение вызвать инструмент ещё не означает разрешения провести операцию в текущих обстоятельствах. Разберём, где агенту нужны ограничения и как проверить их до запуска. Читать далее

Источник: Habr