[Перевод] Восемь допущений о безопасности, которые ИИ-агенты тихо ломают
Habr ·
![[Перевод] Восемь допущений о безопасности, которые ИИ-агенты тихо ломают](https://habrastorage.org/extt/74/42/21/744221e91f307c882ce18b65b4dfbb60.jpg)
Бен Лорика (Gradient Flow) разбирает недавние атаки с участием ИИ-агентов. В одном взломе работа, на которую у людей-операторов, по оценке, ушло бы около двух недель, заняла меньше десяти часов, а в инциденте Hugging Face восстановили около 17 600 действий агента за четыре с половиной дня. Эксплуатировали в основном обычные слабости, изменилось упорство атакующего. Отсюда восемь практических выводов: от метрики «сколько проходит от обнаружения до локализации» и защиты обвязки агента до временных учётных данных и границы безопасности за пределами модели. Читать дальше →
Бен Лорика (Gradient Flow) разбирает недавние атаки с участием ИИ-агентов. В одном взломе работа, на которую у людей-операторов, по оценке, ушло бы около двух недель, заняла меньше десяти часов, а в инциденте Hugging Face восстановили около 17 600 действий агента за четыре с половиной дня. Эксплуатировали в основном обычные слабости, изменилось упорство атакующего. Отсюда восемь практических выводов: от метрики «сколько проходит от обнаружения до локализации» и защиты обвязки агента до временных учётных данных и границы безопасности за пределами модели. Читать дальше →