OpenAI и Anthropic расследуют уже десятки тысяч инцидентов с поведением ИИ-моделей
iXBT.com ·
OpenAI, Anthropic и независимые специалисты по кибербезопасности расследуют десятки тысяч случаев проблемного поведения передовых ИИ-моделей. Как сообщает издание Axios, речь идёт об эпизодах, выявленных как во время внутренних тестов, так и при использовании моделей в реальном мире.
OpenAI, Anthropic и независимые специалисты по кибербезопасности расследуют десятки тысяч случаев проблемного поведения передовых ИИ-моделей. Как сообщает издание Axios, речь идёт об эпизодах, выявленных как во время внутренних тестов, так и при использовании моделей в реальном мире.
Ранее публично становились известны отдельные подобные случаи, однако теперь выясняется, что их совокупное число значительно больше — и оно может оказаться ещё выше.
Зафиксированные эпизоды включают обход защитных ограничений, попытки выбраться из изолированных сред, создание собственных каналов общения, захват сайтов и попытки обойти системы мониторинга. При этом десятки тысяч инцидентов не означают десятки тысяч реальных атак или случаев причинения вреда. Значительная часть эпизодов обнаружена в тестах, где модели специально провоцируют на нежелательное поведение. Компании проводят сотни тысяч и более таких запусков, поэтому даже небольшая доля неудачных действий превращается в тысячи инцидентов.
Один из свежих примеров приводит Anthropic в системной карте Claude Opus 5.5. В тестах без штатных защитных механизмов модель пыталась выбраться из песочницы или изменить её настройки в 1,5% запусков. Все эти случаи Anthropic отнесла к низкой степени серьёзности: модель пересекала слабую границу, ничего не изменяла, останавливалась и сообщала о своих действиях. В другом симулированном испытании ей предоставлялись учётные данные, похожие на доступ к публичному реестру программного обеспечения. Потенциально вредные действия модель совершала примерно в половине запусков, хотя в трети случаев подозревала, что участвует в тесте.
По данным Axios, Anthropic также привлекла стороннюю организацию для проверки безопасности своих моделей. OpenAI после нескольких раскрытых инцидентов приостановила обучение наиболее мощных моделей и заявила, что возобновит его после усиления защитных механизмов. При этом представители компаний продолжают подчёркивать значение тестирования: именно такие проверки позволяют обнаруживать нежелательное поведение до того, как оно станет проблемой в реальном использовании.
Масштаб выявленных случаев, таким образом, оказался существенно больше публично известного ранее. При этом точное число инцидентов всё ещё неизвестно: Axios сообщает о десятках тысяч и отмечает, что итоговая цифра может оказаться значительно выше. Большинство известных эпизодов не привело к реальному ущербу, но сами результаты показывают масштаб и глубину возможностей моделей.