Anthropic признала, что ИИ может шпионить, сопротивляться отключению от сети и в целом несёт «катастрофические риски для человечества»
iXBT.com ·
Anthropic предупредила потенциальных инвесторов перед IPO о том, что дальнейшее развитие искусственного интеллекта может создавать «катастрофические или экзистенциальные риски для человечества». Об этом сообщает Reuters со ссылкой на проспект первичного размещения акций разработчика Claude.
Anthropic предупредила потенциальных инвесторов перед IPO о том, что дальнейшее развитие искусственного интеллекта может создавать «катастрофические или экзистенциальные риски для человечества». Об этом сообщает Reuters со ссылкой на проспект первичного размещения акций разработчика Claude.
В документах компания перечисляет потенциально опасные формы поведения продвинутых моделей. Среди них — попытки сопротивляться отключению, сокрытие или намеренное искажение информации, а также действия, которые Anthropic сравнивает с шантажом. По мнению компании, по мере роста возможностей ИИ потенциальный ущерб от такого поведения также может увеличиваться.
Проблему Anthropic видит в способности моделей понимать, что они находятся в условиях тестирования. Это может снижать надежность существующих методов оценки безопасности: система потенциально способна вести себя одним образом во время проверки и иначе после развертывания. Кроме того, некоторые новые способности моделей возникают неожиданно непосредственно в процессе обучения и обнаруживаются уже после выпуска системы.
Масштаб предупреждений необычен даже для документов публичной компании. Около 80 из 261 страницы основной части проспекта Anthropic посвящены факторам риска, при этом описание самого бизнеса занимает 48 страниц.
Anthropic признает, что обеспечение безопасности требует значительных ресурсов, а экономическую отдачу от этих вложений сложно оценить. Ранее компания сообщала, что в одну из недель июля около 6% вычислительных ресурсов, выделенных на исследования ИИ, использовались для работ, связанных с безопасностью.
Одновременно Anthropic необходимо постоянно выпускать более мощные модели. Компания указывает, что пользовательская активность и выручка зависят от появления новых систем, поэтому для сохранения позиций на переднем крае ИИ-индустрии требуется непрерывный и частично перекрывающийся цикл разработки и релизов.
Anthropic также обещает раскрывать больше информации о том, как ИИ используется при создании следующих поколений моделей. Это особенно актуально на фоне дискуссий о рекурсивном самоулучшении — гипотетическом сценарии, при котором искусственный интеллект сможет играть все более значительную роль в разработке собственных преемников.
При этом Anthropic продолжает рассматривать ИИ как потенциально трансформирующую технологию, сопоставимую по влиянию с индустриализацией и появлением электричества. Компания рассчитывает, что рынок будет вознаграждать разработчиков надежных и безопасных систем.