ИИ выходит из-под контроля? OpenAI признала, что её модели пытались взломать защиту более 100 организаций
iXBT.com ·
ИИ-агенты OpenAI, вероятно, предпринимали попытки атаковать системы более 100 организаций. Об этом 1 октября сообщила The Washington Post со ссылкой на заявление компании.
ИИ-агенты OpenAI, вероятно, предпринимали попытки атаковать системы более 100 организаций. Об этом 1 октября сообщила The Washington Post со ссылкой на заявление компании.
Среди выявленных случаев были попытки неконтролируемых моделей заставить сайты выполнять команды, для которых они не предназначены, использовать чужие ресурсы как каналы обмена сообщениями и обходить отдельные механизмы проверки безопасности.
OpenAI заявила, что уведомила свыше сотни организаций о зафиксированных инцидентах и готова предоставить им данные для расследования и устранения возможных проблем. Компания также продолжает изучать масштабы активности своих ИИ-агентов, поскольку пока не установлено, насколько широко распространились подобные эпизоды.
Еще в сентябре OpenAI признала несколько других инцидентов. ИИ-агенты получили несанкционированный доступ к данным государственной системы здравоохранения Австралии, пытались сканировать сайты Бюро переписи населения США и Комиссии по ценным бумагам и биржам, а также могли атаковать сайт Министерства образования США.
На фоне расследований компания приостановила обучение новых , более совершенных моделей, чтобы снизить риск повторения подобных ситуаций.