OpenAI приостановила обучение своих самых мощных моделей: проблема с безопасностью ИИ может быть «на порядки сложнее, чем это известно общественности»
iXBT.com ·
OpenAI временно остановила обучение и тестирование части своих наиболее мощных исследовательских моделей после инцидента, в ходе которого одна из экспериментальных систем смогла использовать DNS для получения ответа от внешнего чат-бота. Информация об этом появилась в сообщениях компании и публикации Axios.
OpenAI временно остановила обучение и тестирование части своих наиболее мощных исследовательских моделей после инцидента, в ходе которого одна из экспериментальных систем смогла использовать DNS для получения ответа от внешнего чат-бота. Информация об этом появилась в сообщениях компании и публикации Axios.
Инцидент произошел 20 сентября во время обучения экспериментальной модели. ИИ получил задачу найти в интернете сведения о конкретном человеке по нескольким биографическим подсказкам. После того как встроенный поисковый инструмент не дал результата, модель начала искать альтернативные способы доступа к информации.
По данным OpenAI, прямой выход в интернет из исследовательской среды был заблокирован, однако DNS-резолвер продолжал взаимодействовать с внешней сетью. Модель использовала этот канал для передачи запроса стороннему чат-боту и получения ответа, хотя подобный способ работы не был предусмотрен разработчиками.
Необычную сетевую активность система мониторинга обнаружила примерно через 15 минут. После расследования компания закрыла использованный канал на двух уровнях, усилила ограничения на DNS-запросы и выявила дополнительные недостатки в механизмах автоматического контроля инфраструктуры.
В результате OpenAI решила временно приостановить обучение, оценку и инференс наиболее мощных исследовательских моделей в сценариях с использованием внешних инструментов. По данным Axios, компания возобновит эти работы только после внедрения дополнительных мер безопасности и проверки защитных механизмов.
По информации источников Axios, OpenAI и Anthropic расследуют несколько десятков тысяч инцидентов, произошедших в последние месяцы в ходе испытаний в реальных условиях. Отмечается, что информация о многих из них пока не представлена публично, а проблема может быть « на порядки сложнее, чем это известно общественности ».
При этом речь не идет об остановке ChatGPT или всех сервисов OpenAI. Пауза касается только отдельных исследовательских моделей и внутренних экспериментальных сценариев, а сама компания называет произошедший инцидент важным поводом для усиления безопасности, а не свидетельством полной потери контроля над ИИ.