OpenAI заявила, что поймала китайский стартап Moonshot AI на дистилляции скрытых рассуждений своих моделей
iXBT.com ·
OpenAI сообщила, что выявила и пресекла скоординированную кампанию по извлечению защищённых логических рассуждений из своих моделей, центральный кластер которой ведёт к китайскому стартапу Moonshot AI, создателю ИИ-ассистента Kimi. Атака началась в первых числах июля, а в пиковый период за двое суток было зафиксировано 16 тысяч запросов, отправленных с более чем 4 тысяч учётных записей.
OpenAI сообщила, что выявила и пресекла скоординированную кампанию по извлечению защищённых логических рассуждений из своих моделей, центральный кластер которой ведёт к китайскому стартапу Moonshot AI, создателю ИИ-ассистента Kimi. Атака началась в первых числах июля, а в пиковый период за двое суток было зафиксировано 16 тысяч запросов, отправленных с более чем 4 тысяч учётных записей.
Всего компания обнаружила связанную активность в кластере, насчитывающем более 15 тысяч пользователей, и к 28 июля полностью подавила кампанию.
Эту операцию в OpenAI классифицировали как «состязательную дистилляцию»: метод, при котором выходные данные или цепочки рассуждений одной модели используются для обучения или улучшения другой. Извлечение скрытых ответов и рассуждений даёт конкурентам возможность воспроизводить продвинутые способности, не вкладываясь в дорогостоящую разработку и не создавая собственных механизмов безопасности, что несёт риски для национальной безопасности и контроля над мощными ИИ-системами.
Злоумышленники не взламывали шифрование, базы данных или хранилища диалогов OpenAI. Вместо этого они манипулировали взаимодействием с моделями так, чтобы скрытые внутренние рассуждения проявились в видимой для запрашивающего форме. В OpenAI подчеркнули, что не уверены, действовал ли один субъект во всех случаях, однако основной очаг активности приписан лицам, аффилированным с Moonshot AI.
Разоблачение состоялось спустя считанные недели после того, как конкурент OpenAI, компания Anthropic, обвинила ряд китайских разработчиков, включая Moonshot AI и Alibaba, в тайном использовании её модели Claude для обучения собственных систем. Информацией о нынешней атаке OpenAI поделилась с другими разработчиками через Frontier Model Forum и правительственные каналы обмена данными.