В 6 китайских ИИ-моделях нашли отпечатки запрещённых Nvidia Blackwell: DeepSeek воспроизвела 445 строк весов бит в бит
iXBT.com ·
Шесть новых моделей китайских разработчиков ИИ содержат числовые отпечатки, соответствующие графическим ускорителям Nvidia поколения Blackwell. К такому выводу пришёл бывший исследователь OpenAI Уилл Депью, проведший криминалистический анализ опубликованных весов моделей. Речь идёт о DeepSeek-V4-Flash и DeepSeek-V4-Pro, Kimi K3 и Kimi K3.1-Pro от Moonshot AI, MiniMax-M3 и Ling-3.1-flash от Ant Group. Более ранние модели этих компаний соответствовали предыдущему поколению Nvidia Hopper. Установленные отпечатки указывают на конфигурации Blackwell B200/B300 с 148 вычислительными блоками SM или GB200/GB300 с 152 такими блоками.
Метод основан на особенностях первоначальной инициализации весов нейросети — присвоения миллиардам параметров стартовых числовых значений перед обучением. Используемый в PyTorch генератор псевдослучайных чисел Philox создаёт последовательность значений на основе заданного начального числа (seed). При этом GPU распределяет вычисления между потоками, а их количество зависит от числа вычислительных блоков SM. В результате одинаковая последовательность чисел размещается в разных позициях тензора на разных ускорителях. Часть исходных значений сохраняется в опубликованных весах даже после обучения: например, у нейронов, отвечающих за слова и символы, которые модель не встречала в обучающих данных. По этим сохранившимся значениям можно восстановить начальное число и конфигурацию GPU.
Для проверки DeepSeek-V4-Flash исследователи использовали физический Nvidia B300 и воспроизвели 445 из 469 выбранных строк весов с точностью до каждого бита. Ещё 16 строк показали высокую корреляцию, а 8 были частично изменены обучением. На Nvidia H100 таких совпадений для этой модели не обнаружили. При этом для более ранней DeepSeek-V3 ситуация оказалась обратной: H100 воспроизвёл все 57 344 сохранившихся исходных значения, тогда как B300 не смог этого сделать. Аналогичную проверку Kimi K3 провели на арендованном GB200: все 13 сохранившихся строк совпали с исходными значениями. Метод также проверили на 24 моделях, для которых разработчики публично раскрывали использованное оборудование: во всех случаях результаты совпали с известными данными.
Авторы также оценили возможный масштаб вычислительных ресурсов. Если предположить, что модели обучались на тех же ускорителях, на которых создавались их исходные веса, то для 5 крупнейших запусков могло потребоваться около 12 000 Blackwell. В частности, оценка для Kimi K3 составляет 4500 GPU, для DeepSeek-V4-Pro — 3000. Два этих вычислительных кластера могли стоить $200–300 млн каждый, а совокупная стоимость оборудования для 5 запусков превышает $500 млн. Однако это расчётные оценки, а не подтверждённые данные: они зависят от продолжительности обучения, эффективности использования ускорителей и объёма обучающих данных.
У метода есть ограничения: он показывает, на каком оборудовании создавались начальные веса, но не доказывает, что именно эти GPU использовались на протяжении всего обучения. Нельзя установить и местонахождение ускорителей, их владельцев или способ получения доступа к ним. Кроме того, исследователи проверили альтернативное объяснение с использованием AMD MI300X: этот ускоритель можно настроить на конфигурацию из 148 или 152 вычислительных блоков, воспроизводящую характерный рисунок Blackwell. Для DeepSeek-V4-Flash эту версию удалось исключить по дополнительным числовым признакам, для остальных 5 моделей авторы считают её крайне маловероятной. Таким образом, анализ даёт технические свидетельства доступа китайских разработчиков к экспортно ограниченным ускорителям Nvidia, но сам по себе не доказывает нарушения американских экспортных ограничений.