В крупнейший в мире суперкомпьютер Colossus 2 Илона Маска с энергопотреблением свыше 1 ГВт можно добавлять по 110 тысяч GPU — раскрыто неожиданное ограничение Colossus 2
iXBT.com ·
Илон Маск объяснил, почему кластер Colossus 2 изначально получил 110 тыс. ускорителей Nvidia GB200, а затем, по плану, будет пополняться на 110, 220, 330 и 440 тыс. GPU.
Илон Маск объяснил, почему кластер Colossus 2 изначально получил 110 тыс. ускорителей Nvidia GB200, а затем, по плану, будет пополняться на 110, 220, 330 и 440 тыс. GPU.
Увеличение количества чипов Nvidia, кратное 110, связано с ограничением количества оптоволоконных кабелей для центрального коммутатора. Размер такой системы определяется не только возможностями серверной инфраструктуры, но и максимальным количеством оптоволоконных соединений, которые можно физически подключить к центральному коммутатору.
Ранее Маск сообщал, что Colossus 1 получил 150 тыс. GPU Nvidia H100, 50 тыс. H200 и 30 тыс. GB200. Вторая версия суперкомпьютера масштабируется иначе: Colossus 2 получил 110 тыс. Nvidia GB200 и 440 тыс. GB300.
При этом строительство кластера продолжается. Ещё 220 тыс. ускорителей GB300 должны полностью заработать на следующей неделе, а дополнительные 220 тыс. — в ноябре. Если планы будут реализованы, ещё одна партия из 220 тыс. GB300 будет введена в эксплуатацию к концу декабря.