Intel готовит ускоритель ИИ с 480 ГБ памяти — компания заявляет о поддержке моделей с 300 млрд параметров на одной карте
iXBT.com ·
Intel представила ускоритель GPU D-series, ранее известный под кодовым названием Crescent Island, с объёмом памяти до 480 ГБ. Устройство предназначено для серверов, выполняющих запросы к моделям искусственного интеллекта. Компания показала его на глобальном саммите Open Compute Project. По заявлению Intel, один ускоритель сможет обслуживать модели с числом параметров до 300 млрд, а система из восьми таких устройств — модели с более чем триллионом параметров.
Вместо специализированной высокоскоростной памяти HBM или графической памяти GDDR7 Intel выбрала LPDDR5X — тип памяти, который широко применяется в ноутбуках и других устройствах, где важно снизить энергопотребление. Такой выбор ориентирован на задачи инференса — выполнение уже обученной модели, например генерацию ответов чат-ботом. При обработке запросов важно держать большие объёмы весов нейросети и связанных с ними данных в доступной памяти, чтобы не тратить дополнительные ресурсы на их постоянную загрузку.
По спецификациям Intel, производительность ускорителя достигает 1,3 петафлопса в вычислениях FP8 — формате чисел пониженной точности, используемом для ускорения многих операций ИИ. Пропускная способность памяти составляет 1,5 ТБ/с, а заявленный предел энергопотребления — 350 Вт. Устройство выполнено в стандартном форм-факторе PCIe и рассчитано на воздушное охлаждение, что, по замыслу производителя, должно упростить его установку в существующие серверы. Intel также предусматривает совместную работу ускорителя с процессорами Xeon для распределения задач и управления передачей данных.
Объём памяти сам по себе не определяет скорость обработки запросов: она зависит также от вычислительных блоков, пропускной способности памяти, программного обеспечения и характера нагрузки. Intel пока не объявила розничную цену GPU D-series и точную дату его выхода на рынок. Компания позиционирует устройство как средство для развёртывания крупных моделей ИИ в корпоративных системах, в том числе при одновременной обработке множества запросов и работе с длинными контекстами.