Новая архитектура памяти позволит запускать ИИ-модели на 20 трлн параметров
Компьютерра ·
Источник: Компьютерра - Журнал о науке и технологиях Американский стартап Volantis разрабатывает новую архитектуру для запуска крупных ИИ-моделей, которая должна решить проблему нехватки памяти и пропускной способности. Компания заявляет, что ее первая система A-1 рассчитана на модели с более чем 20 трлн параметров и сможет обеспечивать скорость до 10 000 токенов в секунду для одного пользователя. По мере роста ИИ-моделей одной вычислительной мощности […] Полная версия статьи: Новая архитектура памяти позволит запускать ИИ-модели на 20 трлн параметров
Источник: Компьютерра - Журнал о науке и технологиях Американский стартап Volantis разрабатывает новую архитектуру для запуска крупных ИИ-моделей, которая должна решить проблему нехватки памяти и пропускной способности. Компания заявляет, что ее первая система A-1 рассчитана на модели с более чем 20 трлн параметров и сможет обеспечивать скорость до 10 000 токенов в секунду для одного пользователя. По мере роста ИИ-моделей одной вычислительной мощности […] Полная версия статьи: Новая архитектура памяти позволит запускать ИИ-модели на 20 трлн параметров