Обучение моделей упирается в синхронизацию тысяч GPU: интервью с Дмитрием Улюмджиевым, Reflection
Компьютерра ·
Источник: Компьютерра - Журнал о науке и технологиях 24 сентября MLCommons объявила о запуске первого отраслевого бенчмарка для посттренинга LLM в рамках MLPerf Training v6.1. Новый тест оценивает эффективность reinforcement learning (RL) при обучении языковой модели с 397 млрд параметров. Особое внимание уделяется масштабированию распределенной инфраструктуры, синхронизации весов и балансу между производительностью и качеством обучения. Появление такого бенчмарка показывает, что RL-обучение больших моделей […] Полная версия статьи: Обучение моделей упирается в синхронизацию тысяч GPU: интервью с Дмитрием Улюмджиевым, Reflection