В МФТИ обучили нейросеть самостоятельно распределять ресурсы
МФТИ — Московский физико-технический институт · · g3054643
Ученые МФТИ разработали SimplexLoRA — метод дообучения больших языковых моделей, который автоматически определяет наиболее важные слои нейросети и направляет на их настройку больше ресурсов. Подход повышает качество моделей без увеличения ресурсов и не создаёт дополнительной нагрузки при их последующем использовании. Статья представлена на ведущей конференции по анализу текстовых данных EMNLP 2026 в Будапеште в октябре. Большие языковые модели редко обучают заново для каждой отдельной задачи. Это требует огромных вычислительных ресурсов, времени и памяти. Вместо этого разработчики применяют методы параметрически эффективного дообучения с помощью небольших дополнительных модулей — адаптеров. LoRA – один из самых распространенных методов такого типа. Схема предложенного метода SimplexLoRA: важные адаптеры расширяются, менее важные сужаются Этот подход позволяет быстро приспособить универсальную модель к анализу текстов, ответам на вопросы, решению математических задач и другим сценариям. Однако есть ограничение: адаптеры обычно имеют одинаковый размер во всех слоях нейросети. При этом разные слои модели неодинаково влияют на результат — одним для освоения новой задачи требуется больше ресурсов, другим достаточно меньшего объёма. Учёные МФТИ совместно с исследователями из «Т-Технологий» представили новый способ, который может увеличивать или уменьшать адаптер в зависимости от того, что было выучено в начале обучения. Исследователи предложили распределять фиксированный бюджет между слоями автоматически. Разработанный ими метод SimplexLoRA в начале дообучения оценивает, каким участкам нейросети необходимы более крупные адаптеры, а каким можно назначить меньшие. Общий объём обучаемых параметров при этом не меняется: алгоритм не добавляет новые ресурсы, а перераспределяет уже имеющиеся, в отличие от существующих методов адаптивного распределения ресурсов, которые часто усложняют процесс обучения, увеличивают число параметров или требуют дополнительных вычислений во время работы модели. Обучение происходит поэтапно: распределение ресурсов, далее стандартное LoRA обучение с новыми размерами. «Вместо того чтобы назначать всем слоям одинаковые адаптеры, мы позволяем модели определить, где ограниченный бюджет параметров принесёт наибольшую пользу. Особенно заметный эффект возникает при небольших рангах, когда каждый обучаемый параметр имеет значение, — объясняет соавтор исследования и научный руководитель лаборатории BRAIn Lab Александр Безносиков. Эффективность метода проверили на 12 задачах, среди которых анализ эмоциональной окраски текста, ответы на вопросы, математические рассуждения и автоматическое реферирование. В экспериментах использовались четыре языковые модели разного размера, включая Llama 3.1 8B и Qwen3-8B. Новый метод также показал устойчивость к выбору настроек. По данным авторов, для получения стабильных результатов разработчикам не требуется проводить длительный поиск оптимальных параметров: в большинстве случаев достаточно рекомендованных в работе значений. На фото авторы статьи, Андрей Веприков и Григорий Давыденко «SimplexLoRA сохраняет главные практические преимущества стандартного LoRA: небольшой объём обучаемых параметров, простоту интеграции и отсутствие дополнительных вычислений при использовании модели. При этом ресурсы распределяются с учетом реальной значимости отдельных слоёв для конкретной задачи, — отмечает один из авторов статьи, научный сотрудник лаборатории BRAIn Lab Андрей Веприков. Метод может быть полезен при настройке языковых моделей в условиях ограниченной вычислительной мощности — например, когда разработчики располагают небольшим объёмом видеопамяти или должны минимизировать стоимость обучения. Благодаря совместимости со стандартным LoRA подход можно внедрять в существующие системы без существенной переработки программного кода. Исходный код SimplexLoRA опубликован в открытом доступе.