Учёные МФТИ научились «упаковывать» нейросети без потери качества
МФТИ — Московский физико-технический институт ·
Алгоритм HARP, созданный в МФТИ, улучшает качество экстремально сжатых языковых моделей. Метод позволяет моделям уровня Llama и Qwen работать в два раза быстрее, теряя при этом меньше информации, чем при стандартном подходе. Препринт исследования опубликован на arxiv.org, код HARP выложен в открытый доступ на GitHub, а готовые сжатые модели опубликованы на Hugging Face. Большие языковые модели (LLM) требуют огромных вычислительных ресурсов. Их запуск упирается в пропускную способность памяти. Чтобы сжать их, ученые используют квантование — значения их весов представляют меньшим числом бит. Чем сильнее сжатие, тем выше риск потерять точность. Особенно это заметно при агрессивном сжатии, когда возникает проблема «выбросов»: несколько аномально больших значений весов портят статистику, и модель начинает хуже понимать текст. Новый алгоритм HARP борется с этой проблемой. Перед квантованием он подбирает для каждого слоя модели собственную систему координат — такую, в которой значения лучше подходят для последующего сжатия. В основе метода лежат структурированные ортогональные повороты — математические преобразования, которые меняют способ представления данных, но не меняют саму модель. Когда вы поворачиваете фотографию, изображение остаётся тем же, меняется только угол зрения. Похожий процесс происходит и при сжатии нейросети. Эти преобразования обратимы, поэтому модель не теряет информацию. Алгоритм HARP использует не сплошные, а структурированные повороты — они состоят из множества маленьких блоков. Это позволяет применять их быстро и хранить без больших затрат памяти, в отличие от полных матриц поворота, которые для больших моделей заняли бы слишком много места» Артур Загитов, инженер-исследователь лаборатории фундаментальных исследований искусственного интеллекта МФТИ. HARP не заменяет существующие методы квантования, а работает поверх них. В начале калибровки он полностью совпадает со стандартным преобразованием, которое уже используется в этих пайплайнах. Затем HARP аккуратно подстраивает повороты под конкретный слой модели и выбранный метод сжатия. Это позволяет улучшать качество модели и сохранять ее структуру. Алгоритм проверили на моделях разного масштаба. В экспериментах на Llama 2–70B и Qwen3-8B алгоритм стабильно улучшал показатели относительно, стандартного подхода. При самом жёстком 2-битном сжатии ошибка снизилась на 12–15%. Преимущество модели подтвердилось во время тестов с вопросами и вариантами ответа. Скорость работы при сжатии модели почти не пострадала: HARP сохраняет 90% скорости стандартного сжатия и работает примерно в 2,1 раза быстрее полной версии. Когда мы говорим о скорости, важно разделять два этапа. HARP требует некоторого времени на настройку, потому что подбирает оптимальные преобразования для каждого слоя модели. Зато после сжатия модель работает быстрее и занимает гораздо меньше памяти. При этом нам не нужно заново обучать всю нейросеть, достаточно провести дополнительную калибровку» Глеб Молодцов, старший исследователь лаборатории фундаментальных исследований искусственного интеллекта МФТИ. Метод также проверили на другом бэкенде для сжатия — QTIP. HARP улучшил результаты и там. Это значит, что метод универсален и не привязан к одному конкретному алгоритму квантования. Разработка уже доступна для использования. Код выложен в открытый доступ на GitHub, готовые сжатые модели опубликованы на Hugging Face. Сейчас HARP применяется к квантованию весов модели и уже доступен к использованию. В будущем учёные планируют исследовать алгоритм и к другим компонентам инференса.
Алгоритм HARP, созданный в МФТИ, улучшает качество экстремально сжатых языковых моделей. Метод позволяет моделям уровня Llama и Qwen работать в два раза быстрее, теряя при этом меньше информации, чем при стандартном подходе. Препринт исследования опубликован на arxiv.org, код HARP выложен в открытый доступ на GitHub, а готовые сжатые модели опубликованы на Hugging Face. Большие языковые модели (LLM) требуют огромных вычислительных ресурсов. Их запуск упирается в пропускную способность памяти. Чтобы сжать их, ученые используют квантование — значения их весов представляют меньшим числом бит. Чем сильнее сжатие, тем выше риск потерять точность. Особенно это заметно при агрессивном сжатии, когда возникает проблема «выбросов»: несколько аномально больших значений весов портят статистику, и модель начинает хуже понимать текст. Новый алгоритм HARP борется с этой проблемой. Перед квантованием он подбирает для каждого слоя модели собственную систему координат — такую, в которой значения лучше подходят для последующего сжатия. В основе метода лежат структурированные ортогональные повороты — математические преобразования, которые меняют способ представления данных, но не меняют саму модель. Когда вы поворачиваете фотографию, изображение остаётся тем же, меняется только угол зрения. Похожий процесс происходит и при сжатии нейросети. Эти преобразования обратимы, поэтому модель не теряет информацию. Алгоритм HARP использует не сплошные, а структурированные повороты — они состоят из множества маленьких блоков. Это позволяет применять их быстро и хранить без больших затрат памяти, в отличие от полных матриц поворота, которые для больших моделей заняли бы слишком много места» Артур Загитов, инженер-исследователь лаборатории фундаментальных исследований искусственного интеллекта МФТИ. HARP не заменяет существующие методы квантования, а работает поверх них. В начале калибровки он полностью совпадает со стандартным преобразованием, которое уже используется в этих пайплайнах. Затем HARP аккуратно подстраивает повороты под конкретный слой модели и выбранный метод сжатия. Это позволяет улучшать качество модели и сохранять ее структуру. Алгоритм проверили на моделях разного масштаба. В экспериментах на Llama 2–70B и Qwen3-8B алгоритм стабильно улучшал показатели относительно, стандартного подхода. При самом жёстком 2-битном сжатии ошибка снизилась на 12–15%. Преимущество модели подтвердилось во время тестов с вопросами и вариантами ответа. Скорость работы при сжатии модели почти не пострадала: HARP сохраняет 90% скорости стандартного сжатия и работает примерно в 2,1 раза быстрее полной версии. Когда мы говорим о скорости, важно разделять два этапа. HARP требует некоторого времени на настройку, потому что подбирает оптимальные преобразования для каждого слоя модели. Зато после сжатия модель работает быстрее и занимает гораздо меньше памяти. При этом нам не нужно заново обучать всю нейросеть, достаточно провести дополнительную калибровку» Глеб Молодцов, старший исследователь лаборатории фундаментальных исследований искусственного интеллекта МФТИ. Метод также проверили на другом бэкенде для сжатия — QTIP. HARP улучшил результаты и там. Это значит, что метод универсален и не привязан к одному конкретному алгоритму квантования. Разработка уже доступна для использования. Код выложен в открытый доступ на GitHub, готовые сжатые модели опубликованы на Hugging Face. Сейчас HARP применяется к квантованию весов модели и уже доступен к использованию. В будущем учёные планируют исследовать алгоритм и к другим компонентам инференса.