Мы сжали нейросеть до 2 бит: математика рухнула с 81% до 6%. Но 27B нас удивила
Habr ·
Недавно мы опубликовали эксперимент, в котором удалось запустить Qwen3.8-27B целиком на RTX 5060 с 8 ГБ видеопамяти и получить около 30 токенов в секунду. Результат оказался неожиданно интересен сообществу. Но в комментариях довольно быстро появился закономерный вопрос: а насколько сильно отупела модель после такого сжатия? Вопрос справедливый. Можно поместить хоть 100 миллиардов параметров в несколько гигабайт, но если модель после этого не может решить элементарную задачу, практической пользы немного. Поэтому мы временно отложили оптимизацию скорости и занялись проверкой качества. Результаты оказались гораздо интереснее, чем мы ожидали. Сначала немного контекста Наш проект называется ExVRAM Lab . Это открытая исследовательская лаборатория, посвящённая запуску больших языковых моделей на обычных потребительских видеокартах с ограниченной памятью. В первой статье мы показали, что Qwen3.8-27B в формате UD-IQ2_XXS полностью размещается на RTX 5060 8 GB. На реально заполненном контексте около 8 тысяч токенов медианная скорость пяти запусков составила 30,10 токена/с, а пиковое потребление VRAM — 7767 MiB. То есть с точки зрения размещения модели в памяти и скорости генерации задача была решена. Но оставался главный вопрос: сколько способностей исходной модели мы потеряли ради этих цифр? IQ2_XXS — очень агрессивный формат квантования. Он позволяет существенно сократить объём весов, но вместе с этим возникает риск искажения вычислений. Причём влияние квантования может быть неодинаковым. Модель способна нормально отвечать на простые вопросы, но ошибаться в математике, терять последовательность рассуждений или переставать выполнять сложные инструкции. Читать далее
Недавно мы опубликовали эксперимент, в котором удалось запустить Qwen3.8-27B целиком на RTX 5060 с 8 ГБ видеопамяти и получить около 30 токенов в секунду. Результат оказался неожиданно интересен сообществу. Но в комментариях довольно быстро появился закономерный вопрос: а насколько сильно отупела модель после такого сжатия? Вопрос справедливый. Можно поместить хоть 100 миллиардов параметров в несколько гигабайт, но если модель после этого не может решить элементарную задачу, практической пользы немного. Поэтому мы временно отложили оптимизацию скорости и занялись проверкой качества. Результаты оказались гораздо интереснее, чем мы ожидали. Сначала немного контекста Наш проект называется ExVRAM Lab . Это открытая исследовательская лаборатория, посвящённая запуску больших языковых моделей на обычных потребительских видеокартах с ограниченной памятью. В первой статье мы показали, что Qwen3.8-27B в формате UD-IQ2_XXS полностью размещается на RTX 5060 8 GB. На реально заполненном контексте около 8 тысяч токенов медианная скорость пяти запусков составила 30,10 токена/с, а пиковое потребление VRAM — 7767 MiB. То есть с точки зрения размещения модели в памяти и скорости генерации задача была решена. Но оставался главный вопрос: сколько способностей исходной модели мы потеряли ради этих цифр? IQ2_XXS — очень агрессивный формат квантования. Он позволяет существенно сократить объём весов, но вместе с этим возникает риск искажения вычислений. Причём влияние квантования может быть неодинаковым. Модель способна нормально отвечать на простые вопросы, но ошибаться в математике, терять последовательность рассуждений или переставать выполнять сложные инструкции. Читать далее