Аудит MIT-p50c для Qwen3.5-0.8B и редактирование весов с сохранением норм (SGNE-CC) при лимите 32 768 токенов
Habr ·
Qwen3.5-0.8B — модель с 752 млн параметров, 18 рекуррентными слоями GatedDeltaNet и 6 слоями внимания. В проверенных прогонах с весами BF16 она часто не завершает размышление до лимита в 32 768 новых токенов. В работе MIT CSAIL Sparks of Weight-Space Programming (Takehi et al., 2026) правка весов без дообучения MIT-p50c повышает точность на MATH-500 с 7.9% до 48.1% — в среднем по четырём прогонам vLLM с настройками из карточки модели. Сохраняется ли сокращение зацикливания без случайного выбора токенов и штрафа за повторы? Какие различия в геометрии весов сопровождают изменение поведения? В статье сопоставлены геометрия и поведение MIT-p50c и SGNE-CC (3.13 МиБ) на MATH-500, MGSM-240, BBH-160, HumanEval-164 и MultiSpeech-64 при лимите 32 768 токенов. Читать далее