Локальный LLM-сервер на AMD Strix Halo: запуск Qwen3.8-Flash-Next через HALOGEN в Fedora 43
Habr ·
LLM на 125 миллиардов параметров — и без дискретной видеокарты? Да. Qwen3.8-Flash-Next (MoE: 125B в запасе, 6B в работе) спокойно живёт на AMD Strix Halo с 128 ГБ унифицированной памяти. Никакой видеокарты с горой VRAM — только встроенная графика и правильно подобранный движок. Внутри — готовый рецепт: Fedora 43 Server, HALOGEN, OpenAI-совместимый API, API-ключ и четыре параллельные сессии. А главное — живые замеры вместо обещаний из readme: ~96 токенов/с записи, которые не проседают даже на 128k контекста, чтение под 2000 токенов/с и миллионный контекст через YaRN, который неожиданно укладывается всего в ~39 ГиБ. Читать далее