Влияние транспорта KV-переноса на производительность PD-disaggregation на примере инференса MiniMax-M3

Habr · 13 октября 2026

Привет! Проводил тестирование на рабочих стендах и хочу поделиться своими результатами с Habr. В работе исследуется влияние транспорта KV-кэша на производительность и работоспособность disaggregated inference, в котором стадии prefill и decode выполняются на разных GPU-узлах. На кластере из двух узлов с восемью NVIDIA B200 на каждом сравниваются RDMA/InfiniBand с GPUDirect и TCP/Ethernet в инференсе MiniMax-M3 через sglang. Эксперимент включает четыре уровня наблюдения: потолок фабрики ( L0 ), изолированный microbenchmark transfer engine ( L0b ), фактический маршрут трафика по счётчикам портов ( L1 ) и end-to-end метрики движка и запросов ( L2/L3 ). Всего проанализировано 268 прогонов. Читать далее

Привет! Проводил тестирование на рабочих стендах и хочу поделиться своими результатами с Habr. В работе исследуется влияние транспорта KV-кэша на производительность и работоспособность disaggregated inference, в котором стадии prefill и decode выполняются на разных GPU-узлах. На кластере из двух узлов с восемью NVIDIA B200 на каждом сравниваются RDMA/InfiniBand с GPUDirect и TCP/Ethernet в инференсе MiniMax-M3 через sglang. Эксперимент включает четыре уровня наблюдения: потолок фабрики ( L0 ), изолированный microbenchmark transfer engine ( L0b ), фактический маршрут трафика по счётчикам портов ( L1 ) и end-to-end метрики движка и запросов ( L2/L3 ). Всего проанализировано 268 прогонов. Читать далее

Источник: Habr