[Перевод] Как развернуть Kimi K3 локально на Cerebras
Habr ·
![[Перевод] Как развернуть Kimi K3 локально на Cerebras](https://habrastorage.org/extt/f7/a8/63/f7a863cbf603575980db96dbc68af1f3.png)
Один из самых частых вопросов, которые нам задают: как мы разворачиваем большие модели на чипах Cerebras размером с целую кремниевую пластину? На одной пластине Cerebras WSE-3T находится 44 ГБ встроенной памяти, а передовым моделям с триллионами параметров нужны терабайты только для хранения весов. В этой статье мы объясним, как распределяем большую модель между несколькими пластинами WSE-3T , чтобы запускать модели с несколькими триллионами параметров со скоростью 1000–2000 токенов в секунду и выше. В качестве наглядного примера возьмём открытую модель Kimi K3, в которой около 3 трлн параметров. Читать далее