Одна RTX 5070 Ti и российское облако: качество, рубли и свой бенч (часть 1)
Habr ·
В локальном прогоне на RTX 5070 Ti Qwen3.8-27B IQ3 получил успех на моих задачах в 91.1%, индекс 82.3 со скоростью работы 68.3 tok/s в один поток при контексте 131K. Читал и лично слышал очень много мнений, что 131К контекста - мало, IQ3 - глупый, но у меня есть что вам рассказать. Читать далее
В локальном прогоне на RTX 5070 Ti Qwen3.8-27B IQ3 получил успех на моих задачах в 91.1%, индекс 82.3 со скоростью работы 68.3 tok/s в один поток при контексте 131K. Читал и лично слышал очень много мнений, что 131К контекста - мало, IQ3 - глупый, но у меня есть что вам рассказать. Читать далее