Сколько стоит суверенитет
Habr ·
Коллеги всю неделю обсуждают релиз претрейна https://huggingface.co/yandex/AliceAI-Foundation-80B-A3B-Base https://habr.com/en/companies/yandex/articles/1083300/ . В одном из чатов спросили как она отвечает на основополагающий вопрос, и я решил это проверить, что бы узнать сколько стоит инференс подобной модели. Исходя из того что удалось найти, требуется 4 шт A100, вроде бы можно по пробовать на паре, но это требует CPU-offload, а на такие компромиссы, как и квантизации, я идти не готов. GPU я собрался брать в аренду на облаке, название его писать не буду. Первый подход был к Datasphere на Jupiter notebook и это был провал (на 6000₽). Детали не важны - проехали. Потом попытался запросить VM c 4 A100, поднял квоты через тикеты, - вот это всё. И не помогло. Ну то есть в теории это возможно - поймать 4 A100, но мне не удалось. Ещё заявлен какой-то Gen2 - но на него даже квоту не поднимают. Вернулся к Datashpere Jobs , потому что для Jupiter-то их (A100) выделяли! Схема такая: Читать далее
Коллеги всю неделю обсуждают релиз претрейна https://huggingface.co/yandex/AliceAI-Foundation-80B-A3B-Base https://habr.com/en/companies/yandex/articles/1083300/ . В одном из чатов спросили как она отвечает на основополагающий вопрос, и я решил это проверить, что бы узнать сколько стоит инференс подобной модели. Исходя из того что удалось найти, требуется 4 шт A100, вроде бы можно по пробовать на паре, но это требует CPU-offload, а на такие компромиссы, как и квантизации, я идти не готов. GPU я собрался брать в аренду на облаке, название его писать не буду. Первый подход был к Datasphere на Jupiter notebook и это был провал (на 6000₽). Детали не важны - проехали. Потом попытался запросить VM c 4 A100, поднял квоты через тикеты, - вот это всё. И не помогло. Ну то есть в теории это возможно - поймать 4 A100, но мне не удалось. Ещё заявлен какой-то Gen2 - но на него даже квоту не поднимают. Вернулся к Datashpere Jobs , потому что для Jupiter-то их (A100) выделяли! Схема такая: Читать далее