Российские учёные придумали, как снизить нагрузку на дата-центры
iXBT.com ·
Учёные Московского физико-технического института разработали алгоритм HARP, который позволяет эффективнее сжимать нейросети и снижать потребность в вычислительных ресурсах дата-центров.
Учёные Московского физико-технического института разработали алгоритм HARP, который позволяет эффективнее сжимать нейросети и снижать потребность в вычислительных ресурсах дата-центров.
Разработка и уже обработанные с её помощью модели доступны для свободного использования. Решение призвано повысить эффективность работы больших языковых моделей, которым требуются значительные мощности и высокая пропускная способность памяти.
В основе подхода лежит улучшение квантования — метода, при котором веса нейросети представляют меньшим количеством битов, сокращая объём данных. Однако чрезмерное сжатие может ухудшать точность ответов модели. Алгоритм HARP помогает уменьшить такие потери и не заменяет существующие методы квантования, а дополняет их. Разработку протестировали на моделях разного масштаба.
Эксперт НТИ по новым материалам и технологиям Евгений Вишневский отметил, что HARP можно встроить в уже используемые инструменты сжатия без необходимости перестраивать привычные процессы разработки. Для российского рынка это особенно важно на фоне растущего спроса на вычислительные мощности. Более эффективное использование имеющегося оборудования может облегчить развитие отечественных ИИ-сервисов и их внедрение в различных отраслях экономики. При этом реальное снижение нагрузки будет зависеть от характеристик моделей и условий их эксплуатации.