EmbeddingGemma 2: как перейти с 768 на 512 координат и сэкономить память на RTX 5090
Habr ·
У EmbeddingGemma 2 выходная проекция имеет ранг 512, хотя штатный эмбеддинг содержит 768 координат. Мы использовали QR-разложение этой проекции, чтобы перевести векторы в 512-мерное пространство и сохранить косинусное сходство. Затем сравнили QR-варианты с штатным MRL-уменьшением размерности. Эксперименты провели на RTX 5090: проверили качество поиска на SciFact и FiQA, измерили память и задержку точного поиска FAISS на корпусах MS MARCO до пяти миллионов документов, а также время конвертации готовой базы. На пяти миллионах документов QR-direct снизил пик памяти процесса с 15,88 до 11,11 ГиБ. Полная задержка одного запроса изменилась с 36,19 до 34,80 мс, а батча из 32 — с 50,62 до 44,97 мс. В статье разбираем, как устроено преобразование, какие варианты сравнивали и где заканчиваются выводы этих экспериментов. Стенд с RTX 5090 арендовали через каталог GPUGO . Читать далее