Дистилляция ИИ, или как создать свой Claude. Рассказываем без воды :)
Habr ·
Дистилляция знаний — это техника машинного обучения, при которой более компактная и быстрая модель (Student) обучается воспроизводить поведение, логит-вероятности и пошаговые цепочки рассуждений большой и сложной нейросети (Teacher). Метод используют программисты, чтобы сделать нейросети маленькими и быстрыми, не потеряв при этом их ум и точность. Читать далее
Дистилляция знаний — это техника машинного обучения, при которой более компактная и быстрая модель (Student) обучается воспроизводить поведение, логит-вероятности и пошаговые цепочки рассуждений большой и сложной нейросети (Teacher). Метод используют программисты, чтобы сделать нейросети маленькими и быстрыми, не потеряв при этом их ум и точность. Читать далее