Модель отредактировала веса другой модели без обучения. Часть 2: почему петля рвётся, а навык не добавить
Habr ·
Во второй части разбираю, почему разворот одного направления в двух слоях Qwen на порядок поднимает шанс выйти из петли, и почему тот же приём в принципе не может «вложить» в модель отсутствующий навык. Ещё здесь мой зонд по слоям, связь с ROME, refusal direction и task arithmetic, реальные числа о том, где лежат веса у Qwen, Gemma, Llama и MoE, а также риски и открытые вопросы. Читать далее