ИИ самостоятельно разработал 105 архитектур нейросетей — лучшая почти втрое превзошла прирост Mamba2
iXBT.com ·
Система ASI-Arch самостоятельно разработала 105 архитектур нейросетей, показавших лучшие результаты в ходе контролируемых испытаний. Она провела 1773 эксперимента: предлагала изменения в устройстве моделей, писала код, запускала обучение и анализировала результаты, чтобы использовать их в следующих попытках. Лучший вариант улучшил средний результат DeltaNet на 0,97 процентного пункта — почти втрое больше, чем прирост у Mamba2, одной из сильнейших архитектур, разработанных людьми.
Система ASI-Arch самостоятельно разработала 105 архитектур нейросетей, показавших лучшие результаты в ходе контролируемых испытаний. Она провела 1773 эксперимента: предлагала изменения в устройстве моделей, писала код, запускала обучение и анализировала результаты, чтобы использовать их в следующих попытках. Лучший вариант улучшил средний результат DeltaNet на 0,97 процентного пункта — почти втрое больше, чем прирост у Mamba2, одной из сильнейших архитектур, разработанных людьми.
Система работала с линейным вниманием — способом обрабатывать последовательности данных, который позволяет снизить вычислительные затраты по сравнению с обычным механизмом внимания в трансформерах. На первом этапе модели обучались в небольшом масштабе, чтобы быстро отсеивать неудачные идеи. Затем перспективные варианты проверяли на более крупных моделях и дополнительных тестах. На исследовательский этап ушло около 10 000 часов работы графических процессоров, а суммарные затраты проекта составили примерно 20 000 GPU-часов.
Из 1773 вариантов 1350 прошли первичный отбор. Около 150 архитектур отправили на следующий этап, где 105 из них показали лучшие результаты в испытаниях моделей на 340 млн параметров. 5 наиболее перспективных вариантов затем обучили на моделях с 1,3 млрд параметров и проверили на 16 тестах, включая 6 наборов, не использовавшихся на ранних этапах. Преимущество сохранилось и на этих дополнительных заданиях.
В сильнейших архитектурах повторялся один приём: они объединяли несколько путей обработки информации и динамически выбирали, какие из них использовать для конкретных данных. Это позволяло гибче сочетать локальный контекст, дальние зависимости и другие способы обработки последовательностей. Авторы также проверили перенос найденных принципов на другие семейства моделей — Mamba2, GLA и HGRN2 — и получили улучшения за пределами исходной архитектурной группы.
ASI-Arch демонстрирует, что ИИ способен не только подбирать параметры готовой нейросети, но и самостоятельно предлагать изменения её устройства, проверять их экспериментально и накапливать знания о том, какие решения работают лучше. При этом результат пока относится к конкретной области — архитектурам обработки последовательностей, — а преимущество измеряется на выбранных тестах, а не универсальной производительностью ИИ.