ИИ не смог заново открыть почти половину базовых алгоритмов информатики

iXBT.com · 10 октября 2026

Большие языковые модели (LLM) пока испытывают трудности с самостоятельным восстановлением фундаментальных алгоритмов информатики, если подавить доступ к знакомым решениям. В работе "Can Large Language Models Reinvent Foundational Algorithms?" («Могут ли большие языковые модели заново изобрести фундаментальные алгоритмы?») авторы проверили 3 модели с открытыми весами на 20 алгоритмах. В условиях без подсказок 9 алгоритмов не удалось успешно восстановить ни одной из трёх систем. Результат указывает на разрыв между умением решать задачи с использованием усвоенных знаний и способностью самостоятельно находить базовые алгоритмические решения.

Для проверки авторы использовали метод «машинного забывания» — специальную настройку модели, которая подавляет воспроизведение определённых знаний, не требуя полного переобучения с нуля. После этого модели предлагали программные задачи, для решения которых требовался соответствующий алгоритм, и позволяли писать код на Python, запускать его и исправлять ошибки по результатам проверки. Среди примеров — алгоритм Дейкстры для поиска кратчайших путей в графе и алгоритм Евклида для нахождения наибольшего общего делителя. Важное ограничение эксперимента: «машинное забывание» не гарантирует полного удаления знаний, поэтому авторы рассматривают результаты как приблизительную верхнюю границу способности моделей к самостоятельному восстановлению алгоритмов в заданных условиях.

Зависимость от знакомых формулировок обнаружилась и без изменения параметров моделей. Когда при генерации ответов подавляли токены, связанные с названием целевого алгоритма, успешность восстановления снижалась на 19–39%. Это указывает на то, что модели могут опираться не только на общие принципы решения задачи, но и на свои знания как подсказки для извлечения уже усвоенного решения. При этом алгоритмы с более простой структурой или интуитивно понятной основной идеей восстанавливались легче, чем решения, требующие менее очевидных подходов.

Подсказки заметно улучшали результаты. Авторы проверили 3 режима: без подсказок, с общим указанием на подход к решению и с пошаговым объяснением логики алгоритма. Уже общие рекомендации позволяли восстановить дополнительные алгоритмы, а подробные инструкции в отдельных случаях помогали моделям превзойти исходные версии, котоые были в модели до «забывания». Это показывает, что после целевого забывания у моделей сохраняются навыки решения задач, которые можно задействовать с помощью дополнительного руководства.

Отдельно авторы изучили, как модели исправляют неудачные попытки. Они использовали проверяющий модуль, который анализировал ошибки и выдавал подсказки для следующего шага. Без такой обратной связи модели могли постепенно сокращать рассуждения, прекращая полноценный поиск решения, авторы назвали это явление «схлопыванием рассуждений». Проверяющий модуль же помогал поддерживать процесс поиска и повышал успешность восстановления, однако в проведённых экспериментах не позволил расширить набор алгоритмов, которые модели смогли восстановить.

Авторы подчёркивают, что работа охватывает ограниченное число моделей и алгоритмов, а «машинное забывание» не эквивалентно обучению модели без исходных знаний. Поэтому результаты не доказывают, что языковые модели неспособны к фундаментальным открытиям вообще. Они показывают более конкретную проблему: в проверенных условиях успешное решение задачи ещё не означает, что модель способна самостоятельно восстановить лежащий в её основе алгоритм без опоры на знакомые знания и подсказки.

Источник: iXBT.com