GPT-6-Astra решила 49 из 50 задач по теоретической физике — и нашла ошибки в расчётах учёных
iXBT.com ·
Физики проверили, способны ли ИИ-агенты решать задачи исследовательского уровня, и получили сильный результат: GPT-6-Astra справилась с 49 из 50 заданий, а в нескольких случаях исследователи сначала приняли правильные ответы модели за ошибки. Проверка показала, что неверными были их собственные решения.
Для теста подготовили 50 неопубликованных задач из разных областей теоретической физики. По оценке авторов, эксперт мирового уровня обычно решает такую задачу почти за день, а специалист из смежной области потратил бы значительно больше времени. Задания проверяли применение известных методов, а не способность совершить принципиально новое открытие.
В режиме с доступом к интернету, научной литературе и инструментам для вычислений Astra достигла точности 98%, потратив в среднем менее $3 на задачу. Opus 5.5 решил 46 задач из 50, Gemini 3.8 Flash — 34, DeepSeek-V4.1-Flash — 27, а GLM 5.3 — 21.
Авторы сначала сочли ошибочными несколько ответов Astra, но после консультаций с экспертами обнаружили недочёты в собственных решениях. После исправлений выяснилось, что расчёты ИИ-модели были верными. Единственную задачу, которую Astra не решила, не смогли решить и другие модели: требовалось восстановить дифференциальное уравнение по заданной кривой, а неоднозначность условия усложняла поиск.
Точность моделей мало менялась при отключении доступа к интернету. По мнению авторов, это может указывать на то, что ИИ усвоил значительную часть научной литературы и способен воспроизводить нужные формулы без поиска по источникам. Однако исключить влияние обучающих данных полностью, опираясь исключительно на это исследование, нельзя.
Успех в расчётах не означает, что ИИ уже способен самостоятельно вести полноценные физические исследования. Выбрать значимую проблему, сформулировать правильный вопрос и понять, когда стоит сменить направление работы, модели пока удаётся хуже, чем решать задачи с проверяемым ответом.