ИИ может найти нужные данные в научной статье, выполнить расчёты и всё равно не понять, как именно авторы пришли к результату
iXBT.com ·
ИИ-агенты могут извлекать сведения из научных статей и выполнять вычисления, но этого не всегда достаточно, чтобы независимо повторить исследование. В эксперименте по воспроизведению астрономических результатов 12 вариантов анализа одного набора данных дали оценки от 2,16 до 3,53 килопарсека, тогда как в исходной работе было опубликовано значение около 2,70 килопарсека. Совпадение удалось получить только одним способом. При этом ключевая поправка, необходимая для воспроизведения результата, уже была указана в исходной статье.
Авторы работы "Reconstructing Implicit Scientific Knowledge: Evaluating LLM Agents through End-to-End Reproduction of Astronomy" проверили подход на 14 астрономических исследованиях: одном из The Astrophysical Journal и 13 статьях, опубликованных в Nature. В 11 из 13 последних они обнаружили методологические или интерпретационные неоднозначности, не позволявшие однозначно определить последовательность действий для воспроизведения анализа в рамках проведённых экспериментов.
В контрольном случае авторы проверили 12 заранее определённых вариантов расчёта, сочетавших разные способы отбора объектов, маскирования участков неба и учёта поправки к нулевой точке параллакса. Параллакс позволяет оценивать расстояние до небесного тела по видимому смещению его положения на фоне более далёких объектов. Различия в настройках привели к оценкам пространственного масштаба от 2,16 до 3,53 килопарсека вместо опубликованных примерно 2,70. Авторы подчёркивают, что не использовали исходный результат для подбора параметров или остановки расчётов: совпавший вариант обнаружили только после выполнения всех 12 анализов.
Особенно показательной оказалась причина расхождения. В статье уже была указана поправка к параллаксу на +0,02 миллисекунды дуги, однако ИИ-агенты не распознали её причинную связь с результатом, пока анализ не показал влияние этой поправки. Иными словами, проблема заключалась не в отсутствии информации и не только в способности найти нужный параметр, а в понимании того, почему его необходимо применить именно к этим данным и в рамках именно этого исследования.
Авторы разделяют несколько причин неудачного воспроизведения: вычислительную ошибку, недостаточно определённую методику и неспособность связать отдельные сведения из статьи в единую логику анализа. Поэтому простое совпадение с опубликованным числом ещё не доказывает, что ИИ восстановил ход рассуждений авторов: нужный результат может получиться случайно или благодаря одному из нескольких допустимых вариантов обработки. Аналогично несовпадение не обязательно означает, что исходная научная работа ошибочна.
Исследователи предлагают оценивать научные ИИ-системы по всему процессу воспроизведения — от выбора данных и настроек до проверки итогов, — а не только по тому, совпало ли конечное число с публикацией. Такой подход позволяет выявлять решения, которые в статье могут оставаться неявными, поскольку специалисты принимают их на основе опыта и профессиональных соглашений. Однако даже аудит вычислений не заменяет предметных знаний: чтобы понять, какие допущения обоснованны, а какие меняют смысл результата, системе необходимо восстановить связь между методикой и научной задачей.