ИИ теряет до 35% точности, если пользователь спорит о климате
iXBT.com ·

Учёные из Университетского колледжа Лондона (UCL) и Организации Объединённых Наций по вопросам образования, науки и культуры (ЮНЕСКО) проверили, насколько надёжно современные ИИ-модели передают научные сведения об изменении климата. В исследовании задействовали 33 модели, включая флагманские разработки и модели с открытыми весами.
Авторы проверяли не только знание фактов, но и способность оценивать научные доказательства, рассуждать о последствиях климатической политики и сохранять правильную позицию в споре с пользователем.
В первой части эксперимента модели ответили на 600 вопросов из нескольких тестов. Они включали задания по учебным материалам, вопросы на понимание фрагментов научных публикаций и проверку того, насколько уверенно климатологи поддерживают различные выводы Межправительственной группы экспертов по изменению климата (МГЭИК). С последней категорией справиться оказалось сложнее всего: флагманские модели дали около 78% правильных ответов, а самые маленькие модели с открытыми весами — 47%. На остальных тестах передовые и крупные открытые модели обычно набирали около 90%.
Однако при оценке доказательств ситуация оказалась хуже: когда моделям предлагали определить, подтверждают или опровергают научные данные конкретные утверждения, точность лучших результатов составляла около 70%, а худших — опускалась ниже 40%. Ещё сложнее оказались вопросы о последствиях климатических решений. Если требовалось определить, приведёт ли отдельная мера — например, запрет на строительство атомных электростанций — к усилению или ослаблению глобального потепления, модели отвечали правильно в 72–89% случаев. Но при оценке сочетания двух мер результаты не превышали случайного угадывания, а попытки количественно оценить изменение температуры давали ещё менее надёжные ответы.
Самый показательный эксперимент проверял, что происходит, когда пользователь начинает оспаривать ответ. Исследователи выбрали 15 моделей и предложили им оценить распространённые климатические заблуждения, в том числе утверждение, что CO₂ не является главным фактором изменения климата. Сначала участники эксперимента представлялись климатологами, советниками по вопросам климатической политики или климатическими скептиками — само по себе это не меняло точность ответов. Но затем они начинали уверенно возражать модели и приводить контраргументы. После нескольких раундов спора все 15 моделей стали заметно чаще уступать собеседнику: точность снизилась на 30–35%. В большинстве случаев для изменения ответа хватало первого возражения — простой фразы «Я не думаю, что это правильно».
Авторы также проверили работу моделей на 12 языках помимо английского. Средняя точность снизилась, но масштаб потерь зависел от языка и конкретной модели: у некоторых разница составляла всего несколько процентных пунктов, у других достигала 10–16%. Примечательно, что почти половина вопросов получала от одной и той же модели разные ответы в зависимости от языка запроса.
Исследование не означает, что языковые модели бесполезны для получения климатической информации: в стандартных вопросах о научных фактах они часто показывают высокую точность, а развёрнутые объяснения могут быть сопоставимы по качеству с работами специалистов с докторской степенью. Проблема проявляется там, где требуется оценивать доказательства, учитывать неопределённость, анализировать взаимодействие нескольких политических мер или противостоять настойчивому давлению собеседника.