ИИ-модели проверили на медицинских рекомендациях: в спорных случаях частота ошибок достигала 80%
iXBT.com ·
Шесть коммерческих моделей искусственного интеллекта проверили на способности определять, когда пациенту не нужны дополнительные обследования или лечение. Учёные из Университета имени Бен-Гуриона в Негеве (Ben-Gurion University of the Negev) и израильской медицинской организации Clalit Health Services обнаружили, что модели в целом справляются с этой задачей, но заметно чаще ошибаются в клинически спорных ситуациях. В исследовании, опубликованном в журнале Annals of Internal Medicine, доля рекомендаций ненужных вмешательств составила 5,4%, а случаев ошибочного отказа от необходимой помощи — 0,6%.
Для проверки учёные подготовили 225 клинических сценариев на основе 15 рекомендаций международной кампании Choosing Wisely, направленной на сокращение необоснованных медицинских процедур. Каждый сценарий, в котором обследование или лечение не требовалось, дополняли похожим случаем, где то же вмешательство было необходимо. Например, молодому мужчине с болью в спине после подъёма мебели не нужна визуализация позвоночника, тогда как женщине с перенесённым раком молочной железы и новой ночной болью в спине такое обследование может потребоваться. Каждая из шести моделей проходила все сценарии трижды — всего исследователи получили 4050 ответов.
Основные ошибки при назначении лишних обследований сосредоточились вокруг двух ситуаций: ультразвукового исследования щитовидной железы и стандартной электрокардиографии (ЭКГ). В первом случае проблема связана с разногласиями между Американской тиреоидной ассоциацией и Американской коллегией радиологии относительно обследования небольших узлов щитовидной железы размером менее 1 см. В подобных ситуациях разные медицинские рекомендации могут приводить к разным решениям.
При этом усреднённые 5,4% скрывают существенные различия между моделями. По словам исследователя Гая Лабана (Guy Laban), в одних и тех же спорных клинических ситуациях одна модель рекомендовала ненужное обследование менее чем в 10% случаев, а другая — в 80%. Исследователь обратил внимание на то, что пользователи часто воспринимают ответы чат-ботов как единое авторитетное мнение, хотя между моделями могут быть большие расхождения. Врач Дин Ариэль (Dean Ariel) отметил, что основные затруднения возникали именно там, где нет полной определённости и среди самих медиков.
У исследования есть ограничения: модели получали отдельные запросы, а не участвовали в продолжительных диалогах с пациентами. Кроме того, проверка проводилась на стандартизированных сценариях, а не на реальных медицинских консультациях. Ответы сначала оценивала другая система искусственного интеллекта, после чего врачи проверяли результаты и разбирали спорные случаи. Поэтому полученные показатели нельзя напрямую переносить на поведение медицинских чат-ботов в повседневной практике.
Следующий вопрос, который намерены изучить авторы, — способны ли ИИ-модели сохранять обоснованный отказ от ненужного обследования, если пациент настаивает на нём или тревожится из-за своего состояния. Исследование этого не проверяло. По мнению Лабана, отказать человеку в желаемом обследовании — непростая задача даже для врача, а языковые модели склонны подстраиваться под собеседника. Поэтому способность ИИ не только предлагать медицинские решения, но и аргументированно отказываться от лишних вмешательств остаётся важным условием его применения в здравоохранении.