Медицинский ИИ научился рисовать красивые тепловые карты — но с реальным диагнозом они не совпадают
iXBT.com ·
Исследователи из Международного института информационных технологий Хайдарабада (IIIT Hyderabad) опубликовали аудит четырёх моделей компьютерного зрения, предназначенных для анализа рентгеновских снимков грудной клетки. Работа сопоставила тепловые карты внимания моделей — MAIRA-2, MedGemma-4B, LLaVA-Med-1.5 и LLaVA-1.5 — с реальными разметками радиологов на трёх публичных датасетах и дополнительной выборке пациентов с пневмотораксом.
Исследователи из Международного института информационных технологий Хайдарабада (IIIT Hyderabad) опубликовали аудит четырёх моделей компьютерного зрения, предназначенных для анализа рентгеновских снимков грудной клетки. Работа сопоставила тепловые карты внимания моделей — MAIRA-2, MedGemma-4B, LLaVA-Med-1.5 и LLaVA-1.5 — с реальными разметками радиологов на трёх публичных датасетах и дополнительной выборке пациентов с пневмотораксом.
Автоматическое сравнение выстроило модели по качеству совпадения: MAIRA-2 впереди, за ней MedGemma и две версии LLaVA. Однако ключевой результат оказался тревожным. На типичных случаях внимание моделей не превосходило по точности простые анатомические шаблоны, построенные на усреднённых данных. Иными словами, модель часто подсвечивала ту зону, где патология встречается статистически чаще, — а не ту, где она реально находится на конкретном снимке.
Только на нетипичных случаях, где находка заметно отличалась от среднестатистической картины, MAIRA-2 и MedGemma демонстрировали действительно привязанную к изображению локализацию. Параллельный эксперимент с участием радиологов на 124 случаях подтвердил, что эксперты оценивают правдоподобность тепловых карт иначе, чем автоматическая метрика: более широкая, клинически осмысленная картина может казаться врачу убедительнее, чем строгое попадание в размеренные статистические окна.
Авторы рекомендуют внедрять метрики, учитывающие анатомические априорные распределения, и обязательно привлекать радиологов к оценке.