MIT разработала ИИ-модель для рентгена, снизив ошибку совмещения с КТ с 335 до 1,2 мм
iXBT.com ·
Специалисты Массачусетского технологического института (MIT), Массачусетской больницы общего профиля и Гарвардской медицинской школы разработали модель искусственного интеллекта FleXray, которая выделяет на рентгеновских снимках 60 анатомических структур, включая рёбра, позвонки, кости таза и конечностей. В тестах на 213 снимках рентгеноскопии добавление разметки FleXray к алгоритму совмещения с КТ снизило медианную ошибку с 335 до 1,2 мм, а долю неудачных попыток — с 86% до 13%.
Специалисты Массачусетского технологического института (MIT), Массачусетской больницы общего профиля и Гарвардской медицинской школы разработали модель искусственного интеллекта FleXray, которая выделяет на рентгеновских снимках 60 анатомических структур, включая рёбра, позвонки, кости таза и конечностей. В тестах на 213 снимках рентгеноскопии добавление разметки FleXray к алгоритму совмещения с КТ снизило медианную ошибку с 335 до 1,2 мм, а долю неудачных попыток — с 86% до 13%.
Рентгеноскопия позволяет получать рентгеновские изображения в реальном времени, в том числе во время хирургических вмешательств, тогда как КТ формирует трёхмерную картину внутренних структур. Совмещение этих данных помогает сопоставлять положение анатомических объектов на снимке с их расположением в объёмной модели.
FleXray работает с разными областями, стандартными и косыми проекциями, снимками взрослых и детей, а также с рентгенограммами и кадрами рентгеноскопии. Для обучения авторы использовали размеченные КТ, из которых создавали синтетические рентгеновские изображения, а затем с помощью модели редактирования изображений FLUX.2 добавляли реалистичные особенности настоящих снимков — шум, вариации экспозиции, метки и аннотации. Такой подход позволил обучать модель на разнообразных проекциях анатомии, не ограничиваясь небольшим числом вручную размеченных рентгенограмм. В основе FleXray лежит свёрточная нейросеть U-Net, а для повышения качества можно объединять предсказания 5 моделей.
На 8 независимых наборах реальных рентгеновских снимков FleXray получила средний коэффициент Dice 0,875. Этот показатель оценивает совпадение выделенных областей с эталонной разметкой: 1 означает полное совпадение, 0 — отсутствие пересечения. По среднему результату среди универсальных моделей FleXray обошла специализированные PAXray, TotalSegmentator2D и FluoroSAM на 7 наборах из 8. При этом специализированные сети nnU-Net, обученные отдельно на каждом наборе данных, показали более высокий средний результат — 0,914.
Разметку можно использовать и для автоматических измерений. При оценке сколиоза FleXray определяла угол Кобба — основной показатель выраженности искривления позвоночника — со средней абсолютной ошибкой 5,13° против 6,38° у TotalSegmentator2D. Модель получила измеримый результат на всех 218 снимках тестового набора, не проходя отдельного обучения для этой задачи. Авторы также проверили перенос модели на задачи, для которых она изначально не обучалась: при ограниченном количестве размеченных данных FleXray помогла улучшить результаты сегментации детской анатомии таза и обнаружения костных опухолей.
Обработка данных выполняется непосредственно на устройстве пользователя через WebGPU, а при его отсутствии доступен WebAssembly.