Искусственный интеллект в лучевой диагностике: Per Aspera Ad Astra

Очевидно, что в такой ситуации отношение профессионального медицинского сообщества к технологиям ИИ оставалось настороженным, а пенный поток хайпа только добавлял в это отношение еще и предвзятости. Объективным подтверждением сказанного служат статьи совершенно независимых авторов.

В 2019 г. научная группа из Южной Кореи опубликовала анализ 516 научных статей о применении ИИ для анализа медицинской визуализации (как наиболее перспективной области для внедрения ИИ). Включенные статьи были изданы в 2018 г., фактически – на самой волне ажиотажа под лозунгом «заменим всех рентгенологов на ИИ!».

Проанализировав 516 публикаций в рецензируемых биомедицинских журналах, ученые установили, что 99,0% из них представляют собой доказательства концепции (proof-of-concept study) и технические обоснования (feasibility study). Нелишним будет подчеркнуть, что с позиций доказательности такие публикации представляют для врачебного сообщества фактически нулевую ценность. Только 1,0% статей написан в дизайне диагностического исследования в соответствии с принципами доказательной медицины. Но и здесь были колоссальные проблемы: в 94,0% случаев авторы статей и разрабатывали, и тестировали свои алгоритмы на одних и тех же наборах данных. В свою очередь, 97,0% использованных датасетов формировалось из данных только одной медицинской организации. В целом внешняя валидация ИИ на незнакомых данных была проведена только в 6,0% исследований7.

Таким образом, для медицинского сообщества огромный массив публикаций был совершенно неинформативен, а жалкий 1,0% диагностических исследований содержал колоссальные методические недостатки. Более того, воспроизводимость результатов работы ИИ вообще не изучалась. На закономерный и спокойный вопрос врача: «Как ваш ИИ будет работать на данных из другой больницы?» многочисленным «айти-гуру» оставалось только хвастаться инвестициями в свой стартап и ругать консервативных врачей.

В 2020 г. научная группа из Великобритании опубликовала статью с систематическим анализом дизайна, стандартов отчетности, рисков предвзятости, а также доказательности результатов исследований, сравнивающих эффективность и точность алгоритмов ИИ и опытных врачей. Областью применения ИИ вновь стала медицинская визуализация.

В исследование включены 236 статей, опубликованных с 2010 по 2019 гг. и позиционируемых как «клинические исследования». Углубленный анализ показал, что 96,0% из них выполнены в ретроспективном дизайне, то есть представляли собой тестирование алгоритмов на эталонных наборах данных. Действительно, дизайн рандомизированного клинического исследования (ценного и информативного с позиций доказательной медицины) имели всего лишь 4,2% статей. И даже из этого крошечного числа многие работы были выполнены в «экспериментально-лабораторных условиях». Лишь 2,5% статей содержали результаты работы ИИ в реальных условиях практического здравоохранения. Во многих включенных статьях утверждалось преимущество ИИ над врачом, при этом алгоритмы сравнивали в среднем с 4 специалистами (количество включенных врачей колебалось от 2 до 9)8. Таким образом, и «клинические исследования» точности ИИ были откровенно слабы, а их результаты неубедительны.

Невзирая на бурную публикационную активность, явно ощущаемый потенциал технологий ИИ оставался совершенно нераскрытым для медицины и здравоохранения. Ценность и убедительность доказательств качества и преимуществ ИИ были мизерными. Отдельную проблему составляли манипуляции со статистикой, полностью обесценивавшие публикации об ИИ для врачей. Очевидно, что использование ограниченных наборов данных (авторам этого текста встречалась работа, выполненная на 5 МРТ!) не позволяло получать адекватные показатели точности. Недобросовестные авторы пытались это скрывать путем манипуляций со статистическими показателями, внесением изменений в стандартные формулы чувствительности и специфичности, необоснованным вводом неких новых критериев, совершенно не принятых в биомедицинской статистике. При этом те критерии, которые позволили бы прямо сопоставить заявленную точность с иными опубликованными данными, полностью игнорировались. Пропасть непонимания между врачебным и математическим, ИТ-сообществами нарастала…

В целом, эта ситуация наглядно иллюстрирует описанную К. Боулдингом (K. Boulding; 1910—1993) «глухоту специализации» в научной работе9, когда понятийный и методологический аппарат жестко ограничивается рамками строго конкретной научной дисциплины. В современной науке такой подход в принципе безнадежно устарел, и слепое следование ему искусственно и атавистично, тем более, если речь идет о научно обоснованной цифровизации медицины и здравоохранения.

Колоссальный рост интереса со стороны настоящих профессионалов в области математики, компьютерных наук, инженерии к проблематике медицины, обусловленный шумихой вокруг ИИ, нельзя и недопустимо было игнорировать. Как тут не вспомнить слова выдающегося ученого в области научной организации труда, стандартизации и менеджмента Алексея Капитоновича Гастева (1882—1939): «Свой бешеный энтузиазм сохрани, но введи его в график расчета»10. Требовался системный научный междисциплинарный подход, который позволил бы решить проблемы качества, стандартизации и доступности наборов данных, единства и точности методик оценки ИИ, а также объективно (в том числе сравнительно) оценить точность и воспроизводимость результатов работы ИИ, его безопасность и качество в условиях практического здравоохранения. Ответом на этот запрос науки и практики и стал Московский эксперимент, реализуемый на научных принципах доказательной медицины.

Эксперимент задуман и реализован как исследование со смешанными методами, но ключевой его составляющей является именно проспективное многоцентровое клиническое исследование точности и качества технологий ИИ при анализе результатов пяти основных видов лучевых исследований (рентгенографии, флюорографии, маммографии, компьютерной и магнитно-резонансной томографии).

Московский эксперимент как научное исследование одобрен Независимым этическим комитетом МРО РОРР (протокол 2/2020 от 20.02.2020).

Для представления результатов Московского эксперимента на международном уровне (включая публикации в высокорейтинговых научных изданиях) он зарегистрирован как научное исследование в базе данных Clinical Trials с присвоением идентификационного номера ID Clinical Trials NCT04489992.

Амбициозные цели Московского эксперимента требовали ведения научных изысканий сразу по нескольким направлениям, каждое из которых весьма объемно. В течение 5 лет в рамках каждого направления велись многочисленные исследования. За счет постоянного притока новых знаний появлялись новые гипотезы, требовавшие проверки, соответственно уточнялись и дополнялись конкретные задачи. Общая научная программа отличалась большой динамичностью. Кроме того, появлялись и «ответвления» от основных тематик, из которых зачастую формировались самостоятельные исследования (радиомика, ИИ для контроля качества лучевых исследований, синтетические наборы данных и т.д.).

Сводная научная программа Московского эксперимента за период 2020—2024 гг.:

1. Обосновать клинический контекст, задачи и сценарии применения технологий ИИ в лучевой диагностике.

2. Разработать, внедрить и валидировать методологию создания наборов данных для обучения и тестирования технологий ИИ с учетом этапов жизненного цикла и клинического контекста применения.

3. Разработать, внедрить и валидировать методологию комплексного тестирования и контроля качества технологий ИИ на этапах жизненного цикла.

4. Разработать и реализовать организационно-методические мероприятия по внедрению технологий компьютерного зрения в работу отделений лучевой диагностики.

5. Оценить целесообразность и применимость технологий компьютерного зрения в системе здравоохранения (в том числе с позиций технологического качества).

6. Комплексно изучить качество технологий ИИ при анализе результатов лучевых исследований и при решении организационных задач лучевой диагностики.

7. Изучить влияние технологий ИИ на удовлетворенность и производительность труда врачей-рентгенологов, оценить в динамике отношение врачей к ИИ.

8. Комплексно оценить диагностическую точность ИИ-сервисов при анализе результатов лучевых исследований, в том числе с учетом клинического контекста, сравнительно и в динамике.

9. Оценить возможность применения автоматизированного анализа результатов лучевых исследований для решения задач медицинской профилактики и управления общественным здоровьем.

10. Обосновать подходы к принятию управленческих решений при выборе продукта на основе технологий искусственного интеллекта.

11. Обосновать, внедрить и оценить результативность концепции автономного применения технологий ИИ в лучевой диагностике.

12. Обосновать возможность цифровой трансформации (на основе технологий ИИ) производственных процессов медицинских организаций в аспекте взаимодействия врачей-рентгенологов и врачей клинических специальностей.

13. Изучить медицинскую, социальную и экономическую эффективность технологий искусственного интеллекта (компьютерного зрения) в лучевой диагностике с учетом клинического контекста применения.

14. Обосновать и разработать комплекс стандартов, обеспечивающих единство применения всех компонентов системы обеспечения качества технологий искусственного интеллекта на этапах жизненного цикла.

Формальное структурирование научно-исследовательской работы в рамках Московского эксперимента прошло несколько этапов.

Первоначально сформирован перечень научных и методологических задач с закреплением ответственного исполнителя из числа руководителей научных подразделений и наиболее опытных научных сотрудников. Соответственно ситуативно формировались научные группы. Задачи и ответственные лица были зафиксированы внутренним приказом по учреждению, несколько раз актуализированным.

По итогам 2020 г., то есть первого года эксперимента, сформирован объемный отчет о научно-исследовательской работе, практически полностью опубликованный в виде монографии «Компьютерное зрение в лучевой диагностике: первый этап Московского эксперимента»11.

В 2021 и 2022 гг. отчеты формировались в сокращенном варианте с обобщением основных годовых результатов и отражением критичных динамических изменений. На этом фоне обширные именно научные результаты содержались в отчете о НИР №3 «Научное обоснование методологии применения и способов оценки качества интеллектуальных технологий („искусственного интеллекта“) в диагностике» (срок выполнения – 2020—2022 гг., финансирование за счет средств государственного задания). Также часть материала в виде отдельных глав, разделов и подразделов входила в отчеты по нескольким иным научно-исследовательским работам, проводимым НПКЦ ДиТ ДЗМ. С одной стороны, представление результатов было несколько «диссеминированным», а с другой – НИР №3 была посвящена не только проблематике Московского эксперимента, что негативно сказывалось на системности формирования ее результатов.

В 2023 г. этот недостаток был устранен: все основные исследования в рамках Московского эксперимента объединены в новой НИР №3 «Научные методологии устойчивого развития технологий искусственного интеллекта в медицинской диагностике», финансируемой за счет средств государственного задания (срок выполнения – 2023—2025 гг.). Подготовка работы по этой теме закреплено за отделом медицинской информатики, радиомики и радиогеномики НПКЦ ДиТ ДЗМ, что также фиксировалось внутренним приказом по учреждению. Вместе с тем подчеркнем, что научная работа в рамках Московского эксперимента ведется сотрудниками всех научных подразделений учреждения на принципах проектного управления. Научные «ответвления» по вопросам искусственного интеллекта теперь входят только в иные НИР. Отметим, что проспективное исследование автономного искусственного интеллекта в 2024 г. проведено в рамках специального Постановления Правительства Москвы12, а его результаты оформлены отдельным отчетом о научно-исследовательской работе.

Сквозной характер работ, связанных с Московским экспериментом, а также потребность эффективно и с соблюдением сроков решать не только плановые, но и срочные научные задачи в его рамках обусловили необходимость применения специальных управленческих приемов. Таковым стало проектное управление научной деятельностью, подробно представленное в следующем разделе

Научная проблематика ИИ в медицине чрезвычайно масштабна и многогранна; она действительно «не вмещается ни в одну конкретно-научную дисциплину»13. Поэтому важной особенностью Московского эксперимента, как неопровержимо лидирующего научного исследования, стал его целенаправленно сформированный междисциплинарный характер.

«Естественная междисциплинарность», по меткому определению Ю. М. Батурина (р. 1949), «может возникать и развиваться как динамическая система, способная к самоорганизации и стремящаяся к экономному решению проблемы, для понимания которой она возникла»14. Однако в НПКЦ ДиТ ДЗМ междисциплинарный характер научной работы в рамках Московского эксперимента формировался целенаправленно и последовательно, включая реструктуризацию и развитие кадрового состава, создание «экосистемы» научно-исследовательской работы, постоянное повышение требований к качеству и признанию научных результатов, наставничество, нормирование труда как фактор обеспечения преемственности его результатов, переход к проектному управлению.

В 2019—2020 гг. научная группа НПКЦ ДиТ ДЗМ, занимавшаяся соответствующей научно-исследовательской работой, примерно на 90,0% состояла из врачей-рентгенологов. В последующем ситуация изменилась, к 01.01.2025 г. удельный вес рентгенологов сократился до 35,0—40,0% за счет наращивания в коллективе числа специалистов с математическим, инженерным и иным немедицинским образованием. Совершенно особый научный вклад вносят специалисты медицинской кибернетики, био- и медицинской физики, биоинформатики – профессий, изначально находящихся на стыке областей знаний. Отметим, что в 2023—2024 гг. произошло структурное отделение врачей-рентгенологов, обеспечивающих процедуры Московского эксперимента (рутинно проводящих мониторинги, разметку данных), от их коллег, непосредственно участвующих в научно-исследовательской работе. Соответственно, в указанном выше показателе учтены лишь те врачи, которые участвуют именно в научных изысканиях.

Научным исследованиям НПКЦ ДиТ ДЗМ в рамках Московского эксперимента изначально был присущ интегративный тип междисциплинарного взаимодействия (по Э. М. Мирскому; 1935—2012), так как здесь образование новых знаний очевидно происходило за счет «интеграции заимствованных из разных дисциплин представлений и способов исследований»15.

В учреждении сложилась классическая галисоновская «зона обмена» – социальное и интеллектуальное пространство, в котором связываются воедино прежде разобщенные традиции экспериментирования, теоретизирования и изготовления научных инструментов16. Отметим, что ранее в области лучевой диагностики уже фиксировалось и описывалось формирование таких «зон обмена» при взаимодействии инженерного и медицинского персонала в процессе усовершенствования и клинико-экономического обоснования магнитно-резонансной томографии17.

Субкультуры теоретиков, экспериментаторов и создателей инструментария, выявленные П. Галисоном (P. Galison, р. 1955), объединены в НПКЦ ДиТ ДЗМ в одном научном коллективе, а в его составе – в ситуативные научные группы. Благодаря созданию общей «экосистемы» научной работы, а также применению определенных управленческих подходов все три субкультуры непрерывно взаимодействуют. Их галисоновские «периоды локальной непрерывности» при этом сдвинуты друг относительно друга совершенно минимально. Тем самым реализована максимальная преемственность, эффективное взаимное дополнение и усиление. Результаты деятельности каждой из субкультур не теряются и не «зависают», а моментально включаются в работу коллег, применяются, уточняются, переосмысливаются и развиваются.

По истечении 5 лет отмечается переход от междисциплинарного характера научных исследований НПКЦ ДиТ ДЗМ к трансдисциплинарному, то есть к формированию у врачей разных специальностей, кибернетиков, математиков, инженеров, физиков, социологов и руководителей (то есть представителей всех включенных во взаимодействие дисциплин) в условиях постоянных коммуникаций «общей системы аксиом»18. Под этой «системой» мы понимаем совокупность понятий и терминологии, концепций, подходов, методов, материалов в области научного изучения технологий искусственного интеллекта в медицине, лишенных характерных особенностей, присущих каждой из специальности. Таким образом, в научном коллективе НПКЦ ДиТ ДЗМ, занятом проблематикой Московского эксперимента, сформирована новая «научная реальность на основе теорий и методов, утративших свою дисциплинарную определенность»19. Этим обеспечивается высокая продуктивность научного коллектива НПКЦ ДиТ ДЗМ при проведении Московского эксперимента.