Оценка качества и эксплуатационных параметров технологий искусственного интеллекта в здравоохранении
Учебное пособие

Авторы: Васильев Юрий Александрович, Владзимирский Антон Вячеславович, Арзамасов Кирилл Михайлович, Бобровская Татьяна Михайловна, Бурцев Тихон Александрович, Варюхина Мария Дмитриевна, Ерижоков Рустам Арсеньевич, Зинченко Виктория Валерьевна, Коденко Мария Романовна, Омелянская Ольга Васильевна, Памова Анастасия Петровна, Пестренин Лев Дмитриевич, Решетников Роман Владимирович, Шумская Юлия Федоровна

Редактор Валентина Павловна Гамарина

Верстка Екатерина Дмитриевна Бугаенко

Дизайн обложки Екатерина Дмитриевна Бугаенко

© Юрий Александрович Васильев, 2026

© Антон Вячеславович Владзимирский, 2026

© Кирилл Михайлович Арзамасов, 2026

© Татьяна Михайловна Бобровская, 2026

© Тихон Александрович Бурцев, 2026

© Мария Дмитриевна Варюхина, 2026

© Рустам Арсеньевич Ерижоков, 2026

© Виктория Валерьевна Зинченко, 2026

© Мария Романовна Коденко, 2026

© Ольга Васильевна Омелянская, 2026

© Анастасия Петровна Памова, 2026

© Лев Дмитриевич Пестренин, 2026

© Роман Владимирович Решетников, 2026

© Юлия Федоровна Шумская, 2026

ISBN 978-5-0069-6905-6

Создано в интеллектуальной издательской системе Ridero

Информация об издании

Учебное пособие подготовлено авторским коллективом в рамках НИР «Научные методологии устойчивого развития технологий искусственного интеллекта в медицинской диагностике» (№ ЕГИСУ: 123031500004—5) в соответствии с приказом Департамента здравоохранения города Москвы от 17.12.2024 №1184 «Об утверждении государственных заданий, финансовое обеспечение которых осуществляется за счет средств бюджета города Москвы, государственным бюджетным (автономным) учреждениям, подведомственным Департаменту здравоохранения города Москвы, на 2025 год и плановый период 2026 и 2027 годов».

РЕЦЕНЗЕНТЫ:

Нуднов Николай Васильевич – доктор медицинских наук, профессор, заместитель директора по научной работе, заведующий НИО комплексной диагностики заболеваний и радиотерапии ФГБУ «Российский научный центр рентгенорадиологии» Минздрава России.

Лебедев Георгий Станиславович – доктор технических наук, профессор, директор Центра цифровой медицины, заведующий кафедрой информационных технологий и обработки медицинских данных ФГАОУ ВО «Первый Московский государственный медицинский университет им. И. М. Сеченова» Минздрава России (Сеченовский Университет).

Список терминов

N-грамма – последовательность из N смежных символов, расположенных в определенном порядке.

Аналитическая валидация – подтверждение способности системы искусственного интеллекта точно, воспроизводимо и надежно генерировать предполагаемые результаты вычислений из входных данных.

Большие генеративные модели – модели искусственного интеллекта, способные интерпретировать (предоставлять информацию на основании запросов, например, об объектах на изображении или о проанализированном тексте) и создавать мультимодальные данные (тексты, изображения, видеоматериалы и т.п.) на уровне, сопоставимом с результатами интеллектуальной деятельности человека или превосходящем их (Указ Президента РФ от 10.10.19 №490).

Жизненный цикл – развитие системы искусственного интеллекта и продуктов на ее основе от замысла до вывода из эксплуатации (ГОСТ Р 59921.4—2021).

Искусственный интеллект – комплекс технологических решений, позволяющий имитировать когнитивные функции человека (включая поиск решений без заранее заданного алгоритма) и получать при выполнении конкретных задач результаты, сопоставимые с результатами интеллектуальной деятельности человека или превосходящие их. Комплекс технологических решений включает в себя информационно-коммуникационную инфраструктуру, программное обеспечение (в том числе то, в котором используются методы машинного обучения), процессы и сервисы по обработке данных и поиску решений (Указ Президента РФ от 10.10.2019 №490).

Клиническая валидация – подтверждение способности системы искусственного интеллекта выдавать клинически значимые выходные данные, связанные с целевым использованием системы искусственного интеллекта в рамках установленного производителем функционального назначения.

Клинические испытания медицинского изделия (КИ) – любое испытание (исследование) с участием человека в качестве субъекта испытания (исследования), проводимое с целью изучения безопасности и (или) эффективности испытуемого (исследуемого) медицинского изделия и (или) метода диагностики или лечения, связанного с его применением. Проведение клинического испытания (исследования) системы искусственного интеллекта (СИИ) подразумевает использование в качестве субъекта исследования набора данных, который получен с участием человека путем ретроспективного анализа (ГОСТ Р 59921.1—2022).

Клинический контекст – единый дискретный комплекс информации о цели, задачах, конкретных процессах и операциях, нозологиях, видах биомедицинских и иных данных, функциях медицинского персонала и технических устройств, связанных с организацией и оказанием медицинской помощи.

Клиническая связь – научное обоснование соответствия результатов действия системы искусственного интеллекта установленному производителем ее функциональному назначению. Научное обоснование достигается путем поиска в литературных источниках, согласно рекомендациям профессиональных сообществ, на основании новых клинических исследований.

Медицинское изделие (МИ) – любые инструменты, аппараты, приборы, оборудование, материалы и прочие изделия, применяемые в медицинских целях отдельно или в сочетании между собой, а также вместе с другими принадлежностями, необходимыми для применения указанных изделий по назначению, включая специальное программное обеспечение, и предназначенные производителем для профилактики, диагностики, лечения и медицинской реабилитации заболеваний, мониторинга состояния организма человека, проведения медицинских исследований, восстановления, замещения, изменения анатомической структуры или физиологических функций организма, предотвращения или прерывания беременности, функциональное назначение которых не реализуется путем фармакологического, иммунологического, генетического или метаболического воздействия на организм человека.

Медицинская эффективность – степень достижения медицинского результата.

Набор данных – состав данных, которые структурированы или сгруппированы по определенным признакам, соответствуют требованиям законодательства Российской Федерации и необходимы для разработки программ для электронных вычислительных машин на основе искусственного интеллекта (Указ Президента Российской Федерации от 10.10.2019 №490).

Надежность – способность программного блока работать в составе системы в соответствии с установленными требованиями. В контексте сопровождения программного обеспечения в рамках оценки надежности контролируют неисправности программного обеспечения, в общем виде собирая данные о неисправности, продукте, процессе (ГОСТ Р МЭК 62628—2021).

Отказоустойчивость – способность технической системы сохранять работоспособность при отказе одной или нескольких ее составных частей (Указ Президента Российской Федерации от 10.10.2019 №490).

Параметры модели искусственного интеллекта – числовые значения, определяющие работу модели искусственного интеллекта, в частности выведение закономерностей, принятие решений или прогнозирование результатов (Указ Президента Российской Федерации от 10.10.2019 №490).

Производительность труда – количество продукции в физических единицах, произведенной системой или работником за единицу времени.

Разметка данных – этап обработки структурированных и неструктурированных данных, в процессе которого данным (в том числе текстовым документам, фото- и видеоизображениям) присваиваются идентификаторы, отражающие тип данных (классификация данных), и (или) осуществляется интерпретация данных для решения конкретной задачи, в том числе с использованием методов машинного обучения (Указ Президента Российской Федерации от 10.10.2019 №490).

Результативность – степень достижения запланированного результата в контексте современного уровня научно-технического развития здравоохранения.

Социальная эффективность – степень достижения социального результата (достижения общественно значимых целей в области охраны здоровья).

Стемминг – процесс усечения слова до корня.

Суммаризация – автоматическое создание краткого содержания исходного текста (обычно с применением больших генеративных моделей).

Технологии искусственного интеллекта – совокупность технологий, включающая в себя компьютерное зрение, обработку естественного языка, распознавание и синтез речи, интеллектуальную поддержку принятия решений и перспективные методы искусственного интеллекта (Указ Президента Российской Федерации от 10.10.2019 №490).

Экономическая эффективность – соотношение полученных результатов и произведенных затрат.

Эксплуатационные параметры – параметры функционирования системы искусственного интеллекта, характеризующие качественно и/или количественно технические возможности системы искусственного интеллекта с точки зрения ее назначения (ГОСТ Р 59921.4—2021).

Эмбеддинг – представление слова в виде числового вектора, что позволяет сохранить семантическое сходство для различных слов, имеющих близкие значения (например, «подъезд» и «парадная»).

Эталонная суммаризация – идеальное краткое изложение исходного текста (данных электронной медицинской карты пациента), созданное врачами-экспертами в формате консенсуса. Необходима для расчета семантических метрик качества больших генеративных моделей.

Список сокращений

БГМ – большая генеративная модель

ИИ – искусственный интеллект

ИО – истинно отрицательный

ИП – истинно положительный

КИ – клинические испытания

КТ – калибровочное тестирование

ЛО – ложноотрицательный

ЛП – ложноположительный

МИ – медицинское изделие

ПКТИ – предварительные клинико-технические испытания

ПО – программное обеспечение

СИИ – система искусственного интеллекта

ФТ – функциональное тестирование

Введение

В основу учебного пособия положены научные и практические результаты Московского эксперимента по использованию инновационных технологий в области компьютерного зрения для анализа медицинских изображений и дальнейшего применения этих технологий в системе здравоохранения за 2020—2025 гг., разработанная на их основе методология контроля эксплуатационных параметров и качества системы искусственного интеллекта на этапах жизненного цикла, а также комплекс национальных стандартов «Системы искусственного интеллекта в клинической медицине».

Цель – приобретение и повышение обучаемыми лицами необходимых компетенций, знаний, умений и навыков в области организации и проведения мероприятий по контролю безопасности и качества медицинских изделий на основе технологий искусственного интеллекта на этапах их жизненного цикла.

Задачи:

– изучение терминологии, основных этапов жизненного цикла систем искусственного интеллекта для здравоохранения;

– изучение видов и характеристик эксплуатационных параметров систем искусственного интеллекта для здравоохранения;

– изучение показателей технического, медицинского качества систем искусственного интеллекта для здравоохранения, способов оценки их эффективности (медицинской, социальной, экономической);

– изучение метода интегральной оценки;

– изучение подходов к организации видов и методов контрольных мероприятий на основных этапах жизненного цикла систем искусственного интеллекта для здравоохранения;

– обеспечение уровня компетенций и навыков в соответствии с требованиями профессионального стандарта «Специалист в области организации здравоохранения и общественного здоровья»¹;

– обеспечение уровня компетенций и навыков в соответствии с требованиями профессионального стандарта «Врач-кибернетик»².

Требования к входным знаниям, компетенциям и умениям для проведения занятий: теоретические знания и практические навыки в соответствии с федеральными государственными образовательными стандартами высшего образования: специалитета по специальностям 31.05.01 «Лечебное дело», 31.05.02 «Педиатрия»³; федеральным государственным образовательным стандартом высшего образования по специальности 30.05.03 «Медицинская кибернетика»⁴; федеральным государственным образовательным стандартом высшего образования по специальности 09.03.01 «Информатика и вычислительная техника»⁵; федеральным государственным образовательным стандартом высшего образования по специальности 09.03.04 «Программная инженерия»⁶.

Изучение пособия направлено на дальнейшее формирование у обучающихся следующих компетенций:

I. По специальностям 31.05.01 «Лечебное дело», 31.05.02 «Педиатрия» (дисциплина «Медицинская информатика», дисциплина «Общественное здоровье и здравоохранение»):

1. Универсальных:

– способен осуществлять критический анализ проблемных ситуаций на основе системного подхода, вырабатывать стратегию действий (УК-1);

– способен управлять проектом на всех этапах его жизненного цикла (УК-2).

2. Общепрофессиональных:

– способен реализовывать принципы менеджмента качества в профессиональной деятельности (ОПК-9);

– способен подготавливать и применять научную, научно-производственную, проектную, организационно-управленческую и нормативную документацию в системе здравоохранения (ОПК-11).

3. Дополнительных:

– способность организовывать оказание разных видов медицинской помощи с применением медицинских изделий на основе технологий искусственного интеллекта;

– способность организовывать и проводить контроль качества и эффективности систем искусственного интеллекта на всех этапах жизненного цикла.

II. По специальности 30.05.03 «Медицинская кибернетика»:

1. Универсальных:

– способность управлять проектом на всех этапах его жизненного цикла (УК-2).

2. Общепрофессиональных:

– способность определять стратегию и проблематику исследований, выбирать оптимальные способы их решения, проводить системный анализ объектов исследования, отвечать за правильность и обоснованность выводов, внедрение полученных результатов в практическое здравоохранение (ОПК-4);

– способность обеспечивать информационно-технологическую поддержку в области здравоохранения; применять средства информационно-коммуникационных технологий и ресурсы биоинформатики в профессиональной деятельности; выполнять требования информационной безопасности (ОПК-6).

3. Дополнительной:

– способность организовывать и проводить контроль качества систем искусственного интеллекта на всех этапах жизненного цикла.

III. По специальности 09.03.01 «Информатика и вычислительная техника»:

1. Универсальных:

– способен осуществлять поиск, критический анализ и синтез информации, применять системный подход для решения поставленных задач (УК-1);

– способен осуществлять социальное взаимодействие и реализовывать свою роль в команде (УК-3).

2. Общепрофессиональных:

– способен применять естественно-научные и общеинженерные знания, методы математического анализа и моделирования, теоретического и экспериментального исследования в профессиональной деятельности (ОПК-1);

– способен участвовать в разработке стандартов, норм и правил, а также технической документации, связанной с профессиональной деятельностью (ОПК-4);

– способен участвовать в настройке и наладке программно-аппаратных комплексов (ОПК-7).

3. Дополнительной:

– способность организовывать и проводить контроль качества систем искусственного интеллекта на всех этапах жизненного цикла.

IV. По специальности 09.03.04 «Программная инженерия» (в том числе при подготовке специалистов по тестированию в области информационных технологий (06.004⁷)):

1. Универсальных:

– способен осуществлять поиск, критический анализ и синтез информации, применять системный подход для решения поставленных задач (УК-1);

– способен осуществлять социальное взаимодействие и реализовывать свою роль в команде (УК-3).

2. Общепрофессиональных:

– способен применять естественно-научные и общеинженерные знания, методы математического анализа и моделирования, теоретического и экспериментального исследования в профессиональной деятельности (ОПК-1);

– способен участвовать в разработке стандартов, норм и правил, а также технической документации, связанной с профессиональной деятельностью (ОПК-4);

– способен разрабатывать алгоритмы и программы, пригодные для практического использования, применять основы информатики и программирования к проектированию, конструированию и тестированию программных продуктов (ОПК-6).

3. Дополнительной:

– способность организовывать и проводить контроль качества систем искусственного интеллекта на всех этапах жизненного цикла.

В результате изучения материала обучаемый должен:

· знать:

– принципы, возможности и ограничения организации контроля качества и эксплуатационных параметров медицинских изделий на основе технологий искусственного интеллекта;

– номенклатуру основных национальных стандартов в предметной области;

– основные методы и способы оценки эксплуатационных параметров, технологического и медицинского контроля, методы интегральной оценки;

– подходы к применению конкретных методов контроля на разных этапах жизненного цикла медицинских изделий на основе технологий искусственного интеллекта;

– подходы к организации контроля систем искусственного интеллекта для диагностической визуализации, продуктов на основе больших генеративных моделей;

· уметь:

– организовывать процесс контроля эксплуатационных параметров систем искусственного интеллекта на этапах жизненного цикла;

– выбирать подходы и методы контроля, исходя из вида и клинической задачи конкретной системы искусственного интеллекта;

· владеть:

– навыками вычисления эксплуатационных параметров по точности;

– навыками вычисления основных показателей качества и эффективности систем искусственного интеллекта;

– навыками оценки качества систем искусственного интеллекта для диагностической визуализации;

– навыками оценки качества систем искусственного интеллекта на основе больших генеративных моделей.

Изучение материала рассчитано на 12 академических часов самостоятельной работы. Для успешного освоения материала специальные материально-техническая и учебно-методическая базы не требуются. Рекомендуется наличие доступа в интернет для ознакомления со ссылками на цитируемые материалы.

В целях проверки усвоения информации предусмотрены ответы на вопросы для самоконтроля. Для повышения эрудированности и вовлеченности обучаемых опционально рекомендуется подготовка рефератов и докладов-презентаций.

Глава 1. Жизненный цикл систем искусственного интеллекта

Искусственный интеллект – комплекс технологических решений, позволяющий имитировать когнитивные функции человека (включая поиск решений без заранее заданного алгоритма) и получать при выполнении конкретных задач результаты, сопоставимые с результатами интеллектуальной деятельности человека или превосходящие их. Комплекс технологических решений включает в себя информационно-коммуникационную инфраструктуру, программное обеспечение (в том числе то, в котором используются методы машинного обучения), процессы и сервисы по обработке данных и поиску решений (Указ Президента Российской Федерации от 10.10.2019 №490).

Технологии искусственного интеллекта – совокупность технологий, включающая в себя компьютерное зрение, обработку естественного языка, распознавание и синтез речи, интеллектуальную поддержку принятия решений и перспективные методы искусственного интеллекта (Указ Президента Российской Федерации от 10.10.2019 №490).

Жизненный цикл – развитие системы искусственного интеллекта и продуктов на ее основе от замысла до вывода из эксплуатации (ГОСТ Р 59921.4—2021).

Набор данных – состав данных, которые структурированы или сгруппированы по определенным признакам, соответствуют требованиям законодательства Российской Федерации и необходимы для разработки программ для электронных вычислительных машин на основе искусственного интеллекта (Указ Президента Российской Федерации от 10.10.2019 №490).

Разметка данных – этап обработки структурированных и неструктурированных данных, в процессе которого данным (в том числе текстовым документам, фото- и видеоизображениям) присваиваются идентификаторы, отражающие тип данных (классификация данных), и (или) осуществляется интерпретация данных для решения конкретной задачи, в том числе с использованием методов машинного обучения (Указ Президента Российской Федерации от 10.10.2019 №490).

В настоящее время создание, развитие, оценка и обеспечение качества и безопасности, применение систем искусственного интеллекта (СИИ) в здравоохранении Российской Федерации осуществляются на основе комплекса национальных стандартов «Системы искусственного интеллекта в клинической медицине» ПК 01 ТК 164 (см. приложение А).

Оценка качества выполняется:

– на всех этапах жизненного цикла системы искусственного интеллекта (программного обеспечения на основе технологий искусственного интеллекта);

– путем контроля эксплуатационных параметров, а также анализа результатов и эффектов применения конкретной системы в практическом здравоохранении.

Жизненный цикл систем искусственного интеллекта медицинского предназначения в виде унифицированной схемы представлен на рисунке 1.

С точки зрения непрерывного контроля жизненный цикл СИИ делится на следующие основные этапы:

1. Разработка (контроль ведется только разработчиком, в том числе в виде периодической внутренней валидации).

NB! Непосредственной разработке СИИ предшествуют обеспечение и контроль качества данных, применяемых для обучения. Для этого существуют специальные, научно обоснованные методологии⁸.

2. Внешняя валидация (проводится третьими лицами для независимого и объективного контроля качества и надежности СИИ).

3. Получение и поддержание статуса медицинского изделия (контроль трансформируется в процедуры технических и клинических испытаний, а после государственной регистрации – в мониторинг и учет неблагоприятных событий при эксплуатации СИИ).

Для каждого этапа реализуются стратегии комплексного тестирования и контроля; при этом целесообразно следовать базовому принципу, состоящему в методологическом разделении и параллельном осуществлении оценки технического качества (надежности, отказоустойчивости и т. д.) и медицинского качества (диагностической точности, эффективности и т. д.).

Глава 2. Эксплуатационные параметры систем искусственного интеллекта

Эксплуатационные параметры – параметры функционирования системы искусственного интеллекта, характеризующие качественно и/или количественно технические возможности системы искусственного интеллекта с точки зрения ее назначения (ГОСТ Р 59921.4—2021).

Параметры модели искусственного интеллекта – числовые значения, определяющие работу модели искусственного интеллекта, в частности выведение закономерностей, принятие решений или прогнозирование результатов (Указ Президента РФ от 10.10.2019 №490).

Большие генеративные модели – модели искусственного интеллекта, способные интерпретировать (предоставлять информацию на основании запросов, например, об объектах на изображении или о проанализированном тексте) и создавать мультимодальные данные (тексты, изображения, видеоматериалы и тому подобное) на уровне, сопоставимом с результатами интеллектуальной деятельности человека или превосходящем их (Указ Президента РФ от 10.10.2019 №490).

Эмбеддинг – представление слова в виде числового вектора, что позволяет сохранить семантическое сходство для различных слов, имеющих близкие значения (например, «подъезд» и «парадная»).

Стемминг – процесс усечения слова до корня.

Суммаризация – автоматическое создание краткого содержания исходного текста (обычно с применением больших генеративных моделей).

Эталонная суммаризация – идеальное краткое изложение исходного текста (данных электронной медицинской карты пациента), созданное врачами-экспертами в формате консенсуса. Необходима для расчета семантических метрик качества больших генеративных моделей.

N-грамма – последовательность из N смежных символов, расположенных в определенном порядке.

Эксплуатационные параметры систем искусственного интеллекта систематизированы и классифицированы в национальном стандарте ГОСТ Р 59921.4—2021.

Эксплуатационные параметры разделяются на категории по:

– точности;

– назначению;

– входным данным;

– принципу организации обучения;

– производительности;

– системной совместимости.

Это обязательный список параметров, который может быть дополнен с учетом требований регулятора, заказчика, пользователя, а также – особенностей, предназначения, условия применения самой СИИ.

Эксплуатационные параметры по точности определяют разными методами, исходя из особенностей работы данной СИИ.

Оценку точности СИИ проводят в дизайне диагностического исследования; при этом оптимально руководствоваться методологией и чек-листом STARD-2015. Отметим, что данный чек-лист не полностью подходит для проектов в области ИИ, поскольку содержит недостаточно конкретные рекомендации касательно качества и объема наборов данных, метрик диагностической точности, а также используемой терминологии. Тем не менее профильный чек-лист STARD-AI находится в разработке с 2021 года, и до момента его выхода STARD-2015 является лучшим из доступных решений.

Для оценки точности обеспечивают наличие некоего эталона – референс-теста, с которым сравнивают точность нового инструмента – индекс-теста (которым и является СИИ). На практике референс-тестом чаще всего служит верифицированный набор данных со специальной разметкой.

Согласно классическим подходам, размер выборки зависит от ожидаемого размера эффекта, уровня статистической значимости и мощности. Помимо этого, согласно ГОСТ Р 59921.5—2022, размер выборки для тестирования СИИ определяется целью его применения и зависит от следующих факторов:

– требуемое качество решений СИИ;

– тип и архитектура алгоритма СИИ;

– количество параметров алгоритма СИИ;

– качество данных, включая качество аннотаций, распределение метрик и уровень шума в наборе данных.

Для практического здравоохранения применяются выборки со следующими размерами: с целью получения стабильного значения эксплуатационных параметров точности СИИ с бинарным исходом достаточно⁹:

– 80 исследований при условии баланса классов 50 на 50%;

– 400 исследований при условии минимальной доли любого из классов 10%.

1. Показатели точности СИИ для анализа медицинских данных с приоритетной целью определения факта наличия целевой патологии (детекции), ее вида (классификации) и локализации

Пример. СИИ необходимо выявить признаки онкологических заболеваний в результатах профилактического исследования, для чего ей нужно определить характерные признаки, соотнести их с конкретным заболеванием, указать локализацию патологического проявления в пределах органа.

Базовые параметры точности:

– доля ошибок 1-го (ложноположительный результат) и 2-го рода (ложноотрицательный результат) при принятии решений СИИ. Этот параметр представляет собой характеристику точности. Доля ошибок 1-го рода подтверждает прогнозируемую вероятность ложноположительного результата при работе СИИ, а доля ошибок 2-го рода, соответственно, – вероятность ложноотрицательного результата;

– чувствительность;

– специфичность;

– площадь под характеристической кривой;

– прогностическая ценность положительного и отрицательного результата;

– согласованность.

Для расчета метрик результаты работы индекс-теста по анализу эталонного набора данных классифицируют по 4 видам (таблица 1).

Строят соответствующую четырехпольную таблицу и вносят в нее абсолютное значение для каждого вида результатов. Далее выполняют расчет показателей (общепринятый список показателей точности представлен в таблице 2).

Определение площади под характеристической кривой (рисунок 2). Площадь под кривой (AUC – от англ. area under curve) – площадь, ограниченная ROC-кривой и абсциссой. В свою очередь, характеристическая ROC-кривая (ROC – от англ. receiver operating characteristic curve

Конец ознакомительного фрагмента.

Текст предоставлен ООО «Литрес».

Прочитайте эту книгу целиком, купив полную легальную версию на Литрес.

Безопасно оплатить книгу можно банковской картой Visa, MasterCard, Maestro, со счета мобильного телефона, с платежного терминала, в салоне МТС или Связной, через PayPal, WebMoney, Яндекс.Деньги, QIWI Кошелек, бонусными картами или другим удобным Вам способом.

Примечания

1

Приказ Министерства труда и социальной защиты РФ от 07.11.2017 №768н «Об утверждении профессионального стандарта «Специалист в области организации здравоохранения и общественного здоровья».

Вернуться

2

Приказ Министерства труда и социальной защиты РФ от 04.08.2017 №610н «Об утверждении профессионального стандарта «Врач-кибернетик».

Вернуться

3

Приказы Министерства науки и высшего образования РФ от 12.08.2020 №988; от 12.08.2020 №965 соответственно.

Вернуться

4

Приказ Министерства науки и высшего образования РФ от 13.08.2020 №1006 «Об утверждении Федерального государственного образовательного стандарта высшего образования 30.05.03 Медицинская кибернетика».

Вернуться

5

Приказ Министерства образования и науки РФ от 19.09.2017 №929 «Об утверждении Федерального государственного образовательного стандарта высшего образования – бакалавариат по направлению подготовки 09.03.01 «Информатика и вычислительная техника».

Вернуться

6

Приказ Министерства образования и науки РФ от 19.09.2017 №920 «Об утверждении Федерального государственного образовательного стандарта высшего образования – бакалавариат по направлению подготовки 09.03.04 Программная инженерия».

Вернуться

7

Приказ Министерства труда и социальной защиты РФ от 02.08.2021 №531н «Об утверждении профессионального стандарта „Специалист по тестированию в области информационных технологий“»

Вернуться

8

Подготовка набора данных для обучения и тестирования программного обеспечения на основе технологии искусственного интеллекта: учебное пособие / Васильев Ю. А., Арзамасов К. М., Владзимирский А. В., и др. М.: ГБУЗ «НПКЦ ДиТ ДЗМ», 2024. 140 с.

Вернуться

9

Оптимальный размер обоснован в ряде научных работ: Chetverikov S. F., Arzamasov K. M., Andreichenko A. E., et al. Approaches to sampling for quality control of artificial intelligence in biomedical research // Sovremennye tehnologii v medicine. 2023. Vol. 15, №2. Р. 19. https://doi.org/10.17691/stm2023.15.2.02; Бобровская Т. М., Васильев Ю. А., Никитин Н. Ю. [и др.]. Объем выборки для оценки диагностической точности программного обеспечения на основе технологий искусственного интеллекта в лучевой диагностике // Сибирский журнал клинической и экспериментальной медицины. 2024. Т. 39, №3. Р. 188—198. https://doi.org/10.29001/ 2073-8552-2024-39-3-188-198; Коденко М. Р., Бобровская Т. М., Решетников Р. В. [и др.]. Эмпирический метод расчета размера выборки для тестирования алгоритмов искусственного интеллекта // Доклады РАН. Математика, информатика, процессы управления. 2024. Т. 520, № S2. С. 71—84. https://doi.org/10.31857/S2686954324700395.

Вернуться