Оценка качества и эксплуатационных параметров технологий искусственного интеллекта в здравоохранении. Учебное пособие

Большие генеративные модели – модели искусственного интеллекта, способные интерпретировать (предоставлять информацию на основании запросов, например, об объектах на изображении или о проанализированном тексте) и создавать мультимодальные данные (тексты, изображения, видеоматериалы и тому подобное) на уровне, сопоставимом с результатами интеллектуальной деятельности человека или превосходящем их (Указ Президента РФ от 10.10.2019 №490).

Эмбеддинг – представление слова в виде числового вектора, что позволяет сохранить семантическое сходство для различных слов, имеющих близкие значения (например, «подъезд» и «парадная»).

Стемминг – процесс усечения слова до корня.

Суммаризация – автоматическое создание краткого содержания исходного текста (обычно с применением больших генеративных моделей).

Эталонная суммаризация – идеальное краткое изложение исходного текста (данных электронной медицинской карты пациента), созданное врачами-экспертами в формате консенсуса. Необходима для расчета семантических метрик качества больших генеративных моделей.

N-грамма – последовательность из N смежных символов, расположенных в определенном порядке.

Эксплуатационные параметры систем искусственного интеллекта систематизированы и классифицированы в национальном стандарте ГОСТ Р 59921.4—2021.

Эксплуатационные параметры разделяются на категории по:

– точности;

– назначению;

– входным данным;

– принципу организации обучения;

– производительности;

– системной совместимости.

Это обязательный список параметров, который может быть дополнен с учетом требований регулятора, заказчика, пользователя, а также – особенностей, предназначения, условия применения самой СИИ.

Эксплуатационные параметры по точности определяют разными методами, исходя из особенностей работы данной СИИ.

Оценку точности СИИ проводят в дизайне диагностического исследования; при этом оптимально руководствоваться методологией и чек-листом STARD-2015. Отметим, что данный чек-лист не полностью подходит для проектов в области ИИ, поскольку содержит недостаточно конкретные рекомендации касательно качества и объема наборов данных, метрик диагностической точности, а также используемой терминологии. Тем не менее профильный чек-лист STARD-AI находится в разработке с 2021 года, и до момента его выхода STARD-2015 является лучшим из доступных решений.

Для оценки точности обеспечивают наличие некоего эталона – референс-теста, с которым сравнивают точность нового инструмента – индекс-теста (которым и является СИИ). На практике референс-тестом чаще всего служит верифицированный набор данных со специальной разметкой.

Согласно классическим подходам, размер выборки зависит от ожидаемого размера эффекта, уровня статистической значимости и мощности. Помимо этого, согласно ГОСТ Р 59921.5—2022, размер выборки для тестирования СИИ определяется целью его применения и зависит от следующих факторов:

– требуемое качество решений СИИ;

– тип и архитектура алгоритма СИИ;

– количество параметров алгоритма СИИ;

– качество данных, включая качество аннотаций, распределение метрик и уровень шума в наборе данных.

Для практического здравоохранения применяются выборки со следующими размерами: с целью получения стабильного значения эксплуатационных параметров точности СИИ с бинарным исходом достаточно9:

– 80 исследований при условии баланса классов 50 на 50%;

– 400 исследований при условии минимальной доли любого из классов 10%.

1. Показатели точности СИИ для анализа медицинских данных с приоритетной целью определения факта наличия целевой патологии (детекции), ее вида (классификации) и локализации

Пример. СИИ необходимо выявить признаки онкологических заболеваний в результатах профилактического исследования, для чего ей нужно определить характерные признаки, соотнести их с конкретным заболеванием, указать локализацию патологического проявления в пределах органа.

Базовые параметры точности:

– доля ошибок 1-го (ложноположительный результат) и 2-го рода (ложноотрицательный результат) при принятии решений СИИ. Этот параметр представляет собой характеристику точности. Доля ошибок 1-го рода подтверждает прогнозируемую вероятность ложноположительного результата при работе СИИ, а доля ошибок 2-го рода, соответственно, – вероятность ложноотрицательного результата;

– чувствительность;

– специфичность;

– площадь под характеристической кривой;

– прогностическая ценность положительного и отрицательного результата;

– согласованность.

Для расчета метрик результаты работы индекс-теста по анализу эталонного набора данных классифицируют по 4 видам (таблица 1).

Строят соответствующую четырехпольную таблицу и вносят в нее абсолютное значение для каждого вида результатов. Далее выполняют расчет показателей (общепринятый список показателей точности представлен в таблице 2).

Определение площади под характеристической кривой (рисунок 2). Площадь под кривой (AUC – от англ. area under curve) – площадь, ограниченная ROC-кривой и абсциссой. В свою очередь, характеристическая ROC-кривая (ROC – от англ. receiver operating characteristic curve

Примечания