Доказательная логика
- -
- 100%
- +
Для программных и алгоритмических изделий нужно фиксировать, какой именно результат является предметом научной обоснованности. Если программа только оформляет отчет или передает данные, научная обоснованность относится прежде всего к аналиту и медицинской роли результата. Но если программа классифицирует изображение, фильтрует варианты, рассчитывает индекс риска или автоматически формирует категорию результата, научная обоснованность должна относиться к итоговому выводу алгоритма. Нельзя ограничиться ссылками на клиническую значимость отдельных входных данных.
В разделе научной обоснованности также необходимо отражать ограничения. Ограничения не ослабляют документ автоматически; напротив, они делают вывод честным и экспертно устойчивым. Если данные применимы только к определенной популяции, это нужно указать. Если связь подтверждена только для одного материала, нельзя распространять ее на другие материалы без обоснования. Если роль аналита подтверждена для диагностики, но не для прогноза или выбора терапии, это должно быть прямо отражено. Если данные по новому аналиту предварительные, вывод должен быть осторожным.
Схема 16.1 — Типовые ошибки документирования научной обоснованности
— Перечисление публикаций без аргументации — Как проявляется: Раздел выглядит как библиография без связи с назначением изделия; Почему это критично: Непонятно, какой вывод подтверждают источники.
— Обоснование аналита “вообще” — Как проявляется: Описана связь маркера с заболеванием без указания клинической роли; Почему это критично: Нельзя оценить применимость к диагностике, скринингу, мониторингу или выбору терапии.
— Подмена научной обоснованности аналитическими характеристиками — Как проявляется: Вместо клинического смысла аналита описаны предел обнаружения, точность или воспроизводимость; Почему это критично: Не закрыт вопрос, зачем аналит определяется.
— Перенос данных на другой материал без обоснования — Как проявляется: Данные по одному типу образца используются для другого; Почему это критично: Меняется матрица, стабильность и клиническая интерпретация.
— Перенос данных на другую популяцию без обоснования — Как проявляется: Данные по симптомным пациентам используются для скрининга бессимптомных лиц; Почему это критично: Меняются распространенность, предтестовая вероятность и риск ошибки.
— Смешение клинических ролей — Как проявляется: Данные по диагностике используются для прогноза или выбора терапии; Почему это критично: Разные роли требуют разных доказательств.
— Игнорирование порога или правила интерпретации — Как проявляется: Обоснован аналит, но не обосновано клиническое значение категории результата; Почему это критично: Непонятно, почему результат должен приводить к конкретному действию.
— Обоснование входных параметров вместо алгоритма — Как проявляется: Описаны отдельные показатели, но не итоговый индекс или категория риска; Почему это критично: Клинический смысл алгоритмического результата остается недоказанным.
— Отсутствие ограничений — Как проявляется: Вывод сформулирован шире, чем позволяют данные; Почему это критично: Возникает разрыв между доказательствами и заявленным назначением.
Итоговый вывод не должен быть слишком общим.
Итоговый вывод о научной обоснованности должен быть сформулирован отдельно и ясно. Он не должен быть слишком общим. Недостаточно написать: “научная обоснованность подтверждена”. Нужно указать, для какого аналита или объекта исследования она подтверждена, с какой клинической задачей он связан, для какой роли результата, в каком материале и популяции, на основании каких источников и с какими ограничениями.
Например, корректный вывод может быть построен так: определяемый аналит имеет подтвержденную связь с соответствующим клиническим состоянием; эта связь относится к заявленной диагностической или иной роли результата; приведенные источники применимы к заявленному материалу и популяции; имеющиеся ограничения не препятствуют использованию данных в пределах заявленного назначения. Если же часть назначения не подтверждена, вывод должен прямо указывать, что для этой части требуются дополнительные данные или ограничение области применения.
Важно, чтобы вывод о научной обоснованности не подменял выводы об аналитической и клинической эффективности. Научная обоснованность показывает, что аналит имеет медицинский смысл. Она не доказывает, что конкретное изделие надежно его определяет, и не всегда доказывает, что результат изделия клинически эффективен. Поэтому после раздела научной обоснованности должны логически следовать разделы об аналитической эффективности и клинической эффективности. Их нельзя заменить литературным описанием клинического значения аналита.
В регистрационном досье раздел научной обоснованности должен быть связан с другими документами. Если в назначении изделия указаны определенные материалы, популяции и клинические роли, раздел научной обоснованности должен покрывать именно их. Если в инструкции по применению заявлены ограничения, они должны быть согласованы с выводом о научной обоснованности. Если программа клинико-лабораторных испытаний строится на определенном клиническом сценарии, он должен соответствовать той роли аналита, которая обоснована в данном разделе.
Для хорошо подготовленного досье характерна внутренняя согласованность. Назначение изделия, раздел научной обоснованности, программа испытаний, аналитические данные, клинические данные и итоговый отчет по клиническим доказательствам должны говорить об одном и том же применении. Если научная обоснованность подтверждает одно, аналитические исследования выполнены для другого, а итоговый вывод сформулирован для третьего, досье становится методологически слабым, даже если каждый документ по отдельности выглядит качественно.
Практически раздел научной обоснованности можно строить в следующей логике: краткое описание назначения изделия; описание аналита или объекта исследования; характеристика клинической роли результата; обзор источников данных; критическая оценка и применимость источников; анализ ограничений; итоговый вывод. Такая структура не должна восприниматься как жесткий шаблон, но она помогает избежать главной ошибки — превращения научной обоснованности в несвязанный литературный обзор.
В результате документирование научной обоснованности должно отвечать на простой, но принципиальный вопрос: почему результат данного изделия имеет медицинский смысл именно в заявленном применении? Если раздел убедительно отвечает на этот вопрос, он создает прочное основание для дальнейшей оценки аналитической и клинической эффективности. Если не отвечает, последующие данные будут восприниматься как недостаточно связанные с медицинской задачей изделия.
Итог главы
Документирование научной обоснованности должно представлять связь аналита или иного объекта исследования с заявленной медицинской задачей как связную доказательную линию. Такой раздел должен начинаться от назначения изделия, раскрывать клиническую роль результата, приводить релевантные источники, оценивать их качество и применимость, фиксировать ограничения и завершаться точным выводом. Научная обоснованность не должна подменяться аналитическими характеристиками, клинической эффективностью или простым перечнем публикаций. Ее задача — показать, почему результат медицинского изделия для диагностики in vitro имеет медицинский смысл в пределах заявленного назначения.
Итоги Части II
Часть II была посвящена научной обоснованности как первому содержательному элементу клинических доказательств медицинского изделия для диагностики in vitro. В ней показано, что доказательная оценка не может начинаться только с технических характеристик изделия. Прежде чем оценивать правильность, прецизионность, предел обнаружения, диагностическую чувствительность или клиническую эффективность, необходимо установить, почему сам аналит или иной объект исследования имеет медицинское значение.
Научная обоснованность строится вокруг связи аналита с клиническим состоянием, физиологическим или патологическим процессом либо медицинской задачей. Такая связь должна быть конкретизирована: диагностическая, скрининговая, мониторинговая, прогностическая, предиктивная или стратификационная. Недостаточно указать, что аналит “связан с заболеванием”. Нужно понимать, для какой роли результата, в какой популяции, в каком материале и по какому правилу интерпретации эта связь подтверждена.
В части рассмотрено различие между хорошо изученными и новыми аналитами. Для хорошо изученного аналита обычно не требуется заново доказывать базовую клиническую связь, но необходимо показать применимость известных данных к конкретному назначению изделия. Для нового или недостаточно изученного аналита требуется более развернутая доказательная стратегия, включая критическую оценку литературы, анализ воспроизводимости, применимости и, при необходимости, получение новых данных.
Источники научной обоснованности могут включать клинические рекомендации, систематические обзоры, первичные исследования, консенсусные документы, данные о биологическом механизме, регистры, данные реальной практики, материалы по аналогичным подходам и исследования алгоритмических моделей. Их доказательная сила определяется не названием источника, а тем, насколько они подтверждают заявленную клиническую роль результата и применимы к материалу, популяции и условиям использования изделия.
Отдельное значение имеют литературный поиск, систематические обзоры и критическая оценка данных. Поиск должен строиться и вокруг названия аналита, и вокруг клинической задачи, материала, популяции и правила интерпретации. Систематический обзор помогает оценить устойчивость связи аналита с медицинской задачей. Критическая оценка позволяет определить риск смещения, применимость источников, неоднородность, противоречия и ограничения вывода. При необходимости могут использоваться инструменты PRISMA, QUADAS-2, QUADAS-C, PROBAST и GRADE.
Главный практический вывод Части II состоит в том, что научная обоснованность должна быть документирована как доказательная линия, а не как набор литературных ссылок. Она должна завершаться ясным выводом: какой аналит или объект исследования имеет медицинский смысл, для какой клинической роли, в каком материале, для какой популяции и с какими ограничениями. Только после этого можно обоснованно переходить к оценке аналитической эффективности конкретного изделия и его клинической эффективности.
Часть III . Аналитическая эффективность медицинских изделий для диагностики in vitro
Аннотация части
Часть III посвящена аналитической эффективности медицинского изделия для диагностики in vitro. Если научная обоснованность отвечает на вопрос, почему определяемый аналит или иной объект исследования имеет медицинский смысл, то аналитическая эффективность отвечает на следующий вопрос: способно ли конкретное изделие надежно выявлять, измерять, классифицировать или характеризовать этот объект в условиях, заявленных изготовителем.
Для изделий диагностики in vitro этот уровень доказательств имеет самостоятельное значение. Даже если аналит хорошо изучен и его клиническая роль не вызывает сомнений, нельзя автоматически считать, что любое изделие, предназначенное для его определения, будет давать надежный результат. Конкретная тест-система, набор реагентов, анализатор, калибратор, контрольный материал, программный модуль или алгоритм должны подтвердить свои аналитические характеристики применительно к заявленному материалу, диапазону, условиям применения, пользователю и правилам интерпретации результата.
В этой части рассматриваются общие принципы подтверждения аналитической эффективности, правильность, прецизионность, линейность, диапазон измерений, предел обнаружения, предел количественного определения, аналитическая специфичность, интерференция, стабильность, воспроизводимость, прослеживаемость и калибровка. Эти характеристики не должны восприниматься как формальный перечень испытаний. Их выбор, глубина оценки и критерии приемлемости зависят от назначения изделия, типа результата, клинической роли, материала и риска ошибочного решения.
Особое внимание уделяется тому, что аналитическая эффективность не равна клинической эффективности. Хорошая аналитическая работа изделия создает необходимую основу для доверия к результату, но сама по себе не всегда доказывает его пригодность для медицинского решения. В то же время клиническая эффективность не может быть убедительной, если аналитические характеристики изделия не подтверждены. Поэтому аналитическая эффективность занимает центральное место между научной обоснованностью аналита и клинической пригодностью результата.
Цель части
Цель настоящей части состоит в том, чтобы сформировать у читателя понимание аналитической эффективности как самостоятельного и обязательного элемента доказательной оценки медицинского изделия для диагностики in vitro.
После изучения этой части читатель должен понимать, почему аналитические характеристики подтверждаются для конкретного изделия, а не для метода “вообще”; как назначение изделия влияет на выбор аналитических исследований; чем правильность отличается от прецизионности; зачем оцениваются линейность, диапазон измерений, предел обнаружения и предел количественного определения; как аналитическая специфичность и интерференция связаны с риском ложного результата; почему стабильность, воспроизводимость, прослеживаемость и калибровка имеют значение для надежности результата; и почему аналитическая эффективность должна быть согласована с типом материала, пользователем, условиями применения и клинической ролью результата.
Глава 17. Общие принципы подтверждения аналитической эффективности
Аналитическая эффективность является вторым крупным элементом доказательной оценки медицинского изделия для диагностики in vitro. Если научная обоснованность показывает, почему аналит или иной объект исследования имеет медицинский смысл, то аналитическая эффективность показывает, насколько надежно конкретное изделие получает результат по этому объекту. Это принципиально разные вопросы. Научная обоснованность относится к клиническому смыслу аналита, а аналитическая эффективность — к работе изделия как измерительной, детекционной, классификационной или вычислительной системы.
Для диагностики in vitro эта граница особенно важна. Хорошо известный аналит не делает изделие автоматически надежным. Глюкоза, HBsAg, вирусная нагрузка, EGFR, HER2, BCR::ABL1, фенилаланин или TREC могут иметь устойчивую клиническую роль, но конкретное изделие должно показать, что оно способно определять соответствующий объект в заявленном материале, диапазоне, условиях применения и формате результата. Поэтому аналитическая эффективность всегда подтверждается для конкретного изделия, его версии, состава реагентов, калибраторов, приборной платформы, программного компонента и правил интерпретации.
В этом смысле аналитическая эффективность является связующим звеном между научной обоснованностью и клинической эффективностью. Если аналитическая основа ненадежна, клинический результат не может быть устойчивым. Даже хорошо спланированное клинико-лабораторное испытание будет трудно интерпретировать, если неизвестно, как изделие ведет себя около порога, каков предел обнаружения, насколько воспроизводимы результаты, есть ли интерференция, как обеспечена прослеживаемость или как меняется результат при хранении образца. Клиническая эффективность предполагает, что аналитический результат уже имеет достаточную надежность.
Аналитическая эффективность — это способность медицинского изделия для диагностики in vitro надежно выявлять, измерять, классифицировать или характеризовать заявленный аналит либо иной объект исследования в установленных условиях применения. Она подтверждает не клинический смысл аналита, а пригодность конкретного изделия получать достоверный и воспроизводимый результат в пределах заявленного назначения.
Назначение изделия как исходная точка аналитической оценки
Подтверждение аналитической эффективности начинается с назначения изделия. Именно назначение определяет, какие характеристики нужно оценивать и насколько глубокой должна быть эта оценка. Для количественного теста центральное значение имеют правильность, прецизионность, линейность, диапазон измерений, предел количественного определения и прослеживаемость. Для качественного теста важны предел обнаружения, аналитическая специфичность, устойчивость классификации, поведение слабоположительных и пограничных образцов. Для молекулярного теста особое значение имеют аналитическая чувствительность, специфичность мишени, матрица, ингибиторы, контаминация и варианты последовательности. Для программного компонента — входные данные, версия алгоритма, правила обработки и устойчивость итоговой классификации.
Именно поэтому невозможно установить единый универсальный перечень аналитических исследований, одинаково достаточный для всех изделий. Одни характеристики обязательны для большинства изделий, другие зависят от типа результата, принципа метода, материала, пользователя и клинической роли. Линейность имеет принципиальное значение для количественного теста, но не является центральной характеристикой для простого качественного теста. Предел обнаружения критически важен для теста, который должен выявлять низкий уровень аналита, но может иметь иное значение для теста, работающего с высокими концентрациями. Интерференция имеет разный риск для биохимического анализа крови, молекулярного теста, иммунологического метода или цифрового изображения.
Рисунок 17.1. Аналитическая эффективность как подтверждение надежности результата конкретного изделия для диагностики in vitro
Рисунок 17.1 показывает, что аналитическая оценка должна строиться не от абстрактного перечня показателей, а от реального применения изделия. Если изделие предназначено для мониторинга, особое значение имеет воспроизводимость результатов во времени и способность надежно отражать динамику. Если изделие используется для скрининга, важна устойчивость результата около порога и риск ложного отрицательного результата. Если результат влияет на выбор терапии, критично подтвердить, что изделие надежно выявляет именно те варианты, маркеры или категории, от которых зависит лечебное решение.
Материал, пользователь и условия применения
Аналитическая эффективность всегда связана с клиническим материалом. Один и тот же метод может работать по-разному в сыворотке, плазме, цельной крови, сухом пятне крови, тканевом материале, мазке, кале, моче или ликворе. Матрица может влиять на извлечение аналита, фон, ингибирование реакции, стабильность, интерференцию, порог обнаружения и воспроизводимость. Поэтому аналитические данные, полученные на одном типе материала, не должны автоматически распространяться на другой материал без обоснования. Если изделие заявляет несколько материалов, каждый из них должен быть подтвержден непосредственно или через убедительное обоснование сопоставимости.
Не меньшее значение имеют условия применения и пользователь. Изделие, применяемое в специализированной лаборатории обученным персоналом, и изделие для использования у постели пациента или самостоятельного применения пациентом работают в разных условиях риска. В первом случае можно ожидать соблюдения лабораторных процедур, контроля качества и квалифицированной интерпретации. Во втором возрастает значение устойчивости к ошибкам пользователя, простоты инструкции, стабильности результата в менее контролируемой среде и риска неправильного действия после получения результата. Поэтому аналитическая эффективность должна оцениваться в условиях, соответствующих предполагаемому применению.
Критерии приемлемости и клинически значимая ошибка
Критерии приемлемости аналитических характеристик не должны устанавливаться произвольно. Они должны быть связаны с назначением изделия и клинически значимой ошибкой. Для одних изделий небольшое аналитическое отклонение может не иметь существенного значения для медицинского решения. Для других даже небольшая ошибка около порога может изменить категорию результата и привести к другому медицинскому действию. Поэтому оценка аналитической эффективности должна учитывать статистические показатели, а также последствия аналитической ошибки.
Для количественного мониторингового теста важно понимать, какое изменение результата считается клинически значимым. Если аналитическая вариабельность сопоставима с ожидаемым клиническим изменением, результат трудно использовать для мониторинга. Для качественного теста важно оценить устойчивость классификации вблизи порога: слабоположительный образец не должен случайно становиться отрицательным из-за малых колебаний метода. Для молекулярного теста низкий предел обнаружения имеет значение только тогда, когда он соответствует клинической роли результата и реальному уровню аналита в заявленном материале.
Схема 17.1 — Связь типа изделия с ключевыми аналитическими вопросами
— Качественный тест — Ключевые аналитические вопросы: Предел обнаружения, специфичность, устойчивость классификации, пограничные и слабоположительные образцы.
— Количественный тест — Ключевые аналитические вопросы: Правильность, прецизионность, линейность, диапазон измерений, предел количественного определения, прослеживаемость.
— Полуколичественный тест — Ключевые аналитические вопросы: Стабильность категорий, обоснованность порогов, воспроизводимость переходов между категориями.
— Молекулярный тест — Ключевые аналитические вопросы: Аналитическая чувствительность, специфичность мишени, ингибиторы, контаминация, варианты последовательности, матрица.
— Иммунологический тест — Ключевые аналитические вопросы: Перекрестная реактивность, интерференция, hook-эффект, матричные эффекты, стабильность реагентов.
— Тест для мониторинга — Ключевые аналитические вопросы: Воспроизводимость во времени, сопоставимость серий, аналитическая вариабельность относительно клинически значимого изменения.
— Изделие с программным компонентом — Ключевые аналитические вопросы: Версия алгоритма, входные данные, устойчивость обработки, воспроизводимость классификации, управление изменениями.
— Самотестирование или применение вне лаборатории — Ключевые аналитические вопросы: Устойчивость к пользовательским ошибкам, условия хранения и применения, читаемость результата, пригодность инструкции.
Валидация, верификация и рутинный контроль
При подтверждении аналитической эффективности важно различать валидацию, верификацию и рутинный контроль. Валидация показывает, что метод или изделие пригодны для заявленного применения и способны обеспечивать результат с требуемыми характеристиками. Верификация подтверждает, что заявленные характеристики воспроизводятся в конкретных условиях применения. Рутинный контроль поддерживает стабильность работы после внедрения. Эти действия связаны, но не заменяют друг друга.