Доказательная логика

Глава 6. Источники доказательств: исследования, литература и данные реальной практики

Источники доказательств имеют разную роль.

Клинические доказательства для медицинского изделия для диагностики in vitro редко формируются из одного источника. Обычно они складываются из нескольких групп данных: опубликованной литературы, клинических рекомендаций, аналитических исследований, клинических и клинико-лабораторных испытаний, архивного материала, биобанков, специальных панелей, данных по аналогичным изделиям, данных реальной практики (real-world data, RWD), формируемых на их основе доказательств реальной практики (real-world evidence, RWE), а также данных пострегистрационного наблюдения. Но важен не сам перечень источников, а то, какую доказательную функцию выполняет каждый из них.

Рисунок 6.1. Основные источники доказательств

В регуляторной и экспертной работе часто встречается ошибка: большой объем собранных материалов воспринимается как сильная доказательная база. На практике это не всегда так. Десятки публикаций, несколько аналитических отчетов и массив клинических данных могут оставаться слабыми доказательствами, если они не связаны с назначением изделия. И наоборот, более компактный набор данных может быть убедительным, если каждый источник занимает понятное место в доказательной модели: один подтверждает научную обоснованность, другой — аналитическую эффективность, третий — клиническую пригодность результата в заявленном сценарии.

Поэтому источник данных становится доказательством только тогда, когда ясно, какой вопрос он закрывает. Публикация о связи маркера с заболеванием может подтверждать научную обоснованность, но не доказывает работу конкретного изделия. Аналитическое исследование может показывать воспроизводимость метода, но не подтверждает автоматически клиническую пригодность результата. Клинико-лабораторное испытание может быть выполнено качественно, но не поддерживать всё заявленное назначение, если оно проведено на другой популяции, другом материале или в более узком клиническом сценарии.

Одни данные объясняют смысл результата, другие подтверждают работу изделия.

Для медицинского изделия для диагностики in vitro необходимо понимать, подтверждает ли источник научную обоснованность аналита, аналитическую эффективность конкретного изделия, клиническую эффективность результата, применимость к определенному материалу или популяции, либо ограничения заявленного назначения.

Литература чаще всего используется для подтверждения научной обоснованности. Она позволяет показать, что аналит, маркер, микроорганизм, генетический вариант, клеточная характеристика или иной объект исследования действительно связан с клиническим состоянием, патологическим процессом, прогнозом, ответом на лечение или другой медицинской задачей. Для хорошо изученных аналитов литература, клинические рекомендации и профессиональный консенсус могут составлять основу доказательной базы по клиническому смыслу аналита. Но литература должна быть применима к назначению изделия: важно, чтобы совпадали и название маркера, и клиническая роль, материал, популяция и правило интерпретации.

Например, данные о клиническом значении маркера в диагностике заболевания не всегда могут использоваться для обоснования его применения в скрининге. Публикации о значении биомаркера при одной опухоли не обязательно подтверждают его значение при другой. Данные о результате в сыворотке не всегда переносятся на сухое пятно крови, тканевой материал или цифровое изображение. Поэтому литературный источник нужно оценивать не по факту упоминания нужного аналита, а по его применимости к заявленному применению изделия.

Клинические рекомендации и консенсусные документы занимают особое место. Они показывают, как тот или иной результат используется в медицинской практике, какое место он занимает в диагностическом или лечебном маршруте, какие решения могут приниматься на его основе. Для хорошо изученных аналитов это может быть сильным подтверждением клинической роли результата. Однако рекомендации не заменяют доказательств по конкретному изделию. Они могут объяснить, почему определение HBsAg, вирусной нагрузки, EGFR, HER2, BCR::ABL1, фенилаланина или TREC имеет медицинский смысл, но не доказывают, что конкретная тест-система надежно и клинически пригодно получает соответствующий результат.

Аналитические исследования выполняют другую функцию. Они показывают, насколько надежно конкретное изделие получает результат. Здесь оцениваются правильность, прецизионность, предел обнаружения, предел количественного определения, линейность, диапазон измерений, аналитическая специфичность, интерференция, стабильность, воспроизводимость, прослеживаемость и иные характеристики, если они применимы к данному изделию. Для качественных тестов особое значение имеет поведение около порога; для количественных — диапазон и воспроизводимость; для молекулярных — специфичность мишени и предел обнаружения; для программных — устойчивость обработки данных и версия алгоритма.

Но аналитические исследования не должны использоваться как замена клинической эффективности. Даже если изделие демонстрирует отличную прецизионность, низкий предел обнаружения и отсутствие значимых интерференций, этого недостаточно, если не показано, что результат пригоден для заявленной клинической задачи. Аналитическая надежность создает основание для доверия к результату как лабораторному факту, но не отвечает полностью на вопрос о его клиническом применении.

Клинические и клинико-лабораторные испытания связывают результат изделия с клиническим статусом, сравнительным методом, референтной рамкой или клиническим маршрутом. Именно поэтому они являются одним из центральных источников клинической эффективности. Однако и здесь важны границы применимости. Испытание должно соответствовать назначению изделия: материал, популяция, условия применения, пользователь, клиническая роль результата и метод сравнения должны быть релевантными. Иначе даже корректно проведенное исследование будет подтверждать только ту ситуацию, которая фактически была изучена, а не всю область, заявленную в инструкции.

Архивный клинический материал и биобанки особенно полезны в ситуациях, где трудно получить достаточное число проспективных случаев. Это характерно для редких заболеваний, редких генетических вариантов, отдельных онкологических мутаций, неонатального скрининга, некоторых инфекционных сценариев и проверки алгоритмов на сложных случаях. Такие материалы могут существенно усилить доказательную базу, если известны происхождение образца, условия хранения, критерии пригодности, клинический статус и связь с референтной оценкой. Но архивные материалы не должны незаметно подменять реальную целевую популяцию, если назначение изделия предполагает применение в текущем клиническом потоке.

Специальные панели и искусственно сформированные образцы применяются тогда, когда обычный клинический поток не позволяет проверить важные, но редкие или критические ситуации. Например, они могут использоваться для оценки низких концентраций аналита, редких вариантов, слабоположительных результатов, интерферентов, смешанных инфекций или пограничных случаев. Их ценность состоит в том, что они позволяют целенаправленно проверить уязвимые участки метода. Однако такие материалы имеют ограничения: они не всегда воспроизводят всю сложность реального клинического образца и не заменяют данные по фактической популяции применения.

Косвенные источники требуют осторожного применения.

Данные по аналогичным изделиям также могут использоваться как поддерживающий источник. Они помогают показать, что определенный технологический подход, аналит или клиническая роль уже имеют доказательную историю. Но перенос таких данных требует осторожности. Если новое изделие имеет другой принцип метода, другой порог интерпретации, другой материал, другую программную обработку или другое назначение, данные по аналогу не могут автоматически считаться применимыми. В таких случаях необходимо объяснить, что именно сопоставимо, а где требуются собственные данные.

Данные реальной практики становятся все более важным источником доказательств. Они показывают, как изделие работает после внедрения: в разных лабораториях, у разных пользователей, в неоднородных потоках образцов, при реальных преаналитических условиях и клинических маршрутах. Такие данные могут выявлять частоту невалидных результатов, поведение пограничных случаев, различия между площадками, редкие ошибки, проблемы интерпретации и влияние изменений практики. Для программных и алгоритмических изделий данные реальной практики особенно важны, потому что они позволяют отслеживать устойчивость модели в среде, которая может отличаться от среды разработки и испытаний.

Данные реальной практики (real-world data, RWD) — это данные, возникающие при реальном применении изделия и оказании медицинской помощи вне специально организованного исследования либо наряду с ним. После надлежащего сбора, анализа и интерпретации такие данные могут формировать доказательства реальной практики (real-world evidence, RWE), используемые для подтверждения или уточнения выводов о работе изделия в условиях практического применения. RWD и RWE не являются синонимами: наличие массива данных реальной практики еще не означает наличия доказательств. Доказательное значение возникает только после оценки происхождения данных, их качества, полноты, релевантности, возможных систематических смещений и применимости к конкретному вопросу оценки.

При этом данные реальной практики требуют критической оценки. Они часто менее контролируемы, чем специально спланированное исследование. В них возможны пропуски, неполнота, смещения, неодинаковые правила включения, различия в качестве материала, неоднородные методы сравнения и слабая прослеживаемость клинического статуса. Поэтому такие данные могут быть очень ценными, но только если понятно, как они собраны, насколько они полны, как связаны с конкретным изделием и какие ограничения имеют.

В схеме 6.1 приведена обобщенная характеристика основных источников доказательств. Ее задача не в том, чтобы заменить подробную оценку каждого источника, а в том, чтобы показать их различную доказательную роль.

Схема 6.1 — Основные источники доказательств и их доказательная роль

— Опубликованная литература — Основная доказательная роль: Подтверждение научной обоснованности и клинической роли аналита; Основное ограничение: Не доказывает автоматически работу конкретного изделия.

— Клинические рекомендации и консенсусные документы — Основная доказательная роль: Подтверждение места результата в медицинской практике; Основное ограничение: Не заменяют аналитические и клинические данные по изделию.

— Аналитические исследования — Основная доказательная роль: Подтверждение надежности получения результата конкретным изделием; Основное ограничение: Не доказывают автоматически клиническую пригодность результата.

— Клинические и клинико-лабораторные испытания — Основная доказательная роль: Подтверждение клинической эффективности в заявленном сценарии; Основное ограничение: Ограничены материалом, популяцией, дизайном и референтным подходом.

— Архивный материал и биобанки — Основная доказательная роль: Поддержка доказательств при редких состояниях, вариантах и сложных случаях; Основное ограничение: Требуют подтверждения пригодности и прослеживаемости материала.

— Специальные панели и искусственно сформированные образцы — Основная доказательная роль: Проверка редких, низкоуровневых, пограничных или трудных ситуаций; Основное ограничение: Не всегда отражают реальный клинический поток.

— Данные по аналогичным изделиям — Основная доказательная роль: Поддерживающее обоснование технологии, аналита или подхода; Основное ограничение: Требуют доказательства сопоставимости.

— Данные и доказательства реальной практики (RWD/RWE) — Основная доказательная роль: Оценка поведения изделия в условиях реального применения, подтверждение или уточнение ранее сделанных выводов; Основное ограничение: Неоднородность, неполнота, возможные систематические смещения и необходимость подтверждения качества и применимости исходных данных.

На практике сильная доказательная база формируется не за счет механического накопления источников, а за счет их правильного распределения по доказательной функции. Один источник может подтверждать научную обоснованность, другой — аналитическую эффективность, третий — клиническую эффективность, четвертый — устойчивость результата после внедрения. Если эти источники согласованы с назначением изделия и между собой, они образуют доказательную линию. Если же они относятся к разным материалам, разным популяциям, разным версиям изделия или разным клиническим ролям, их суммирование не создает убедительного вывода.

Важно прямо указывать ограничения каждого источника. Литература может быть устаревшей или относиться к другой популяции. Аналитическое исследование может быть выполнено на модельных образцах. Клиническое испытание может не включать достаточное число пограничных случаев. Архивный материал может не полностью воспроизводить условия текущего применения. Данные реальной практики могут содержать неполные сведения о клиническом статусе. Такие ограничения не обязательно делают источник непригодным, но они должны учитываться при формулировании итогового вывода.

Источник должен быть связан с доказательным выводом.

Следовательно, работа с источниками доказательств требует сбора данных, а также их критического размещения в доказательной модели. Нужно понимать, что именно подтверждает каждый источник, к какому элементу назначения он относится, какие ограничения имеет и можно ли на его основании поддержать заявленный вывод. Только при таком подходе набор материалов превращается в клинические доказательства.

Итог главы

Клинические доказательства медицинского изделия для диагностики in vitro формируются из разных источников: литературы, рекомендаций, аналитических исследований, клинических и клинико-лабораторных испытаний, архивных материалов, специальных панелей, данных по аналогам и данных реальной практики. Однако доказательная сила источника определяется не его названием, а тем, какой вопрос он закрывает и насколько он применим к назначению изделия. Сильная доказательная база возникает тогда, когда разные источники согласованы между собой и образуют последовательную линию от клинического смысла аналита к аналитической надежности изделия и клинической пригодности результата.

Глава 7. Критическая оценка и взвешивание клинических доказательств

Данные еще не являются доказательствами.

Наличие данных само по себе еще не означает наличие клинических доказательств. Для медицинского изделия для диагностики in vitro важно не только собрать публикации, результаты аналитических исследований, протоколы испытаний, отчеты, сведения о методах сравнения, данные пострегистрационного применения или материалы по аналогичным изделиям. Необходимо показать, что эти данные действительно относятся к заявленному назначению изделия, получены надежным способом, достаточны по объему, согласованы между собой и позволяют сделать именно тот вывод, который заявляется в документации.

Клинические доказательства не оцениваются по принципу простого накопления материалов. Большой объем документов может не подтверждать изделие, если данные относятся к другой популяции, другому типу биологического материала, другому клиническому сценарию, другой роли результата или иному способу применения. Напротив, меньший по объему, но хорошо спланированный и релевантный набор данных может иметь больший доказательный вес, если он прямо отвечает на вопрос о пригодности изделия для заявленного применения.

Данные становятся доказательствами только тогда, когда понятно, какое именно утверждение они подтверждают. Например, публикации о связи маркера с заболеванием могут поддерживать научную обоснованность определения этого маркера. Однако они не доказывают автоматически, что конкретное изделие надежно определяет маркер, что результат пригоден для клинической классификации пациента или что изделие работает в заявленном типе биологического материала. Аналитические испытания могут подтверждать правильность, прецизионность, предел обнаружения, линейность, стабильность или устойчивость к интерференции, но эти данные также должны быть связаны с клиническим назначением изделия.

Для качественного теста важно не только показать, что изделие дает положительный и отрицательный результат. Нужно подтвердить, что такое разделение соответствует клиническому статусу, методу сравнения или иной обоснованной референтной рамке. Для количественного теста недостаточно показать воспроизводимость числового результата; необходимо понимать, используется ли результат для диагностики, мониторинга, выбора терапии, прогноза или иной медицинской задачи. Для молекулярного теста важно различать обнаружение последовательности, выявление клинически значимого варианта и интерпретацию результата для конкретного клинического решения.

Критическая оценка доказательств нужна именно для того, чтобы отделить данные, которые действительно поддерживают заявленное назначение, от данных, которые имеют только косвенное, вспомогательное или ограниченное значение. В этой оценке учитывают не только итоговый результат исследования, но и его источник, дизайн, качество выполнения, состав выборки, метод сравнения, статистическую устойчивость, применимость к реальной практике и ограничения переноса вывода.

Сильное доказательство должно попадать в назначение.

Главный критерий доказательной ценности данных — их соответствие заявленному назначению изделия. Доказательство имеет вес только в пределах того назначения, к которому оно относится. Если данные получены в другой популяции, другой матрице, другом клиническом сценарии, у другого пользователя или для другой роли результата, их доказательная сила ограничена.

При оценке релевантности необходимо сопоставить данные с основными элементами назначения: определяемым аналитом или объектом исследования, клиническим состоянием, целевой популяцией, типом биологического материала, предполагаемым пользователем, условиями применения, клинической ролью результата и способом интерпретации. Если хотя бы один из этих элементов существенно отличается, требуется отдельное обоснование применимости данных.

Например, если изделие заявлено для диагностики острой инфекции у симптомных пациентов, данные, полученные только на архивных образцах с высокой концентрацией возбудителя, будут иметь ограниченную доказательную силу. Если изделие заявлено для самотестирования, результаты, полученные только профессиональными пользователями в лабораторных условиях, не могут полностью подтверждать заявленное применение. Если набор реагентов заявлен для нескольких типов биологического материала, данные только по одному типу материала не должны автоматически переноситься на остальные.

Один и тот же аналит может иметь разное доказательное значение в разных клинических ролях. Маркер может быть пригоден для мониторинга, но недостаточен для первичной диагностики. Он может быть полезен для стратификации риска, но не для подтверждения заболевания. Он может иметь значение в одной популяции, но не быть проверенным в другой. Поэтому при критической оценке важно определить, какие элементы назначения подтверждены прямо, какие подтверждены косвенно, а какие остаются неподтвержденными.

Если доказательства относятся только к части назначения, итоговый вывод должен быть ограничен этой частью. Нельзя расширять вывод только потому, что технология изделия выглядит сходной, аналит тот же, а результаты в другой области применения были благоприятными. Для медицинских изделий для диагностики in vitro границы назначения одновременно являются границами доказательного вывода.

Надежность данных важна не меньше их количества.

Надежность источника доказательств определяется тем, насколько можно доверять полученным данным. Она зависит от дизайна исследования, качества его выполнения, контроля ошибок, выбора метода сравнения, полноты регистрации результатов, правил обработки проблемных данных, статистической устойчивости и прозрачности представления выводов.

Для клинических и клинико-лабораторных испытаний надежность повышается, если исследование заранее спланировано, имеет четкие критерии включения и исключения, использует обоснованный метод сравнения, предусматривает правила учета сомнительных, недействительных и отсутствующих результатов, включает достаточный объем данных и анализирует результаты в соответствии с заранее определенными критериями приемлемости.

Надежность снижается, если данные получены на удобной выборке, если проблемные результаты исключены без объяснения, если оператор знал результаты метода сравнения и мог повлиять на интерпретацию, если использован слабый или неподходящий референтный подход, если отсутствует анализ подгрупп или если результаты объединены так, что скрывают слабые участки применения изделия.

Для литературных данных надежность зависит от качества публикаций, дизайна включенных исследований, прозрачности методов, сопоставимости популяций и отсутствия очевидных систематических ошибок. Для данных по аналогичным изделиям важно подтвердить, что аналогия действительно обоснована и не подменяет испытания конкретного изделия. Для пострегистрационных данных имеет значение полнота сбора, качество источника, возможность проверки и отсутствие выборочного представления только благоприятных результатов.