Доказательная логика
- -
- 100%
- +
При оценке опубликованных исследований могут использоваться структурированные инструменты оценки риска систематических ошибок и применимости. Например, для исследований диагностической точности широко применяется QUADAS-2, позволяющий систематически оценивать отбор пациентов, индексный тест, референтный стандарт, поток участников и сроки исследования. Использование такого инструмента не заменяет профессионального суждения, но делает критическую оценку источников более последовательной и прозрачной.
Полнота доказательной базы означает, что представленные данные покрывают основные элементы заявленного назначения и ключевые риски неправильного результата. Недостаточно показать хороший результат в наиболее благоприятных условиях. Нужно оценить, подтверждены ли те условия, в которых изделие будет реально применяться: целевая популяция, тип биологического материала, клинически значимый диапазон значений, область около порога принятия решения, заявленные мишени, заявленные пользователи, условия применения и подгруппы, где возможны отличия работы изделия.
Особое значение полнота доказательной базы имеет для изделий с несколькими заявленными назначениями, несколькими мишенями, несколькими матрицами или несколькими группами пользователей. Высокая общая чувствительность мультиплексного теста не доказывает одинаковую эффективность по каждой мишени. Высокое общее согласие может скрывать низкое положительное согласие. Хороший результат у профессиональных пользователей не подтверждает автоматически применение изделия непрофессиональными пользователями.
Если доказательная база неполна, это не всегда означает невозможность положительного вывода. Но такой вывод должен быть ограничен. Необходимо четко указать, какие элементы назначения подтверждены, какие подтверждены частично, а какие требуют дополнительных данных.
Доказательства должны быть согласованы между собой.
Клинические доказательства часто формируются из нескольких источников: литературных данных, аналитических испытаний, клинико-лабораторных испытаний, клинических данных, данных по методу сравнения, пострегистрационного опыта и сведений по аналогичным изделиям. Эти источники должны не просто существовать рядом, а согласованно поддерживать один доказательный вывод.
Согласованность означает, что разные источники данных не противоречат друг другу или что выявленные расхождения объяснены. Например, литературные данные могут подтверждать клиническую значимость аналита, аналитические испытания — способность изделия надежно определять этот аналит, а клинико-лабораторные испытания — пригодность результата для заявленной клинической задачи. В такой ситуации источники выполняют разные функции, но работают на общий вывод.
Если же литература подтверждает только общую биологическую связь маркера с заболеванием, аналитические данные получены на искусственных образцах, а клинико-лабораторные испытания проведены в другой популяции, доказательная база становится фрагментированной. Отдельные материалы могут быть полезны, но они не образуют убедительной линии доказательств для конкретного назначения.
Противоречия между источниками нельзя игнорировать. Если аналитические характеристики изделия выглядят убедительно, но клинико-лабораторные данные показывают низкую чувствительность в реальной выборке, итоговый вывод должен учитывать именно это ограничение. Если данные по аналогичному изделию благоприятны, но результаты испытаний конкретного изделия слабее, приоритет должен быть отдан прямым данным по оцениваемому изделию. Если пострегистрационный опыт выявляет проблемы, которые не были обнаружены в регистрационных испытаниях, доказательная база должна быть пересмотрена с учетом этих сведений.
Ограничения доказательств должны быть описаны явно. Ограничение не является недостатком само по себе, если оно корректно признано и учтено в выводе. Проблема возникает тогда, когда данные ограничены одной матрицей, одной популяцией, одной стадией заболевания, одним уровнем концентрации, одной площадкой или одним типом пользователя, а вывод формулируется так, будто подтверждено все заявленное назначение.
Для медицинских изделий для диагностики in vitro особенно опасен перенос вывода шире фактически изученных данных. Нельзя автоматически переносить результаты с плазмы на сыворотку, с венозной крови на капиллярную, с симптомных пациентов на скрининговую популяцию, с профессионального пользователя на непрофессионального, с лабораторных условий на внелабораторные, с одной мишени мультиплексного теста на все мишени панели. Такой перенос возможен только при наличии обоснования и подтверждающих данных.
Вес доказательств определяет силу вывода.
При взвешивании доказательств полезно различать прямые и косвенные данные. Прямые доказательства получены для оцениваемого изделия, в заявленном материале, целевой популяции и соответствующем клиническом сценарии. Косвенные доказательства относятся к аналогичному изделию, иной популяции, другому материалу, иной версии изделия или смежному клиническому применению и требуют отдельного обоснования переноса.
Косвенный характер данных не делает их автоматически неприемлемыми. Однако чем больше элементов назначения отличаются от условий, в которых данные были получены, тем более существенным становится вопрос их применимости и тем осторожнее должен формулироваться итоговый вывод.
Взвешивание клинических доказательств означает оценку относительной силы каждого источника в общей доказательной модели. Разные источники не имеют одинакового веса. Прямые данные испытаний конкретного изделия в заявленном применении обычно имеют больший вес, чем косвенные данные. Данные по аналогичным изделиям могут быть полезны, но требуют обоснования сопоставимости. Литературные данные могут поддерживать научную обоснованность, но не заменяют подтверждение работы конкретного изделия. Пострегистрационные данные могут уточнять доказательную базу, но их значение зависит от полноты, проверяемости и системности сбора.
Вес доказательств зависит от того, насколько источник отвечает на ключевой вопрос оценки. Если нужно подтвердить научную обоснованность аналита, важны публикации, клинические рекомендации, консенсусные документы и данные о связи аналита с медицинским состоянием. Если нужно подтвердить аналитическую эффективность, решающее значение имеют испытания конкретного изделия. Если нужно подтвердить клиническую эффективность, особенно важны данные, полученные на релевантном клиническом материале с обоснованной референтной рамкой и заранее определенными критериями оценки.
При взвешивании доказательств необходимо учитывать и силу отдельных источников, и их совокупность. Один сильный источник может закрывать ключевой вопрос, но не все элементы назначения. Несколько слабых источников не всегда создают сильную доказательную базу. Большое количество косвенных материалов не заменяет прямого подтверждения критически важного свойства изделия. Поэтому итоговый вывод должен основываться не на количестве документов, а на том, насколько доказательная база закрывает заявленные утверждения.
Схема 7.1 — Типовые критерии критической оценки клинических доказательств
— Релевантность — Что оценивается: Соответствие данных назначению изделия, популяции, материалу, пользователю и клинической роли результата; Значение для доказательного вывода: Определяет, можно ли использовать данные для подтверждения заявленного применения.
— Надежность — Что оценивается: Дизайн исследования, метод сравнения, контроль ошибок, полнота регистрации и прозрачность анализа; Значение для доказательного вывода: Определяет, насколько можно доверять полученным данным.
— Полнота — Что оценивается: Покрытие всех существенных элементов назначения, матриц, мишеней, подгрупп и диапазонов; Значение для доказательного вывода: Определяет, не остается ли неподтвержденной часть заявления.
— Согласованность — Что оценивается: Отсутствие противоречий между литературными, аналитическими, клиническими и иными данными; Значение для доказательного вывода: Определяет, формируют ли источники единую доказательную линию.
— Ограничения — Что оценивается: Границы применимости данных и условия, в которых вывод может быть ослаблен; Значение для доказательного вывода: Определяет, насколько широко можно формулировать итоговый вывод.
— Доказательный вес — Что оценивается: Относительная сила источника в общей доказательной модели; Значение для доказательного вывода: Определяет, какие данные должны иметь приоритет при формировании вывода.
Типовая ошибка критической оценки состоит в подмене доказательности объемом документации. Наличие большого числа публикаций, отчетов, таблиц и приложений не означает, что изделие подтверждено. Другая распространенная ошибка — перенос данных без обоснования: результаты по одной матрице, одной популяции или одному сценарию применения используются для подтверждения более широкого назначения. Часто встречается и подмена клинической эффективности аналитической: изделие хорошо измеряет сигнал, но не показано, что этот сигнал пригоден для заявленного клинического решения.
Еще одна ошибка связана с использованием общих показателей без анализа критических подгрупп. Общая чувствительность, общая специфичность или общее согласие могут выглядеть высокими, но при этом скрывать слабую работу изделия в отдельных мишенях, диапазонах концентраций, типах материала, стадиях заболевания или группах пользователей. Для доказательной оценки важен как общий результат, так и то, как изделие работает там, где ошибка наиболее значима.
Итоговый доказательный вывод должен быть сформулирован с учетом силы и ограничений всей доказательной базы. Он должен отвечать на несколько вопросов: что именно подтверждено, какими данными это подтверждено, насколько эти данные надежны, к какой области применения они относятся, какие ограничения сохраняются и какие элементы назначения требуют дополнительных подтверждений. Если доказательства достаточны только для части назначения, вывод должен быть ограничен этой частью. Если доказательства неполны, это должно быть отражено в оценке и в дальнейшей программе получения данных.
Итог главы
Критическая оценка и взвешивание клинических доказательств позволяют превратить набор разнородных материалов в обоснованный доказательный вывод. Для медицинского изделия для диагностики in vitro важно и наличие данных, и их связь с назначением изделия, надежность, полнота, согласованность и применимость к заявленному клиническому сценарию. Доказательный вес источника определяется тем, насколько прямо и убедительно он подтверждает соответствующий элемент назначения. Итоговый вывод не должен быть шире полученных данных и должен ясно отражать как подтвержденные элементы, так и сохраняющиеся ограничения.
Глава 8. Документирование, демонстрация и генерация доказательств
Три вида доказательной работы.
При формировании клинических доказательств для медицинского изделия для диагностики in vitro важно различать три вида доказательной работы: документирование, демонстрацию и генерацию доказательств. Эти действия часто смешивают, хотя они решают разные задачи. Документирование отвечает на вопрос, какие данные уже существуют. Демонстрация показывает, почему эти данные применимы именно к заявленному назначению изделия. Генерация означает получение новых данных, если имеющихся сведений недостаточно для обоснованного вывода.
Разделение на документирование, демонстрацию и генерацию доказательств используется в настоящем издании как практическая модель организации доказательной работы. Оно не означает существования трех формально установленных регуляторных стадий. Его задача — помочь определить, какие сведения уже имеются, для каких утверждений их применимость должна быть специально обоснована и какие доказательные пробелы требуют получения новых данных.
Такое различие имеет практическое значение. Не каждое изделие требует одинакового объема новых исследований. Для хорошо изученного аналита часть доказательной базы может быть уже сформирована литературой, клиническими рекомендациями и устойчивой медицинской практикой. В этом случае задача состоит не в том, чтобы заново доказывать очевидную клиническую связь, а в том, чтобы корректно ее документировать и показать применимость к конкретному изделию. Но если изделие использует новый аналит, новый материал, новую клиническую роль или новый алгоритм интерпретации, одного документирования обычно недостаточно. Тогда необходимо получать дополнительные данные.
Рисунок 8.1. Документирование – демонстрация – генерация доказательств
Документирование не создает новых доказательств.
Документирование доказательств начинается с анализа уже доступных источников. Это могут быть опубликованные исследования, систематические обзоры, клинические рекомендации, консенсусные документы, данные по аналогичным изделиям, ранее выполненные аналитические исследования, архивные материалы или сведения реальной практики. Однако документирование не означает механическое перечисление источников. Каждый источник должен быть описан с точки зрения того, какой вопрос доказательной модели он закрывает и какие ограничения имеет.
Например, если изделие предназначено для определения хорошо известного маркера, литература может подтверждать связь этого маркера с заболеванием. Но в доказательной документации нужно показать не просто наличие публикаций, а их отношение к назначению изделия. Если изделие заявлено для диагностики, литература должна поддерживать диагностическую роль. Если для мониторинга — мониторинговую. Если для выбора терапии — предиктивную или терапевтически значимую роль. Без такого уточнения документирование остается неполным.
Демонстрация связывает данные с конкретным изделием.
Демонстрация доказательств является следующим шагом. Она отвечает на вопрос, можно ли использовать уже имеющиеся данные для конкретного изделия. Даже надежные публикации, качественные рекомендации или данные по аналогичным изделиям не всегда применимы напрямую. Нужно проверить, совпадают ли аналит, клиническая роль, тип материала, популяция, пользователь, условия применения, метод интерпретации и, при необходимости, версия программного обеспечения. Если эти элементы различаются, требуется обоснование переноса данных или получение новых доказательств.
Например, данные о клиническом значении аналита в сыворотке не всегда автоматически применимы к сухому пятну крови. Данные по пациентам с выраженной клинической картиной не всегда применимы к скринингу бессимптомных лиц. Публикации по одному методу выявления генетического варианта не всегда подтверждают изделие с другим алгоритмом фильтрации и интерпретации. Поэтому демонстрация доказательств — это не формальность, а критический этап, на котором определяется, могут ли уже имеющиеся сведения действительно поддерживать заявленное применение.
Генерация доказательств закрывает пробелы.
Генерация доказательств требуется тогда, когда существующих данных недостаточно. Она может включать аналитические исследования, клинические и клинико-лабораторные испытания, исследования на архивном материале, биобанках, специальных панелях, проверку программного компонента, внешнюю оценку алгоритма или сбор данных реальной практики. Генерация доказательств должна быть направлена не на получение “любых дополнительных данных”, а на закрытие конкретного доказательного пробела.
Различие между этими действиями особенно хорошо видно на примере хорошо изученных аналитов. Если изделие предназначено для количественного определения сердечного тропонина в диагностическом алгоритме острого повреждения миокарда, клиническое значение самого биомаркера может быть документировано на основании накопленной научной и клинической базы. Однако применимость этих знаний к конкретному изделию и конкретным порогам принятия решения требует отдельного обоснования, а аналитические и клинические характеристики конкретной системы должны подтверждаться собственными данными.
Иная ситуация возникает при новом биомаркере. Если маркер только начинает изучаться и его связь с клиническим состоянием подтверждена ограниченным числом исследований, документирование уже имеющихся публикаций будет лишь начальным этапом. Демонстрация их применимости может выявить серьезные ограничения: малые выборки, отсутствие независимого подтверждения, неоднородные популяции, разные пороги интерпретации. В таком случае для подтверждения научной обоснованности и клинической эффективности может потребоваться генерация новых данных.
Та же логика действует при расширении назначения изделия. Если тест был подтвержден для диагностики у пациентов с симптомами, а затем заявляется для скрининга бессимптомной популяции, прежние данные можно документировать, но их применимость к новой роли должна быть специально продемонстрирована. Если такой перенос неубедителен, нужны новые исследования. Иначе возникает риск, что изделие будет заявлено шире, чем фактически подтверждено доказательствами.
Для программных и алгоритмических изделий разграничение этих действий имеет особое значение. Можно документировать клиническое значение входных параметров алгоритма. Можно продемонстрировать, что они относятся к заявленной медицинской задаче. Если клинически значимый результат формируется новой моделью, индексом, правилом классификации или иным алгоритмическим преобразованием, доказательная оценка должна относиться к входным параметрам, а также к итоговому результату алгоритма в пределах его заявленной клинической роли. В зависимости от назначения это может потребовать независимой проверки модели, оценки работы на внешних данных, анализа пограничных случаев, устойчивости к вариации входных данных и контроля версии алгоритма.
Схема 8.1 — Примеры различия между документированием, демонстрацией и генерацией доказательств
— Хорошо изученный аналит в стандартной роли — Что можно документировать: Литературу, рекомендации, устоявшуюся клиническую роль; Что нужно продемонстрировать: Применимость к назначению изделия; Что может потребовать генерации данных: Аналитическую и клиническую эффективность конкретного изделия.
— Хорошо изученный аналит в новой роли — Что можно документировать: Данные по прежнему применению; Что нужно продемонстрировать: Обоснованность переноса на новую роль; Что может потребовать генерации данных: Данные по новой клинической функции.
— Новый аналит — Что можно документировать: Предварительные публикации и биологическую правдоподобность; Что нужно продемонстрировать: Надежность и применимость имеющихся данных; Что может потребовать генерации данных: Данные о связи с клиническим состоянием и клинической эффективности.
— Новый тип материала — Что можно документировать: Данные по аналиту в другом материале; Что нужно продемонстрировать: Обоснованность переноса на новый материал; Что может потребовать генерации данных: Данные о матриксных эффектах, стабильности и применимости результата.
— Алгоритмический показатель — Что можно документировать: Клиническое значение входных параметров; Что нужно продемонстрировать: Связь входных данных с заявленной задачей; Что может потребовать генерации данных: Данные по итоговому алгоритмическому результату.
— Расширение назначения изделия — Что можно документировать: Доказательства по исходному назначению; Что нужно продемонстрировать: Сопоставимость новой области применения; Что может потребовать генерации данных: Данные по новой популяции, материалу или клиническому сценарию.
Правильное разграничение этих действий помогает рационально планировать программу клинико-лабораторных испытаний. Если часть вопросов уже надежно закрыта документированными и применимыми данными, испытание не должно искусственно повторять их без необходимости. Но если остаются незакрытые вопросы, программа должна быть направлена именно на них. Например, если научная обоснованность аналита хорошо установлена, основное внимание может быть перенесено на аналитическую и клиническую эффективность конкретного изделия. Если же научная обоснованность сомнительна, начинать только с технической проверки метода будет методологически недостаточно.
Это различие важно и для регистрационного досье. Досье должно показывать и набор источников, и их функцию. В нем должно быть понятно, какие сведения были документированы, какие данные были признаны применимыми после демонстрации, какие новые данные были получены и какие вопросы остаются ограничениями. Если эти роли не разделены, эксперт видит массив материалов, но не видит доказательной линии.
На практике слабое досье часто возникает не из-за полного отсутствия данных, а из-за неправильного распределения их доказательной роли. Литературу используют как замену испытаниям конкретного изделия. Аналитические данные подают как подтверждение клинической эффективности. Данные по одному материалу переносят на другой без объяснения. Результаты по старой версии алгоритма распространяют на новую версию без анализа изменений. Все эти ошибки связаны с тем, что документирование, демонстрация и генерация доказательств не были разделены.
Сильная доказательная стратегия строится иначе. Сначала формулируется назначение изделия. Затем анализируется, какие знания уже существуют и могут быть документированы. После этого оценивается, насколько они применимы к конкретному изделию. Далее выявляются пробелы, которые требуют новых данных. Только после этого разрабатывается программа испытаний или иного исследования. Такой порядок позволяет избежать двух крайностей: избыточных исследований там, где вопрос уже надежно закрыт, и недостаточной доказательности там, где литература или аналогичные данные не могут заменить собственные данные по изделию.
В итоге документирование, демонстрация и генерация доказательств являются не отдельными бюрократическими этапами, а логикой работы с доказательной базой. Они позволяют понять, что уже известно, что применимо к данному изделию, а что еще нужно получить. Для медицинских изделий для диагностики in vitro это особенно важно, потому что доказательства почти всегда формируются из разных источников и должны быть связаны с конкретным назначением, материалом, популяцией, клинической ролью и риском применения.
Итог главы
Документирование, демонстрация и генерация доказательств помогают организовать доказательную работу при оценке медицинского изделия для диагностики in vitro. Документирование показывает, какие данные уже существуют. Демонстрация обосновывает их применимость к конкретному изделию и его назначению. Генерация обеспечивает получение новых данных, если имеющихся сведений недостаточно. Правильное разграничение этих действий позволяет рационально планировать клинико-лабораторные испытания, не повторять уже доказанное и не подменять данные по конкретному изделию общими литературными сведениями.
Итоги Части I