Доказательная логика
- -
- 100%
- +
— Клиническое состояние или процесс — Что следует учитывать: Заболевание, синдром, физиологическое состояние, патологический процесс; Пример уточнения: Инфекция, опухоль, метаболическое нарушение, иммунный ответ.
— Клиническая роль результата — Что следует учитывать: Диагностика, скрининг, мониторинг, прогноз, выбор терапии, стратификация; Пример уточнения: Диагностика, скрининг, мониторинг, прогноз..
— Тип материала — Что следует учитывать: Матрица и условия получения образца; Пример уточнения: Сыворотка, плазма, ткань, сухое пятно крови, мазок, изображение.
— Популяция — Что следует учитывать: Возраст, клиническая группа, стадия, статус лечения, риск-группа; Пример уточнения: Новорожденные, доноры, симптомные пациенты, пациенты на терапии.
— Правило интерпретации — Что следует учитывать: Порог, категория, индекс, динамика, алгоритм; Пример уточнения: Cut-off, risk score, variant classification, fold change.
— Источники данных — Что следует учитывать: Базы данных, рекомендации, обзоры, первичные исследования, консенсусы; Пример уточнения: PubMed, рекомендации обществ, базы вариантов, регистры.
Выбор источников зависит от зрелости аналита. Для хорошо изученных аналитов важное место занимают клинические рекомендации, систематические обзоры и консенсусные документы. Поиск в этом случае должен выявить, как именно результат используется в медицинской практике и не выходит ли заявленное назначение изделия за пределы признанной роли аналита. Для нового аналита большее значение приобретают первичные исследования, независимые подтверждения, данные о механизме, ранние клинические работы и исследования, показывающие связь результата с медицинской задачей.
При поиске по новым аналитам особенно важно не ограничиваться положительными публикациями. Ранние исследования часто демонстрируют многообещающие результаты, но позднее эффект может оказаться слабее, нестабильнее или ограниченным определенной подгруппой. Поэтому поиск должен быть построен так, чтобы выявлять не только подтверждающие, но и противоречивые или отрицательные данные. Для научной обоснованности важно понимать весь массив сведений, а не только наиболее благоприятные публикации.
Отдельный вопрос — использование специализированных баз данных. В генетике и онкологии большое значение могут иметь базы клинической интерпретации вариантов, базы терапевтической значимости мутаций, руководства профессиональных сообществ и экспертные классификации. В инфекционной диагностике могут использоваться документы по диагностическим алгоритмам и клиническим рекомендациям. В редких заболеваниях — регистры, экспертные сети и данные специализированных центров. Такие источники не заменяют критической оценки, но помогают уточнить, насколько признана клиническая роль аналита.
При формировании поисковой стратегии необходимо учитывать синонимы и изменения терминологии. Один и тот же ген, белок, микроорганизм, синдром или метод может обозначаться по-разному в старых и новых публикациях. В онкологии могут меняться названия маркеров и классификации опухолей. В инфекционной диагностике могут обновляться названия микроорганизмов и таксономия. В генетике могут использоваться разные форматы описания вариантов. Если эти особенности не учесть, поиск может быть неполным.
Важным элементом является период поиска. Для устоявшихся аналитов иногда достаточно сосредоточиться на современных рекомендациях и актуальных обзорах, дополняя их ключевыми первичными исследованиями. Для новых аналитов может потребоваться более полный поиск с момента появления первых данных, чтобы проследить развитие доказательной базы. В быстро меняющихся областях важно учитывать актуальность источников: данные десятилетней давности могут быть недостаточны, если изменились методы, классификации, терапевтические подходы или понимание клинической роли маркера.
Критерии включения и исключения публикаций должны соответствовать вопросу научной обоснованности. Если изделие заявлено для определенной клинической роли, публикации по другой роли могут быть включены только как поддерживающие, но не как основные. Если заявлен определенный материал, данные по другому материалу требуют отдельного обоснования. Если целевая популяция узкая, публикации по широкой или иной популяции нужно использовать осторожно. Такой подход помогает избежать ситуации, когда раздел научной обоснованности выглядит объемным, но фактически опирается на нерелевантные источники.
Отбор источников должен быть прозрачным.
Результаты поиска должны быть документированы. В доказательной документации нужно указать, какие базы и источники использовались, какие ключевые слова применялись, какой период охвачен, какие критерии включения и исключения использованы, сколько источников было найдено и какие из них включены в анализ. Но еще важнее не сама техническая фиксация поиска, а итоговая интерпретация: какие данные действительно подтверждают связь аналита с заявленной медицинской задачей, какие имеют только поддерживающее значение, а какие ограничивают вывод.
Литературный поиск при установлении научной обоснованности должен завершаться не списком публикаций, а аргументированным выводом. В этом выводе необходимо показать, подтверждена ли связь аналита с клиническим состоянием, какой тип связи установлен, в какой популяции и материале, насколько данные воспроизводимы и применимы к назначению изделия. Если данные неоднородны, ограничены или противоречивы, это должно быть отражено прямо. Такой вывод затем определяет, можно ли переходить к подтверждению аналитической и клинической эффективности в заявленном объеме или требуется дополнительное обоснование.
Итог поиска должен показывать границы имеющихся данных.
В связи с этим, литературный поиск для научной обоснованности — это не библиографическая работа “по теме”, а способ проверить клинический смысл аналита. Он должен быть достаточно широким, чтобы выявить весь значимый массив данных, и достаточно точным, чтобы не смешивать разные клинические роли, материалы и популяции. Его результатом должна стать понятная доказательная позиция: что известно о связи аналита с медицинской задачей, насколько это применимо к изделию и какие ограничения должны быть учтены в дальнейшем.
Итог главы
Литературный поиск при установлении научной обоснованности направлен на подтверждение связи аналита или иного объекта исследования с заявленной медицинской задачей. Такой поиск должен строиться и вокруг названия аналита, и вокруг клинической роли результата, типа материала, целевой популяции и правила интерпретации. Его задача — выявить надежные, актуальные и применимые источники, критически оценить их и сформулировать вывод о том, достаточно ли данных для подтверждения научной обоснованности. Сильный литературный поиск не просто собирает публикации, а показывает, какой клинический смысл имеет результат изделия и где проходят границы этого вывода.
Глава 14. Систематические обзоры в подтверждении научной обоснованности
Систематический обзор нужен не всегда, но иногда он принципиален.
Систематический обзор занимает особое место в подтверждении научной обоснованности медицинского изделия для диагностики in vitro. Его задача состоит не просто в том, чтобы собрать публикации по аналиту, а в том, чтобы показать, насколько устойчива, воспроизводима и применима связь аналита или иного объекта исследования с заявленной медицинской задачей. Если обычный литературный обзор может дать общее представление о теме, то систематический обзор должен дать проверяемый ответ на конкретный доказательный вопрос.
Для научной обоснованности это особенно важно. Связь аналита с заболеванием, прогнозом, ответом на терапию, скрининговой задачей или иной клинической ролью часто формируется не одной публикацией, а совокупностью исследований. Отдельная работа может показать статистически значимую ассоциацию, но этого недостаточно для уверенного вывода. Необходимо понять, воспроизводится ли эта связь в других исследованиях, сохраняется ли она в релевантной популяции, относится ли к заявленному материалу и не зависит ли от случайного выбора порога, метода или клинической группы.
Систематический обзор особенно полезен тогда, когда аналит находится между двумя состояниями: он уже не является полностью новым, но его клиническая роль еще требует аккуратного обоснования. Например, по маркеру может существовать несколько исследований, часть из которых показывает связь с заболеванием, а часть дает менее убедительные результаты. В такой ситуации простой набор ссылок легко становится селективным: можно выбрать только благоприятные публикации и создать впечатление доказанности. Систематический обзор снижает этот риск, потому что требует заранее заданного вопроса, прозрачной стратегии поиска, критериев включения и исключения, оценки качества источников и обобщения всех релевантных данных.
Рисунок 14.1. Логика систематического обзора при подтверждении научной обоснованности
Схема показывает, что систематический обзор должен начинаться не с поиска “всего по аналиту”, а с назначения изделия. Если изделие заявлено для диагностики, обзор должен отвечать на вопрос о диагностической связи. Если для скрининга — о пригодности аналита для первичного отбора группы, требующей подтверждения. Если для мониторинга — о связи результата с динамикой состояния или ответом на лечение. Если для выбора терапии — о предиктивной роли результата. Без такой привязки обзор может быть формально обширным, но доказательно размытым.
Не каждый раздел научной обоснованности требует полноценного систематического обзора. Для хорошо изученного аналита в стандартной клинической роли часто достаточно актуальных клинических рекомендаций, признанных систематических обзоров, консенсусных документов и ключевых источников, подтверждающих устоявшееся применение. Например, в большинстве случаев не нужно заново проводить систематический обзор связи глюкозы с нарушениями углеводного обмена или HBsAg с инфекцией вирусом гепатита B. Но если заявляется новая роль результата, новый материал, новая популяция или новый алгоритм интерпретации, необходимость более строгого обзора возрастает.
Для новых и спорных аналитов систематический обзор становится особенно важным. Он позволяет отделить устойчивую клиническую связь от предварительных или случайных находок. В биомаркерных исследованиях нередко встречаются ранние публикации с многообещающими результатами, которые затем не подтверждаются в независимых выборках. Это может быть связано с малым объемом исходного исследования, селекцией пациентов, ретроспективным дизайном, неоптимальным выбором группы сравнения, различиями в материале или публикационным смещением. Систематический обзор помогает увидеть как положительные данные, так и их ограничения.
Схема 14.1 — Когда достаточно литературного анализа, а когда желателен систематический обзор
— Хорошо изученный аналит в стандартной роли — Обычный литературный анализ может быть достаточен: Если роль подтверждена рекомендациями, консенсусом и устоявшейся практикой; Систематический обзор особенно желателен: Если есть противоречия в современных данных или изменилось назначение.
— Хорошо изученный аналит в новой роли — Обычный литературный анализ может быть достаточен: Только как предварительное обоснование; Систематический обзор особенно желателен: Нужен для оценки применимости данных к новой роли.
— Новый аналит — Обычный литературный анализ может быть достаточен: Обычно недостаточен; Систематический обзор особенно желателен: Желателен для оценки устойчивости и качества данных.
— Новый тип материала — Обычный литературный анализ может быть достаточен: Может описать общую связь аналита с состоянием; Систематический обзор особенно желателен: Нужен для оценки переноса данных на новый материал.
— Алгоритмический индекс или модель — Обычный литературный анализ может быть достаточен: Может описать клинический смысл входных параметров; Систематический обзор особенно желателен: Нужен для оценки итогового алгоритмического результата.
— Противоречивые публикации — Обычный литературный анализ может быть достаточен: Недостаточен без анализа причин расхождений; Систематический обзор особенно желателен: Нужен для системной оценки неоднородности и риска смещения.
Вопрос обзора должен быть уже, чем тема аналита.
При подготовке систематического обзора важно заранее сформулировать вопрос. В отличие от общего обзора темы, вопрос должен быть достаточно конкретным. Он должен включать аналит или объект исследования, клиническое состояние или процесс, клиническую роль результата, тип материала и целевую популяцию. Если обзор строится слишком широко, в него попадают исследования с разными задачами: диагностика, прогноз, мониторинг, выбор терапии, разные материалы, разные методы и разные пороги. Такой массив трудно интерпретировать, а вывод о научной обоснованности становится неопределенным.
Систематический поиск должен выявлять не только удобные публикации.
Следующий этап — систематический поиск. Он должен быть воспроизводимым: должны быть указаны базы данных и источники, период поиска, поисковые запросы, синонимы, критерии включения и исключения. При необходимости используются клинические рекомендации, документы профессиональных обществ, специализированные базы данных, регистры, базы генетических вариантов или базы клинической значимости молекулярных изменений. Важно, чтобы поиск выявлял благоприятные публикации, а также данные, которые ограничивают или ставят под сомнение связь аналита с заявленной задачей.
Критическая оценка отличает обзор от перечня литературы.
После отбора источников проводится критическая оценка. Именно здесь систематический обзор отличается от простого перечисления литературы. Для каждого включенного исследования нужно оценить риск смещения, применимость к назначению изделия, качество определения клинического статуса, тип материала, метод сравнения, выборку, статистическую обработку и полноту представления результатов. Исследования, формально относящиеся к одному аналиту, могут сильно отличаться по доказательной пригодности. Одни будут прямо подтверждать заявленную роль, другие — иметь только поддерживающее значение, третьи — быть неприменимыми из-за иной популяции или материала.
При такой оценке целесообразно использовать признанные методические инструменты. Для исследований диагностической точности может применяться QUADAS-2, позволяющий структурировать оценку риска смещения и применимости данных. Если сравниваются диагностические тесты между собой, может быть полезен QUADAS-C. Для прогностических или предиктивных моделей применим PROBAST. Подходы GRADE могут использоваться для оценки уверенности в совокупности доказательств, когда это уместно для поставленного вопроса. PRISMA, в свою очередь, служит ориентиром для прозрачного представления систематического обзора, включая описание поиска, отбора источников и причин исключения.
Важно и обратное: для чисто ассоциативных, когортных или механистических исследований — а именно они часто составляют основную часть литературы о новом аналите на раннем этапе, до появления полноценных диагностических исследований, — домены QUADAS-2 не рассчитаны и не должны применяться формально, поскольку в таких работах отсутствует «индексный тест» в том смысле, в котором его предполагает этот инструмент.
Рисунок 14.2. Выбор инструмента оценки качества и применимости доказательств
Эти инструменты не должны превращать раздел научной обоснованности в формальное упражнение. Они помогают сделать оценку более прозрачной, но не заменяют содержательного вывода. Главный вопрос остается прежним: подтверждают ли включенные данные связь аналита с заявленной медицинской задачей именно для того материала, популяции и клинической роли, которые указаны в назначении изделия? Если инструмент оценки качества показывает низкий риск смещения, но исследование выполнено в другой популяции или для другой роли результата, его применимость к данному изделию все равно может быть ограниченной.
Особое внимание в систематическом обзоре уделяется неоднородности данных. Исследования могут различаться по популяции, стадии заболевания, материалу, методу определения аналита, порогам, референтной рамке и конечным точкам. Такая неоднородность не всегда является недостатком: иногда она показывает, что связь аналита сохраняется в разных условиях. Но если результаты существенно расходятся, необходимо объяснить причины. Возможно, аналит имеет значение только в определенной подгруппе, только при определенном пороге, только в одном материале или только для одной клинической роли.
Метаанализ может быть полезным, но он не является обязательной частью каждого систематического обзора. В МИ ИВД исследования часто неоднородны по дизайну, материалу, порогам и референтным подходам. Если такие данные механически объединить, итоговая числовая оценка может выглядеть убедительно, но фактически скрывать методологические различия. Поэтому решение о метаанализе должно быть обосновано. Иногда качественное обобщение с подробным анализом различий между исследованиями будет более корректным, чем формальное объединение показателей.
Для научной обоснованности важен средний эффект, а также клиническая интерпретируемость связи. Если исследования показывают статистически значимую связь аналита с заболеванием, но величина эффекта мала, пороги нестабильны, популяции различаются, а клинический маршрут не определен, вывод должен быть осторожным. Напротив, если связь подтверждена в нескольких независимых работах, соответствует биологическому механизму, отражена в рекомендациях и применима к заявленному материалу и популяции, научная обоснованность будет значительно сильнее.
Отдельный вопрос возникает при оценке алгоритмических показателей и прогностических моделей. В таких случаях систематический обзор должен быть направлен не только на входные параметры, но и на итоговую модель или индекс. Если модель объединяет несколько признаков и выдает категорию риска, обзор должен оценивать, подтверждена ли клиническая значимость именно такой категории. Здесь особенно важны внешняя проверка, риск переобучения, применимость выборки разработки к реальной популяции, прозрачность модели и устойчивость результата. Именно поэтому для таких исследований полезны инструменты, ориентированные на оценку моделей, например PROBAST.
В систематическом обзоре необходимо учитывать и публикационное смещение. Положительные результаты чаще публикуются, чем отрицательные или нейтральные. Для новых биомаркеров это особенно опасно: ранний массив литературы может выглядеть более убедительно, чем он является на самом деле. Если в обзоре не рассматриваются неопубликованные данные, отрицательные исследования, малые выборки и отсутствие независимого подтверждения, вывод о научной обоснованности может быть завышен.
Заподозрить смещение публикаций можно визуальными и формальными методами (например, асимметрия funnel plot, тест Egger), применимыми при наличии достаточного числа независимых исследований для метаанализа; расчётные аспекты этих методов не рассматриваются в настоящей части и относятся к области статистического анализа совокупности доказательств.
Обзор должен завершаться выводом о научной обоснованности.
Завершаться систематический обзор должен не формальным перечислением найденных исследований, а содержательным выводом. В этом выводе необходимо указать, подтверждена ли связь аналита с клиническим состоянием или медицинской задачей, насколько она устойчива, в каких популяциях и материалах показана, какая клиническая роль результата подтверждена, каковы основные ограничения и можно ли использовать эти данные для заявленного назначения изделия. Если данные достаточны только для части назначения, это должно быть прямо указано.
Соответственно, систематический обзор в подтверждении научной обоснованности выполняет функцию фильтра и синтеза. Он помогает отделить надежные данные от предварительных, устойчивую связь от случайной ассоциации, применимые источники от нерелевантных. Его ценность не в количестве включенных публикаций, а в том, насколько ясно он показывает: имеет ли результат изделия медицинский смысл в заявленном применении и насколько уверенно это можно утверждать.
Итог главы
Систематический обзор является важным инструментом подтверждения научной обоснованности, особенно для новых, спорных или расширенно применяемых аналитов. Он позволяет оценить устойчивость связи аналита с клинической задачей, применимость данных к материалу и популяции, риск смещения, неоднородность исследований и ограничения вывода. Для прозрачного представления обзора могут использоваться ориентиры PRISMA, а для критической оценки источников — QUADAS-2, QUADAS-C, PROBAST и подходы GRADE. При этом методические инструменты не заменяют главного экспертного вопроса: подтверждает ли совокупность данных научную обоснованность аналита именно для заявленного назначения медицинского изделия для диагностики in vitro.
Глава 15. Критическая оценка и анализ данных о научной обоснованности
Критическая оценка показывает, каким данным можно доверять.
После того как источники данных найдены и отобраны, начинается один из самых важных этапов подтверждения научной обоснованности — критическая оценка. Ее задача состоит не в том, чтобы просто разделить публикации на “подходящие” и “неподходящие”, а в том, чтобы понять, насколько полученные данные действительно подтверждают связь аналита или иного объекта исследования с заявленной медицинской задачей. Для медицинского изделия для диагностики in vitro важно не только наличие публикаций, но и качество, применимость и интерпретируемость этих публикаций.
На практике раздел научной обоснованности часто ослабляется именно на этом этапе. В доказательную документацию включают большое количество источников, но не объясняют, какие из них являются ключевыми, какие имеют поддерживающее значение, какие ограничены по применимости, а какие вообще не должны использоваться для заявленного вывода. В результате раздел выглядит объемным, но неубедительным. Критическая оценка нужна для того, чтобы превратить массив литературы и иных данных в аргументированную доказательную позицию.
Даже качественное исследование может быть нерелевантным.
Первый вопрос критической оценки — относится ли источник к заявленному назначению изделия. Даже качественное исследование может быть слабым доказательством, если оно выполнено в другой популяции, на другом материале, для другой клинической роли или с другим правилом интерпретации результата. Например, исследование маркера у пациентов с уже подтвержденным заболеванием может быть полезно для понимания биологии процесса, но не обязательно подходит для обоснования скрининга бессимптомной популяции. Данные по опухолевой ткани не всегда применимы к плазме, а данные по диагностической роли биомаркера не всегда подтверждают его предиктивное значение.