Доказательная логика

Второй вопрос — насколько надежно само исследование. Здесь оцениваются дизайн, размер и структура выборки, критерии включения и исключения, способ определения клинического статуса, наличие подходящего референтного стандарта или сравнительного подхода, качество статистического анализа, полнота представления результатов и риск систематической ошибки. Исследование может быть релевантным по теме, но слабым по методологии. В таком случае оно не должно нести основную доказательную нагрузку.

Рисунок 15.1. Логика критической оценки данных о научной обоснованности

Рисунок 15.1 показывает, что критическая оценка должна идти в двух направлениях одновременно. С одной стороны, нужно оценить внутреннее качество исследования. С другой — его применимость к конкретному изделию. Высококачественное исследование, выполненное в нерелевантной популяции, не может автоматически подтверждать заявленное назначение. И наоборот, исследование, близкое к нужной клинической задаче, но методологически слабое, может иметь только поддерживающий вес.

Риск смещения и применимость нужно оценивать отдельно.

Одним из центральных понятий критической оценки является риск смещения. Смещение возникает тогда, когда дизайн или выполнение исследования систематически искажает результат. Например, если в исследование включены только очевидно положительные и очевидно отрицательные случаи, оценка связи аналита с состоянием может выглядеть более убедительной, чем в реальной клинической популяции. Если клинический статус установлен не у всех участников одинаково, возникает риск неправильной классификации. Если порог интерпретации выбран после просмотра данных, результат может быть переоценен. Если исследование выполнено только в одном центре и не проверено независимо, его переносимость может быть ограничена.

Для исследований диагностической точности особенно важно, как определен референтный стандарт. Если референтный подход сам неточен, неполон или зависит от результата оцениваемого теста, вывод о связи аналита с клиническим состоянием становится менее надежным. В МИ ИВД это встречается часто: не для всех состояний существует идеальный “золотой стандарт”. В микробиологии, онкологии, генетике, редких заболеваниях и скрининговых программах референтная рамка может быть составной, включать клиническое наблюдение, экспертное заключение, подтверждающий метод или комбинацию данных. Это допустимо, но должно быть описано и оценено.

Особое значение имеет применимость данных. Исследование может быть методологически сильным, но относиться к иной медицинской ситуации. Например, данные о диагностической точности теста у госпитализированных пациентов с высокой вероятностью заболевания не всегда применимы к амбулаторной популяции. Данные по взрослым не всегда применимы к новорожденным. Данные по свежему материалу не всегда применимы к архивному. Данные по одной версии алгоритма не всегда применимы к другой. Поэтому применимость должна оцениваться отдельно от методологического качества.

Для структурированной оценки качества могут использоваться признанные инструменты. Они не заменяют анализа, но помогают сделать его прозрачным и воспроизводимым. В исследованиях диагностической точности часто применяется QUADAS-2. Если сравниваются два или более диагностических теста, может быть полезен QUADAS-C. Для прогностических и предиктивных моделей применяется PROBAST. Для оценки уверенности в совокупности доказательств могут использоваться подходы GRADE. Эти инструменты особенно полезны, когда раздел научной обоснованности опирается на несколько исследований разного качества.

Схема 15.1 — Инструменты критической оценки данных

— QUADAS-2 — Для чего применяется: Оценка исследований диагностической точности; Как помогает при оценке научной обоснованности: Помогает оценить риск смещения и применимость данных по пациентам, индексному тесту, референтному стандарту и потоку исследования.

— QUADAS-C — Для чего применяется: Оценка сравнительных исследований диагностических тестов; Как помогает при оценке научной обоснованности: Помогает оценить данные, где важно сравнить один диагностический подход с другим.

— PROBAST — Для чего применяется: Оценка прогностических и предиктивных моделей; Как помогает при оценке научной обоснованности: Полезен для алгоритмов, индексов риска, прогностических моделей и предиктивных инструментов.

— GRADE — Для чего применяется: Оценка уверенности в совокупности доказательств; Как помогает при оценке научной обоснованности: Помогает оценить общую надежность вывода с учетом риска смещения, непрямоты, неоднородности, неточности и публикационного смещения.

— PRISMA — Для чего применяется: Прозрачное представление систематического обзора; Как помогает при оценке научной обоснованности: Помогает описать поиск, отбор, исключение источников и структуру обзора, но не является инструментом оценки качества.

Важно понимать границы применения этих инструментов. QUADAS-2 не отвечает на вопрос, является ли аналит клинически значимым сам по себе; он помогает оценить качество исследований диагностической точности. PROBAST не доказывает медицинскую ценность модели; он помогает выявить риск смещения в разработке и проверке прогностической или предиктивной модели. GRADE не заменяет содержательный вывод эксперта; он помогает оценить уверенность в совокупности доказательств. Поэтому инструменты должны использоваться как способ структурировать критическую оценку, а не как механическая процедура.

Тип клинической роли меняет критерии оценки.

Критическая оценка должна учитывать тип клинической связи. Для диагностической роли важны популяция пациентов, референтный стандарт, спектр заболевания и контрольные группы. Для скрининговой роли — распространенность состояния, последствия ложноположительных и ложноотрицательных результатов, подтверждающий маршрут и пригодность данных для первичного отбора. Для мониторинговой роли — динамика показателя, воспроизводимость изменений и связь с клиническим течением. Для прогностической роли — связь с исходами и длительность наблюдения. Для предиктивной роли — связь результата с ответом на конкретное вмешательство.

Например, исследование, показывающее различие уровня маркера между пациентами с заболеванием и здоровыми лицами, может быть полезным для первичного понимания диагностической связи. Но оно не доказывает прогностическую роль, если в нем не оценивались исходы. Оно не доказывает предиктивную роль, если не было данных о терапии и ответе на нее. Оно не доказывает мониторинговую роль, если не анализировалась динамика. Поэтому критическая оценка всегда должна сопоставлять дизайн исследования с той ролью результата, которая заявлена для изделия.

Для новых аналитов критическая оценка особенно важна. Ранние исследования часто завышают эффект. Это может происходить из-за малой выборки, ретроспективного отбора, отсутствия внешней проверки, публикационного смещения, использования удобных контрольных групп или выбора порога после анализа данных. В таких случаях связь аналита с состоянием может выглядеть убедительно, но при независимой проверке оказывается слабее. Поэтому для новых маркеров следует особенно внимательно оценивать независимость подтверждения и воспроизводимость результатов.

Для хорошо изученных аналитов критическая оценка тоже необходима, но ее акцент иной. Здесь обычно не нужно заново доказывать базовую связь аналита с состоянием. Важнее оценить, не выходит ли заявленное назначение изделия за пределы признанного применения. Если изделие использует хорошо известный аналит в новой популяции, новом материале, новом клиническом сценарии или с новым алгоритмом интерпретации, даже хорошо установленная научная обоснованность требует дополнительной оценки применимости.

Противоречия нельзя игнорировать

Противоречивые данные требуют отдельного анализа. Если одни исследования подтверждают связь аналита с клинической задачей, а другие нет, нельзя просто выбрать наиболее удобные источники. Нужно понять, чем они различаются. Возможно, в них использовались разные материалы, разные пороги, разные стадии заболевания, разные критерии клинического статуса или разные методы определения аналита. Иногда противоречия показывают, что аналит имеет значение только в определенной подгруппе. Иногда — что связь недостаточно устойчива для заявленного применения.

Неоднородность данных сама по себе не всегда является недостатком. Если разные исследования в разных условиях дают сходные результаты, это может усиливать уверенность в научной обоснованности. Но если результаты расходятся, а причины неоднородности неясны, вывод должен быть осторожным. Особенно опасно объединять неоднородные данные в один общий вывод без объяснения различий. Для МИ ИВД это критично, потому что материал, популяция и клиническая роль результата непосредственно влияют на интерпретацию.

Схема 15.2 — Типовые ограничения данных о научной обоснованности

— Нерелевантная популяция — Как проявляется: Данные получены у другой группы пациентов или обследуемых лиц; Как влияет на вывод: Ограничивает переносимость вывода на заявленную популяцию.

— Иной тип материала — Как проявляется: Исследован другой биологический материал или формат данных; Как влияет на вывод: Требует обоснования переноса научной обоснованности.

— Другая клиническая роль — Как проявляется: Данные относятся к диагностике, а изделие заявлено для прогноза, мониторинга или выбора терапии; Как влияет на вывод: Не подтверждает заявленную роль результата.

— Малый объем выборки — Как проявляется: Исследование включает небольшое число случаев; Как влияет на вывод: Повышает неопределенность и риск случайного эффекта.

— Отсутствие независимого подтверждения — Как проявляется: Связь показана только в одной группе или одном центре; Как влияет на вывод: Снижает уверенность в воспроизводимости.

— Неясный референтный подход — Как проявляется: Клинический статус установлен неполно или неодинаково; Как влияет на вывод: Ослабляет достоверность связи аналита с состоянием.

— Выбор порога после анализа данных — Как проявляется: Порог определен ретроспективно по лучшему результату; Как влияет на вывод: Может завышать диагностическую или прогностическую ценность.

— Публикационное смещение — Как проявляется: Доступны преимущественно положительные исследования; Как влияет на вывод: Может создавать ложное впечатление устойчивой связи.

— Источник финансирования и конфликт интересов — Как проявляется: Исследование профинансировано производителем оцениваемого изделия или заинтересованной стороной, конфликт интересов авторов не раскрыт; Как влияет на вывод: Может создавать систематический сдвиг в сторону благоприятного результата.

— Устаревшие данные — Как проявляется: Изменились классификации, методы, клинические маршруты или терапия; Как влияет на вывод: Требует проверки актуальности вывода.

Критическая оценка должна завершаться описанием ограничений, а также определением доказательного веса источников. Одни источники могут быть основными, потому что прямо относятся к назначению изделия и имеют хорошее качество. Другие могут быть поддерживающими: они помогают понять механизм, контекст или общую клиническую роль, но не закрывают ключевой вопрос. Третьи могут быть ограниченными и использоваться только с оговорками. Некоторые источники после анализа должны быть признаны неприменимыми к заявленному назначению.

Такой подход особенно важен при подготовке итогового вывода о научной обоснованности. Вывод должен быть соразмерен силе данных. Если связь подтверждена надежными и применимыми источниками, можно формулировать уверенный вывод. Если данные ограничены, неоднородны или относятся только к части назначения, вывод должен быть ограниченным. Если данные предварительные, противоречивые или неприменимые, раздел научной обоснованности не должен создавать видимость доказанности.

Для алгоритмических и программных изделий критическая оценка должна дополнительно учитывать данные, на которых разрабатывался и проверялся алгоритм. Если итоговый результат формируется моделью, необходимо оценить, была ли выборка разработки репрезентативной, отделены ли данные обучения от данных проверки, была ли внешняя валидация, нет ли переобучения, как алгоритм работает в пограничных случаях и применим ли он к реальной популяции. Здесь особенно полезны инструменты оценки прогностических и предиктивных моделей, но итоговый вопрос остается тем же: имеет ли алгоритмический результат доказанный клинический смысл для заявленного применения.

Оценка должна завершаться определением доказательного веса.

Критическая оценка данных о научной обоснованности должна быть прозрачной. В доказательной документации желательно указать источники, а также показать, почему одни из них признаны ключевыми, другие — поддерживающими, а третьи — ограниченными. Такая прозрачность облегчает экспертную оценку и снижает риск спора о том, почему конкретные публикации были включены или исключены из доказательного вывода.

В конечном счете критическая оценка нужна для того, чтобы не завысить и не занизить научную обоснованность. Завышение возникает, когда предварительные или косвенные данные подаются как окончательное доказательство. Занижение — когда хорошо установленные данные необоснованно требуют повторного доказательства. Задача состоит в балансе: признать то, что уже надежно известно, показать применимость этих данных к назначению изделия и честно обозначить вопросы, которые требуют дополнительного подтверждения.

Итог главы

Критическая оценка данных о научной обоснованности позволяет определить, насколько надежно и применимо подтверждена связь аналита с заявленной медицинской задачей. Она включает оценку риска смещения, качества дизайна, релевантности популяции и материала, референтного подхода, независимости подтверждения, неоднородности и противоречий. Инструменты QUADAS-2, QUADAS-C, PROBAST, GRADE и PRISMA помогают структурировать эту работу, но не заменяют экспертного вывода о применимости данных к назначению конкретного медицинского изделия для диагностики in vitro. Сильный раздел научной обоснованности должен не просто перечислять источники, а показывать их доказательный вес, ограничения и границы итогового вывода.

Глава 16. Документирование научной обоснованности в составе доказательной документации

Документирование должно показывать логику вывода.

Документирование научной обоснованности является завершающим этапом работы с первым элементом клинических доказательств медицинского изделия для диагностики in vitro. На предыдущих этапах устанавливается, что представляет собой аналит или иной объект исследования, с каким клиническим состоянием или медицинской задачей он связан, какие источники подтверждают эту связь, насколько они надежны и применимы. В доказательной документации все это должно быть представлено не как набор разрозненных ссылок, а как связная аргументация.

Главная задача раздела о научной обоснованности состоит в том, чтобы показать, почему результат изделия имеет медицинский смысл в пределах заявленного назначения. Поэтому такой раздел должен начинаться не с перечня публикаций и не с описания метода, а с ясного указания на назначение изделия и клиническую роль результата. Только после этого можно обоснованно объяснять, какие данные подтверждают связь аналита с соответствующим состоянием, процессом или медицинской задачей.

На практике слабость раздела о научной обоснованности часто связана с неправильной последовательностью изложения. Сначала приводится обзор литературы, затем перечисляются характеристики метода, затем делается общий вывод о клинической значимости аналита. Но при этом остается неясным, относится ли эта литература к заявленному назначению изделия, тому же материалу, той же популяции и той же клинической роли. Такой раздел может выглядеть объемным, но не выполнять доказательную функцию.

Сначала назначение, затем аналит и клиническая роль.

Правильная логика обратная. Сначала нужно определить, что именно заявлено для изделия. Затем — какой аналит или объект исследования лежит в основе результата. Далее — какую клиническую роль выполняет этот результат. После этого — какие источники подтверждают соответствующую связь. И только затем — насколько эти источники надежны, применимы и достаточны для вывода.

Рисунок 16.1. Документирование научной обоснованности как доказательная линия

Рисунок 16.1 показывает, что документирование научной обоснованности должно быть построено как доказательная линия. Если из нее выпадает хотя бы одно звено, вывод становится уязвимым. Например, можно хорошо описать связь аналита с заболеванием, но не указать, что изделие заявлено для мониторинга, а не для диагностики. Можно привести качественные публикации по сыворотке, но не объяснить, почему они применимы к сухому пятну крови. Можно показать клиническое значение входных параметров алгоритма, но не обосновать итоговый индекс или категорию риска.

Раздел должен описывать не только аналит, но и его клиническую роль.

Раздел о научной обоснованности должен ясно описывать аналит или иной объект исследования. Для классических лабораторных тестов это может быть белок, гормон, метаболит, антиген, антитело, нуклеиновая кислота, микроорганизм или генетический вариант. Для морфологических и цифровых изделий объектом может быть клеточный признак, зона окрашивания, структура изображения или количественный морфометрический показатель. Для алгоритмических изделий объектом доказательной оценки может быть вычисляемый индекс, категория риска, автоматическая классификация или иной результат программной обработки.

Важно не ограничиваться названием аналита. Нужно объяснить, почему именно этот объект связан с медицинской задачей. Например, если изделие определяет инфекционный маркер, следует показать, что его обнаружение имеет смысл в данном материале и клиническом сценарии. Если изделие определяет онкологический биомаркер, необходимо указать, является ли его роль диагностической, прогностической, предиктивной или мониторинговой. Если изделие формирует алгоритмический вывод, нужно показать, что именно итоговая категория результата имеет клиническое значение.

Следующий элемент — описание клинической роли результата. Это один из наиболее важных фрагментов раздела. Формулировка “аналит связан с заболеванием” недостаточна. Необходимо указать, используется ли результат для подтверждения или исключения состояния, первичного скрининга, мониторинга динамики, прогноза, выбора терапии, стратификации риска или маршрутизации пациента. Если клиническая роль не определена, невозможно оценить, достаточны ли приведенные источники.

Для хорошо изученного аналита раздел научной обоснованности может быть относительно компактным, но не формальным. В нем достаточно показать, что клиническая роль аналита устоялась, подтверждена рекомендациями, систематическими обзорами, консенсусными документами или длительной практикой. Однако даже в такой ситуации нужно обязательно указать, что заявленное назначение изделия не выходит за пределы этой устоявшейся роли. Если выходит, требуется дополнительное обоснование.

Для нового или недостаточно изученного аналита раздел должен быть более развернутым. В нем необходимо описать литературный поиск, источники данных, характер связи аналита с состоянием, качество исследований, воспроизводимость результатов, противоречия, ограничения и применимость к заявленному назначению. В таком случае простого утверждения о перспективности маркера недостаточно. Нужно показать, что связь имеет достаточную доказательную опору для той роли, которую изделие должно выполнять.

Источники должны быть представлены как доказательные блоки

Особое внимание следует уделять источникам данных. В разделе научной обоснованности они должны быть представлены не как библиографический список, а как доказательные блоки. Одни источники могут подтверждать биологическую основу связи, другие — клиническую роль результата, третьи — значение порога или правила интерпретации, четвертые — применимость к конкретной популяции или материалу. Такая группировка делает текст понятным и позволяет увидеть, какие элементы научной обоснованности подтверждены сильнее, а какие слабее.

Например, для скринингового изделия часть источников может подтверждать связь маркера с заболеванием, другая часть — значение раннего выявления, третья — правила первичного отбора и подтверждающего этапа. Для изделия, связанного с выбором терапии, одни источники могут подтверждать биологическую роль маркера, другие — связь с ответом на препарат, третьи — клинические рекомендации по использованию результата. Для алгоритмического изделия нужно отдельно показать источники по входным параметрам и источники по итоговому алгоритмическому выводу.

Применимость данных нужно показать явно.

Документирование научной обоснованности обязательно должно включать оценку применимости данных. Это означает, что для каждого ключевого блока источников нужно показать, насколько он относится к заявленному материалу, популяции, клинической роли и правилу интерпретации. Если данные полностью соответствуют назначению изделия, это следует указать. Если они отличаются, необходимо объяснить, почему перенос допустим или почему вывод должен быть ограничен.

Типичный пример — перенос данных между материалами. Публикации по сыворотке не всегда подтверждают применение в плазме, сухом пятне крови, моче, кале или тканевом материале. Данные по опухолевой ткани не всегда применимы к циркулирующей опухолевой ДНК. Данные по стерильному локусу не равны данным по нестерильному локусу. Если такие различия есть, они должны быть прямо отражены в разделе научной обоснованности.

То же касается популяции. Если данные получены у пациентов с выраженной клинической картиной, а изделие заявлено для скрининга бессимптомных лиц, применимость источников ограничена. Если данные получены у взрослых, а изделие заявлено для новорожденных или детей, нужно дополнительное обоснование. Если исследования выполнены у пациентов до лечения, а изделие используется для мониторинга терапии, это также требует отдельного анализа.

Для количественных и пороговых тестов необходимо документировать и связь аналита с состоянием, и клинический смысл порога или диапазона. Если результат интерпретируется как положительный, отрицательный, пограничный или требующий повторного исследования, раздел научной обоснованности должен объяснять, почему такое правило интерпретации имеет медицинский смысл. Порог не должен выглядеть как чисто техническая настройка, если именно от него зависит клиническое действие.