Доказательная логика

Глава 4. Доказательная модель оценки медицинских изделий для диагностики in vitro

Доказательства должны складываться в систему.

Доказательная оценка медицинского изделия для диагностики in vitro строится не вокруг одного исследования и не вокруг одного числового показателя. Она представляет собой последовательное обоснование того, что результат изделия имеет медицинский смысл, получается надежно и может использоваться в заявленном клиническом сценарии. Поэтому в центре оценки находится не только технология, а связь между назначением изделия, определяемым объектом, аналитической работой изделия и клиническим значением результата.

В практике нередко возникает соблазн упростить эту логику. Если аналит давно известен и включен в клинические рекомендации, кажется, что изделие уже достаточно обосновано. Если метод показывает хорошую воспроизводимость и низкий предел обнаружения, может возникнуть впечатление, что его клиническая пригодность очевидна. Если в испытании получены высокие чувствительность и специфичность, иногда считают, что все вопросы доказательной базы закрыты. Однако для изделий диагностики in vitro такие упрощения опасны. Каждый из этих элементов отвечает только на свой вопрос и не заменяет остальные.

Три вопроса доказательной оценки.

Именно поэтому современная доказательная модель МИ ИВД обычно рассматривается через три взаимосвязанных блока: научную обоснованность, аналитическую эффективность и клиническую эффективность. Они образуют единую цепочку, но каждый блок имеет самостоятельное значение.

Рисунок 4.1. Три элемента доказательной модели

Первый элемент — научная обоснованность — относится к смыслу самого объекта исследования. Если изделие определяет вирусный антиген, генетический вариант, концентрацию биохимического показателя, клеточную характеристику, морфологический признак или вычисляемый индекс, необходимо показать, что этот объект связан с заболеванием, физиологическим или патологическим процессом, риском состояния, прогнозом, ответом на лечение или иной медицинской задачей. Без такой связи результат остается лабораторным фактом, но не становится клиническим доказательством.

Например, можно разработать очень точный метод измерения нового белкового маркера. Но если не показано, что этот маркер устойчиво связан с конкретным заболеванием или клиническим решением, аналитическая точность метода не создает медицинской ценности. В этом смысле научная обоснованность предшествует всем последующим действиям. Она отвечает на вопрос: зачем вообще определять этот объект у пациента или в образце.

Второй элемент — аналитическая эффективность — относится уже не к самому аналиту как клиническому явлению, а к конкретному изделию. Даже если аналит хорошо известен и давно используется в медицине, каждое новое изделие должно показать, что оно надежно получает результат. Для количественного теста это может включать правильность, прецизионность, диапазон измерений, предел количественного определения и прослеживаемость. Для качественного теста особенно важны предел обнаружения, специфичность, устойчивость вблизи порога и поведение слабоположительных образцов. Для молекулярного теста — способность выявлять заявленные варианты, устойчивость к матриксным влияниям, интерференции и риск ложного результата. Для программного изделия — корректность вычислительной обработки, версия алгоритма и устойчивость классификации.

Здесь важно не смешивать клиническую значимость аналита с работой конкретного изделия. То, что вирусная нагрузка имеет значение для мониторинга инфекции, еще не доказывает, что конкретная тест-система правильно измеряет ее во всем заявленном диапазоне. То, что мутация имеет значение для выбора терапии, еще не доказывает, что конкретный молекулярный тест надежно обнаруживает ее в заявленном типе опухолевого материала. Аналитическая эффективность должна быть подтверждена именно для оцениваемого изделия и именно в тех условиях, в которых оно будет применяться.

Третий элемент — клиническая эффективность (clinical performance) — связывает результат конкретного изделия с заявленным клиническим состоянием, физиологическим или патологическим процессом либо иной медицински значимой характеристикой. На этом уровне оценивается уже не только способность изделия получить аналитический сигнал, категорию или числовое значение, а способность результата выполнять заявленную клиническую функцию.

Конкретное содержание клинической эффективности определяется назначением изделия. Для диагностического теста это может быть способность правильно классифицировать наличие или отсутствие определенного состояния. Для скринингового изделия — способность выявлять лиц, требующих дальнейшего обследования, с учетом характеристик целевой популяции и предусмотренного подтверждающего маршрута. Для мониторингового изделия — способность результата надежно отражать клинически значимое изменение во времени. Для изделия, результат которого используется при выборе терапии, клиническая эффективность должна оцениваться применительно к заявленной предиктивной роли соответствующего результата.

Клиническая эффективность и клиническая польза

Клиническую эффективность (clinical performance) следует отличать от понятия клинической пользы (clinical utility, clinical benefit). Клиническая эффективность характеризует способность результата изделия быть связанным с определенным клиническим состоянием, физиологическим или патологическим процессом либо иной медицинской характеристикой в соответствии с назначением изделия. Клиническая польза относится к более широкому вопросу о последствиях использования полученной диагностической информации в медицинской практике: влияет ли результат на последующее обследование, выбор или изменение лечения, маршрутизацию пациента либо иной элемент медицинской помощи и какое значение имеет такое использование для пациента или системы здравоохранения.

Эти понятия взаимосвязаны, но не тождественны. Доказательство клинической пользы не следует рассматривать как универсальный самостоятельный четвертый этап оценки эффективности каждого медицинского изделия для диагностики in vitro. Необходимость и характер ее оценки определяются назначением изделия, клинической ролью результата и применимой регуляторной рамкой.

Эти три элемента связаны между собой через назначение изделия. Назначение определяет, какой аналит или объект исследования оценивается, в каком материале, у какой популяции, каким пользователем и для какого клинического решения. Поэтому доказательная модель не является абстрактной схемой. Она всегда применяется к конкретному изделию и конкретному заявленному применению.

На практике доказательная модель помогает увидеть разрывы, которые иначе могут остаться скрытыми. Например, в досье могут быть хорошие публикации о клиническом значении маркера и убедительные аналитические данные по изделию, но отсутствовать клинические данные, относящиеся к заявленной популяции. В другом случае клинико-лабораторное испытание может быть проведено качественно, но только на одном типе материала, тогда как инструкция заявляет несколько материалов. В третьем случае изделие может быть испытано в одной версии программного обеспечения, а в регистрационных материалах фигурирует уже другая версия алгоритма, способная изменить классификацию результата.

Один тип доказательств не заменяет другой.

Такие ситуации не всегда означают, что изделие непригодно. Но они показывают, что доказательная линия неполна или требует ограничения. В сильной доказательной базе каждый блок выполняет свою функцию. Литература и рекомендации могут подтверждать научную обоснованность. Аналитические исследования подтверждают способность конкретного изделия получать результат. Клинические и клинико-лабораторные испытания показывают пригодность результата в заявленном клиническом сценарии. Данные реальной практики могут поддерживать устойчивость выводов после внедрения. Но эти источники нельзя просто сложить в один массив. Нужно показать, какой вопрос закрывает каждый источник и как все они вместе поддерживают назначение изделия.

Схема 4.1 — Что доказывает каждый элемент доказательной модели

— Научная обоснованность — Что подтверждает: Клинический смысл аналита или объекта исследования; Чем не является: Не доказывает работу конкретного изделия.

— Аналитическая эффективность — Что подтверждает: Надежность получения результата конкретным изделием; Чем не является: Не доказывает автоматически клиническую пригодность результата.

— Клиническая эффективность — Что подтверждает: Способность результата конкретного изделия отражать заявленное клиническое состояние или иную медицински значимую характеристику и выполнять предусмотренную назначением клиническую функцию; Чем не является: Не заменяет научную обоснованность и аналитические данные, е тождественна клинической пользе.

— Данные реальной практики — Что подтверждает: Поведение изделия после внедрения и устойчивость выводов; Чем не является: Не исправляют слабый исходный дизайн испытаний.

— Итоговый отчет по клиническим доказательствам — Что подтверждает: Связь всех доказательных блоков с назначением изделия; Чем не является: Не должен расширять выводы за пределы данных.

Объем и характер клинических доказательств зависят от назначения изделия, клинической роли результата и связанных с ошибочным результатом рисков. Для изделия с ограниченной вспомогательной ролью достаточный объем данных может быть относительно небольшим. Для изделия, результат которого используется при выборе терапии, скрининге тяжелого состояния, обеспечении безопасности донорского материала или принятии иного критически значимого решения, доказательная нагрузка, как правило, существенно выше.

Вывод не может быть шире доказательств.

При этом модель не требует одинакового набора исследований для всех изделий. Она требует другого: чтобы объем и характер доказательств соответствовали назначению и риску. Если доказательства получены косвенно, нужно обосновать их применимость. Если использованы архивные образцы или специальные панели, нужно показать их роль и ограничения. Если часть заявленного назначения не покрыта данными, это должно быть отражено в выводе, инструкции или плане дополнительных исследований.

Итогом доказательной оценки должен быть не перечень положительных результатов, а обоснованный вывод о достаточности клинических доказательств. Такой вывод должен быть привязан к назначению изделия: для какого аналита, материала, популяции, пользователя, условий применения, версии изделия и клинической роли результат можно считать подтвержденным. Если эта привязка отсутствует, даже большой объем данных может не образовывать убедительной доказательной базы.

Итог главы

Доказательная модель оценки медицинского изделия для диагностики in vitro строится на трех взаимосвязанных элементах: научной обоснованности, аналитической эффективности и клинической эффективности. Эти элементы отвечают на разные вопросы и не заменяют друг друга. Научная обоснованность показывает, почему определяемый аналит или иной объект исследования имеет медицинское значение. Аналитическая эффективность подтверждает способность конкретного изделия надежно получать заявленный результат. Клиническая эффективность характеризует связь результата конкретного изделия с заявленным клиническим состоянием или иной медицински значимой характеристикой и его способность выполнять предусмотренную назначением клиническую функцию. Сильная доказательная база возникает тогда, когда все три элемента согласованы с назначением изделия и поддерживают вывод в пределах фактически подтвержденного применения.

Глава 5. Жизненный цикл медицинского изделия для диагностики in vitro

Доказательства не заканчиваются регистрацией.

Жизненный цикл медицинского изделия для диагностики in vitro охватывает весь путь изделия: от первоначальной идеи и формулирования назначения до разработки, испытаний, регистрации, внедрения в практику, пострегистрационного наблюдения, внесения изменений и прекращения обращения. Для доказательной оценки это имеет принципиальное значение. Клинические доказательства не возникают одномоментно в конце разработки и не исчерпываются одним отчетом. Они формируются, уточняются, поддерживаются и при необходимости пересматриваются на протяжении всего периода существования изделия.

На раннем этапе жизненного цикла ключевым решением становится формулирование назначения изделия. Именно здесь определяется, какой аналит или иной объект исследования будет определяться, в каком клиническом материале, для какой популяции, каким пользователем, в каких условиях и для какого медицинского решения. Если назначение сформулировано слишком широко или неопределенно, последующая доказательная работа становится уязвимой. Программа испытаний может не охватить все заявленные сценарии, аналитические характеристики могут быть выбраны без учета реального риска, а клинические данные могут оказаться неприменимыми к тому использованию, которое указано в документации.

Эта проблема часто проявляется не сразу. На этапе разработки широкая формулировка назначения может казаться удобной: она оставляет изделию больше возможностей для применения. Но при подготовке программы испытаний становится ясно, что каждое расширение назначения требует доказательств. Если изделие заявлено для нескольких типов материала, нужно показать применимость к каждому из них или обосновать перенос данных. Если изделие предназначено для разных клинических ролей, например для диагностики и мониторинга, доказательная база должна поддерживать обе роли. Если изделие включает программный модуль, влияющий на результат, его версия и функция также становятся частью доказательной идентичности изделия.

Рисунок 5.1. Жизненный цикл МИ ИВД

На каждом этапе нужны свои доказательства.

На этапе разработки формируется техническая и аналитическая основа изделия. Производитель выбирает принцип метода, реагенты, калибраторы, контрольные материалы, приборную часть, программное обеспечение, правила интерпретации результата и критерии пригодности клинического материала. Уже здесь будущая доказательная база начинает приобретать форму. Например, выбор порога для качественного теста определит, какие образцы должны быть включены в оценку пороговой зоны. Выбор диапазона измерений для количественного теста определит, какие уровни аналита должны быть подтверждены. Выбор алгоритма обработки данных определит, какие входные данные и какие версии программного компонента должны быть испытаны.

Далее жизненный цикл переходит к подтверждению научной обоснованности. На этом этапе устанавливается, почему выбранный аналит или объект исследования имеет клинический смысл. Для хорошо изученного аналита эта часть доказательной базы может опираться на литературу, клинические рекомендации, систематические обзоры и устоявшуюся практику. Например, клиническое значение глюкозы при нарушениях углеводного обмена или HBsAg при вирусном гепатите B не требует полного доказательства заново. Но даже в таких случаях необходимо показать, что изделие использует известную связь именно в том назначении, которое заявлено. Если же речь идет о новом маркере, новом алгоритмическом индексе или новом клиническом применении известного аналита, научная обоснованность может потребовать отдельного анализа и дополнительных данных.

После этого подтверждается аналитическая эффективность. Здесь оценивается, способно ли конкретное изделие надежно получать результат. Для одного изделия критически важным будет предел обнаружения, для другого — правильность и прослеживаемость измерений, для третьего — устойчивость классификации около порога, для четвертого — интерференция, стабильность или воспроизводимость между сериями. В жизненном цикле аналитическая эффективность не должна пониматься как формальное испытание один раз и навсегда. Если позднее меняются реагенты, калибраторы, приборная часть, алгоритм обработки или условия применения, необходимо оценить, сохраняют ли прежние аналитические данные свою применимость.

Клиническая эффективность подтверждает пригодность результата для заявленного медицинского применения. На этом этапе результат изделия соотносится с клиническим статусом, сравнительным методом, референтной рамкой, клиническим маршрутом или иной основой интерпретации. Для диагностического теста это может быть подтверждение способности различать наличие и отсутствие состояния. Для скринингового изделия — способность правильно выделять группу, требующую дальнейшего подтверждения. Для мониторингового изделия — пригодность результата для оценки динамики. Для изделия, влияющего на выбор терапии, — способность результата поддерживать соответствующее лечебное решение.

Регистрация и ввод изделия в обращение не завершают жизненный цикл доказательств. Они фиксируют, что на момент оценки представленные данные признаны достаточными для заявленного применения. Но после внедрения изделие начинает работать в более разнообразной среде, чем та, которая была представлена в испытаниях. Меняются лаборатории, пользователи, структура поступающих образцов, частота пограничных результатов, клинические маршруты, методы сравнения и иногда само понимание клинической роли аналита. Поэтому пострегистрационное наблюдение не является только административной обязанностью. Оно позволяет проверять, сохраняется ли доказательная база в реальных условиях применения.

Особенно отчетливо это видно на примере изделий для скрининга. В рамках испытаний может быть показано, что тест надежно работает на выбранной выборке. Но после внедрения в массовую программу появляются реальные вариации: неодинаковое качество образцов, разные сроки транспортировки, неоднородность популяции, изменение распространенности состояния, ошибки пользователя, повторные исследования, пограничные результаты. Эти данные важны для контроля качества, а также для понимания того, насколько исходная доказательная конструкция сохраняется в практике.

Еще более чувствительным становится жизненный цикл программных и алгоритмических изделий. В традиционной реагентной системе значимое изменение часто связано с составом реагента, калибратором, прибором или инструкцией. В программной системе клинически значимое изменение может возникнуть при обновлении версии алгоритма, изменении фильтрации данных, обновлении базы вариантов, корректировке правила классификации, изменении порога или формата отчета. Лабораторная часть изделия может остаться прежней, но итоговый клинический вывод изменится. Поэтому версия программного обеспечения должна рассматриваться не как техническая мелочь, а как элемент доказательной идентичности изделия.

Доказательная идентичность изделия — совокупность характеристик медицинского изделия для диагностики in vitro , определяющих применимость полученных для него доказательств. К ним относятся назначение изделия, определяемый аналит или иной объект исследования, состав и конфигурация изделия, тип клинического материала, целевая популяция, предполагаемый пользователь, условия применения, правила формирования и интерпретации результата, а для изделий с программным компонентом — также версия программного обеспечения, алгоритма, базы знаний и иные элементы, изменение которых способно повлиять на клинически значимый результат.

Изменение элемента доказательной идентичности не означает автоматически необходимости проведения нового клинико-лабораторного испытания. Оно означает необходимость документированно оценить, сохраняется ли применимость ранее полученных доказательств к измененному изделию.

Рисунок 5.2. Доказательная идентичность изделия

Если один из этих элементов существенно изменяется, необходимо оценить, сохраняется ли связь между ранее полученными доказательствами и фактически обращающимся изделием.

Изменение изделия может изменить доказательства.

Изменения в жизненном цикле могут быть разными по значимости. Одни изменения не влияют на клинически значимый результат и могут быть подтверждены техническим обоснованием. Другие затрагивают аналитическую работу изделия или интерпретацию результата и требуют дополнительной проверки. Третьи фактически расширяют назначение изделия и потому требуют новой доказательной базы. Например, добавление нового типа материала, переход от лабораторного применения к применению у постели пациента, расширение популяции на бессимптомных лиц или изменение алгоритма классификации не должны автоматически считаться техническими уточнениями. Каждое из таких изменений может изменить риск и доказательные требования.

При изменении назначения особенно важно не переносить прежние доказательства механически. Если изделие было подтверждено для диагностики у пациентов с симптомами, это не означает, что оно автоматически пригодно для скрининга бессимптомной популяции. Если тест был испытан на сыворотке, это не подтверждает без дополнительного анализа применение в сухом пятне крови или тканевом материале. Если алгоритм был обучен и проверен на данных одной лаборатории, его перенос в другую среду может потребовать внешней проверки. Жизненный цикл тем самым постоянно возвращает оценку к исходному вопросу: относятся ли имеющиеся доказательства к текущему применению изделия?

Научное понимание аналита также может меняться. Для ряда маркеров со временем уточняется клиническая роль, появляются новые рекомендации, меняются пороговые значения, выявляются новые интерференты, пересматриваются критерии классификации вариантов или обновляются представления о значимости биомаркера для терапии. В таких случаях даже неизменное изделие может оказаться в новой доказательной ситуации. Оно продолжает технически работать так же, но клинический смысл результата или правила его интерпретации могут измениться. Поэтому жизненный цикл включает контроль физического изделия, а также наблюдение за изменением научного и клинического контекста.

В рамках системы менеджмента качества, управления рисками и регуляторного сопровождения изготовитель должен обеспечивать документированную оценку изменений, способных повлиять на безопасность, эффективность, назначение или доказательную базу изделия. При такой оценке необходимо определить, затрагивает ли изменение аналитическую или клиническую эффективность, тип материала, целевую популяцию, правила интерпретации, программный компонент либо иной элемент доказательной идентичности изделия и какие дополнительные действия необходимы для подтверждения сохранения ранее сделанных выводов.

Первичная оценка характера и последствий изменения относится к ответственности изготовителя и должна быть обоснована и документирована. При этом сделанный изготовителем вывод о сохранении применимости ранее полученных доказательств может подлежать регуляторной или экспертной оценке в случаях, предусмотренных применимой процедурой. Поэтому существенность изменения определяется не только его техническим масштабом, но прежде всего возможным влиянием на заявленный результат, риск его ошибочной интерпретации и границы ранее подтвержденного применения.

Реальное применение уточняет доказательную базу.

Не менее важно различать поддержание доказательств и расширение доказательств. Поддержание доказательств направлено на подтверждение того, что изделие продолжает работать в пределах уже заявленного применения. Расширение доказательств требуется тогда, когда изделие начинает претендовать на новую область: другой материал, другую популяцию, новую клиническую роль, новый алгоритмический вывод или новую среду применения. Эти ситуации нельзя смешивать. Поддержание может опираться на пострегистрационное наблюдение, контроль стабильности, анализ рекламаций и сопоставимость версий. Расширение обычно требует более содержательного обоснования и, при необходимости, новых исследований.