Доказательная логика
- -
- 100%
- +
Для регистрационной и доказательной оценки важно понимать, какие данные относятся к исходному подтверждению аналитической эффективности, а какие — к текущему контролю качества. Рутинный контроль не должен подменять первичную аналитическую оценку изделия. В то же время подтвержденные аналитические характеристики должны поддерживаться после выпуска изделия в обращение через контроль серий, калибровку, контрольные материалы, мониторинг стабильности и управление изменениями.
Серийность, стабильность и прослеживаемость
Аналитическая эффективность должна быть связана с серийностью и стабильностью изделия. Для наборов реагентов и контрольных материалов важно показать, что характеристики сохраняются между сериями, в течение срока годности и при заявленных условиях хранения и транспортирования. Для приборов необходимо учитывать техническое обслуживание, калибровку, программное обеспечение и условия эксплуатации. Для программных изделий важны версия алгоритма, контроль изменений и сопоставимость результатов после обновлений. Если эти элементы не контролируются, аналитическая надежность может быть доказана только для ограниченной конфигурации изделия.
Отдельное место занимает метрологическая прослеживаемость. Для количественных измерений результат должен быть связан с признанной референтной системой, если такая система существует. Это особенно важно для калибраторов, контрольных материалов и изделий, результаты которых используются для мониторинга или сравнения между лабораториями. Отсутствие полной прослеживаемости не всегда делает изделие непригодным, но требует ясного описания того, как обеспечивается сопоставимость и интерпретируемость результата.
Связь аналитической эффективности с клинической оценкой
Аналитическая эффективность не должна рассматриваться в отрыве от последующей клинической оценки. Напротив, аналитические данные помогают определить, какие клинические результаты можно ожидать и какие риски нужно специально проверить. Если аналитическое исследование показывает слабую воспроизводимость около порога, клинико-лабораторное испытание должно учитывать пограничные случаи. Если выявлены потенциальные интерференты, необходимо понимать, встречаются ли они в целевой популяции. Если диапазон измерений ограничен, это влияет на заявленную область применения и интерпретацию результата.
При этом аналитическая эффективность не заменяет клиническую эффективность. Хорошая прецизионность, низкий предел обнаружения или отсутствие значимой интерференции показывают, что изделие надежно получает аналитический результат. Но они сами по себе не доказывают, что результат приводит к правильному медицинскому решению. Поэтому аналитические данные должны рассматриваться как необходимая основа клинической оценки, но не как ее замена.
Документирование аналитической эффективности
В доказательной документации данные об аналитической эффективности должны быть представлены как обоснование надежности результата. Недостаточно указать, что испытания проведены или что характеристики соответствуют требованиям. Нужно показать, какие характеристики оценены, почему они выбраны, на каком материале, в каких условиях, с какими критериями приемлемости и как полученные результаты поддерживают назначение изделия. Такой подход позволяет связать аналитический раздел с научной обоснованностью и клинической эффективностью.
Типичная ошибка состоит в том, что аналитическую эффективность оформляют как независимый технический блок, не связанный с клинической ролью результата. В результате в документации могут быть представлены многочисленные аналитические показатели, но остается неясным, почему именно они достаточны для заявленного применения. Можно подробно показать прецизионность, но не оценить интерференцию, значимую для целевой популяции. Можно подтвердить предел обнаружения на модельных образцах, но не показать поведение изделия в заявленной матрице. Можно оценить линейность, но не обосновать диапазон, в котором результат имеет клинический смысл.
Следовательно, общие принципы подтверждения аналитической эффективности сводятся к нескольким взаимосвязанным положениям. Аналитические характеристики должны подтверждаться для конкретного изделия, в заявленном материале, с учетом типа результата, пользователя, условий применения и клинической роли. Критерии приемлемости должны быть связаны с риском аналитической ошибки и ее возможными последствиями. Данные должны быть достаточны не сами по себе, а в связи с назначением изделия и последующей клинической оценкой.
Итог главы
Аналитическая эффективность показывает, насколько надежно конкретное медицинское изделие для диагностики in vitro выявляет, измеряет, классифицирует или характеризует заявленный аналит либо иной объект исследования. Она не доказывает клинический смысл аналита и не заменяет клиническую эффективность, но является необходимым условием доверия к результату. Подтверждение аналитической эффективности должно строиться от назначения изделия, типа результата, клинического материала, условий применения, пользователя и риска ошибочного решения. Именно поэтому аналитическая оценка не является формальным перечнем испытаний, а представляет собой доказательство надежности результата в пределах заявленного применения.
Глава 18. Правильность и прецизионность
Правильность и прецизионность относятся к базовым характеристикам аналитической эффективности медицинского изделия для диагностики in vitro. Эти характеристики часто рассматриваются вместе, потому что обе связаны с надежностью результата. Однако они отвечают на разные вопросы и не могут заменять друг друга. Правильность показывает, насколько результат близок к принятому опорному значению. Прецизионность показывает, насколько близки повторные результаты между собой при повторном исследовании одного и того же объекта.
Для доказательной оценки медицинского изделия для диагностики in vitro это различие имеет принципиальное значение. Изделие может стабильно давать близкие друг к другу результаты, но все они будут смещены относительно опорного (истинного) значения. В таком случае метод будет прецизионным, но неправильным. Возможна и другая ситуация: средний результат серии измерений близок к опорному значению, но отдельные результаты сильно разбросаны. Тогда метод может быть приемлемым по среднему значению, но недостаточно прецизионным для практического применения.
И в том и в другом случае возникает риск для интерпретации результата. Систематически смещенный результат может устойчиво приводить к неправильной оценке концентрации аналита, неверной категории пациента или ошибочной динамике. Непрецизионный результат может менять интерпретацию при повторном исследовании: сегодня образец окажется выше порога, завтра ниже, хотя реальное состояние не изменилось. Поэтому правильность и прецизионность должны оцениваться совместно, особенно если результат используется около клинического порога, для мониторинга или для выбора медицинского действия.
Правильность — это близость среднего результата измерений к принятому опорному, референтному или аттестованному значению.
Прецизионность — это близость независимых результатов измерений между собой при повторном исследовании одного и того же объекта в установленных условиях.
Правильность преимущественно связана с систематической ошибкой, а прецизионность — со случайной вариабельностью результата.
Правильность и прецизионность удобно объяснять через образ мишени. Центр мишени соответствует опорному (истинному) значению. Если результаты сгруппированы близко к центру, метод одновременно правильный и прецизионный. Если результаты сгруппированы плотно, но далеко от центра, метод прецизионный, но имеет систематическое смещение. Если результаты разбросаны вокруг центра, среднее может быть близким к опорному значению, но отдельные измерения нестабильны. Если результаты и разбросаны, и смещены, метод имеет проблемы как с правильностью, так и с прецизионностью.
Рисунок 18.1. Четыре типовые ситуации: правильность и прецизионность
Такая иллюстрация показывает, почему нельзя делать вывод о надежности изделия только по одному показателю. Хорошая прецизионность не гарантирует правильность, а приемлемое среднее значение не гарантирует устойчивость отдельных результатов.
Расчетные показатели правильности и прецизионности
Для количественных результатов правильность и прецизионность обычно оценивают с использованием нескольких базовых расчетов. Они не являются единственными возможными, но позволяют понять логику анализа данных.
Среднее значение серии измерений рассчитывают по формуле:
x̄ = (Σ(i=1..n) xᵢ)/(n),
где: x̄ — среднее значение результатов измерений; xᵢ — отдельный результат измерения; n — число измерений.
Смещение результата относительно опорного значения рассчитывают как:
Bias = x̄ - x_ ref,
где: Bias — смещение; x̄ — среднее значение результатов измерений; x_ref — опорное, референтное или аттестованное значение.
Смещение в процентах рассчитывают по формуле:
Bias(%) = ((x̄ - x_ref) / x_ref) × 100.
Прецизионность часто выражают через стандартное отклонение:
SD = √( (Σ(i=1..n) (xᵢ - x̄)²) / (n - 1) ),
где: SD — стандартное отклонение; xᵢ — отдельный результат измерения; x̄ — среднее значение; n — число измерений.
Для сравнения разброса при разных уровнях аналита используют коэффициент вариации:
CV(%) = (SD / x̄) × 100
Коэффициент вариации удобен тем, что выражает разброс относительно среднего значения. Однако его нужно интерпретировать осторожно, особенно при низких концентрациях аналита, где малое абсолютное изменение может давать высокий процентный разброс. Поэтому для нижних уровней диапазона иногда важнее оценивать не только CV, но и абсолютное стандартное отклонение, устойчивость классификации и клинический смысл отклонения.
Рисунок 18.2. Опорное значение, среднее, смещение и прецизионность (SD/CV)
Пример 18.1 — Оценка смещения и прецизионности на одном уровне аналита
Предположим, что контрольный материал имеет аттестованное значение 100 Ед/мл. При повторных измерениях получены результаты: 96; 98; 97; 99; 100 Ед/мл.
Среднее значение:
x ̄ = (96 + 98 + 97 + 99 + 100)/(5) = 98,0 Ед/мл
Смещение:
Bias = 98,0 - 100,0 = - 2,0 Ед/мл
Смещение в процентах:
Bias (%) = (- 2,0)/(100,0) × 100 % = - 2,0%
В этом примере средний результат на 2 % ниже опорного значения. Если заранее установленный критерий приемлемости допускает смещение не более ±5 %, результат по правильности можно считать приемлемым. Если же для данного изделия и клинической задачи допустимое смещение составляет только ±1 %, результат будет неприемлемым, несмотря на то что измерения выглядят достаточно близкими друг к другу.
Для оценки прецизионности рассчитывают стандартное отклонение и коэффициент вариации. В данном примере результаты расположены близко к среднему значению, поэтому можно ожидать невысокий CV . Но окончательный вывод должен делаться не визуально, а на основании расчета и заранее установленного критерия приемлемости.
Этот пример показывает важный принцип: числовой результат сам по себе еще не говорит, приемлема характеристика или нет. Необходим заранее установленный критерий. Он должен быть связан с назначением изделия, клинически значимой ошибкой, требованиями к методу и риском неправильной интерпретации.
Подтверждение правильности
Подтверждение правильности требует сравнения результата изделия с некоторым опорным основанием. Таким основанием может быть стандартный образец, референтный материал, контрольный материал с установленным значением, референтная методика, признанный метод сравнения, межлабораторное консенсусное значение или панель охарактеризованных клинических образцов. Выбор основания зависит от аналита, доступности референтной системы, типа материала и назначения изделия.
Наиболее сильным вариантом является сравнение с материалом или методом, имеющим метрологически обоснованное значение. Если существует референтный материал или референтная методика, их использование повышает доказательную ценность оценки правильности. Если такой системы нет, допустимо использовать обоснованный сравнительный подход, но его статус должен быть объяснен. Нельзя считать правильность подтвержденной только потому, что результаты совпали с любым доступным коммерческим набором, если не показано, почему этот набор может выполнять роль сравнительного основания.
Для медицинских изделий для диагностики in vitro особенно важно, чтобы правильность оценивалась на релевантном материале и в значимом диапазоне. Материалы на основе буфера, искусственно приготовленные образцы или контрольные материалы могут быть полезны, но они не всегда отражают поведение реального клинического образца. Матрица может влиять на извлечение аналита, связывание, фон, интерференцию, стабильность и сигнал. Поэтому, если изделие заявлено для сыворотки, плазмы, цельной крови, сухого пятна крови, мазка, ткани или другого материала, оценка правильности должна учитывать именно этот материал либо содержать обоснование переноса данных.
Правильность также должна оцениваться на нескольких уровнях аналита. Проверка только одного удобного уровня не показывает, как изделие работает в нижней части диапазона, в области клинического порога или на высоких значениях. Для количественного теста обычно важно включить низкий, средний и высокий уровни, а также уровни около клинически значимых решений. Для теста, используемого для мониторинга, необходимо учитывать диапазон ожидаемых изменений. Для скринингового теста особое значение имеет область порог решения (cut-off).
При сравнении с методом сравнения важно не только рассчитать среднее смещение. Нужно оценить, нет ли пропорционального смещения, которое меняется в зависимости от уровня аналита. Например, на низких концентрациях метод может давать приемлемые результаты, а на высоких — систематически занижать значения. Или наоборот, смещение может быть малым в средней части диапазона, но критичным около нижней границы. Поэтому для оценки правильности часто используют не только расчет bias, но и графики сравнения методов, анализ различий по уровням, регрессионные подходы и оценку клинически значимых зон.
Пример 18.2 — Оценка правильности по контрольным материалам с установленными значениями
Для оценки правильности количественного изделия использованы три контрольных материала с установленными значениями аналита: низкий, средний и высокий уровень. Каждый материал измеряли 5 раз. Критерий приемлемости установлен заранее: смещение результата не должно превышать ±5 % от установленного значения.
Схема 18.1 — Результаты оценки правильности по трем уровням аналита
— Низкий — Установленное значение, Ед/мл: 20,0; Результаты измерений, Ед/мл: 18,8; 19,1; 18,9; 19,0; 19,2; Среднее значение, Ед/мл: 19,0; Смещение, Ед/мл: -1,0; Смещение, %: -5,0 %; Оценка: Приемлемо на границе.
— Средний — Установленное значение, Ед/мл: 100,0; Результаты измерений, Ед/мл: 97,5; 98,0; 98,2; 97,8; 98,5; Среднее значение, Ед/мл: 98,0; Смещение, Ед/мл: -2,0; Смещение, %: -2,0 %; Оценка: Приемлемо.
— Высокий — Установленное значение, Ед/мл: 500,0; Результаты измерений, Ед/мл: 465; 470; 468; 472; 469; Среднее значение, Ед/мл: 468,8; Смещение, Ед/мл: -31,2; Смещение, %: -6,2 %; Оценка: Неприемлемо.
Расчет для среднего уровня:
x ̄ = (97,5 + 98,0 + 98,2 + 97,8 + 98,5)/(5) = 98,0 Ед/мл
Bias = 98,0 - 100,0 = - 2,0 Ед/мл
Bias (%) = (- 2,0)/(100,0) × 100% = - 2,0%
Так как смещение составляет -2,0 %, а заранее установленный критерий приемлемости равен ±5 %, правильность на среднем уровне считается подтвержденной.
Для высокого уровня:
x ̄ = (465 + 470 + 468 + 472 + 469)/(5) = 468,8 Ед/мл
Bias = 468,8 - 500,0 = - 31,2 Ед/мл
Bias (%) = (- 31,2)/(500,0) × 100 = - 6,2%
Смещение составляет -6,2 %, что превышает установленный критерий ±5 %. Следовательно, правильность на высоком уровне не подтверждена.
В этом примере изделие демонстрирует приемлемую правильность на низком и среднем уровнях, но имеет неприемлемое отрицательное смещение на высоком уровне. Такой результат нельзя описывать общей фразой «правильность подтверждена». Более корректный вывод должен быть ограниченным:
Правильность изделия подтверждена на низком и среднем уровнях аналита в пределах установленного критерия приемлемости. На высоком уровне выявлено отрицательное смещение -6,2 %, превышающее критерий ±5 %. Требуется анализ причин смещения, дополнительная проверка верхней части диапазона, возможное ограничение диапазона измерений или корректировка калибровки при наличии обоснования.
Этот пример показывает, что оценка правильности должна проводиться не только в одной точке. Если проверить только средний уровень, можно ошибочно сделать вывод о приемлемости изделия во всем диапазоне. Поэтому для количественных изделий важно оценивать несколько уровней, включая клинически значимые области, нижнюю и верхнюю часть диапазона, а также зоны принятия решений.
Подтверждение прецизионности
Подтверждение прецизионности требует повторных измерений одного и того же объекта в заданных условиях. Но условия могут быть разными, и от этого зависит смысл полученного результата. Если все измерения выполнены одним оператором, на одном приборе, одной серией реагентов и в короткий промежуток времени, оценивается повторяемость. Если измерения выполняются в разные дни, разными операторами, с разными сериями реагентов или калибровками внутри одной лаборатории, оценивается внутрилабораторная прецизионность. Если исследование охватывает разные лаборатории или площадки, речь идет о воспроизводимости.
Для подтверждения прецизионности важно заранее определить, какие источники вариабельности должны быть включены. Это зависит от назначения изделия. Если изделие будет использоваться в одной лаборатории на одной платформе, достаточно одного дизайна. Если изделие предназначено для применения в разных лабораториях, с разными операторами и партиями реагентов, необходимо учитывать более широкий набор факторов. Если изделие предназначено для самостоятельного применения, необходимо учитывать пользовательскую вариабельность и возможные ошибки выполнения процедуры.
Прецизионность также не следует подтверждать только на одном уровне аналита. Для количественных тестов обычно выбирают несколько уровней: низкий, близкий к клиническому порогу, средний и высокий. Для качественных тестов особенно важны отрицательные, слабоположительные и пограничные образцы. Для мониторинговых тестов важно оценить уровни, на которых врач будет интерпретировать динамику результата. Для полуколичественных тестов нужно проверить устойчивость категорий и переходов между ними.
Недостаточная прецизионность имеет разный смысл в разных клинических сценариях. Если тест используется для грубой ориентировочной оценки, умеренная вариабельность может быть допустимой. Если результат используется для выбора терапии, контроля токсичности, мониторинга вирусной нагрузки, оценки минимальной остаточной болезни или стратификации риска, даже небольшой разброс может быть значимым. Поэтому критерии приемлемости прецизионности должны быть связаны не только с техническими возможностями метода, но и с клиническим применением результата.
Схема 18.2 — Различие правильности, прецизионности и связанных характеристик
— Правильность — Основной вопрос: Насколько результат близок к опорному значению?; Что оценивается: Систематическое смещение результата; Типичный риск при недостаточности: Устойчиво неверная оценка уровня аналита.
— Прецизионность — Основной вопрос: Насколько близки повторные результаты между собой?; Что оценивается: Случайная вариабельность результата; Типичный риск при недостаточности: Нестабильная интерпретация результата.
— Повторяемость — Основной вопрос: Насколько близки результаты в одинаковых условиях?; Что оценивается: Минимальная вариабельность в одной серии или близких условиях; Типичный риск при недостаточности: Нестабильность даже при кратковременном повторе.
— Внутрилабораторная прецизионность — Основной вопрос: Насколько близки результаты при обычных изменениях внутри лаборатории?; Что оценивается: Влияние дней, операторов, серий, калибровок, приборов; Типичный риск при недостаточности: Нестабильность в реальной лабораторной практике.
— Воспроизводимость — Основной вопрос: Насколько близки результаты в разных лабораториях или условиях?; Что оценивается: Межлабораторные и межплощадочные различия; Типичный риск при недостаточности: Ограниченная переносимость результата между условиями применения.
Пример 18.3 — Оценка прецизионности по коэффициенту вариации
Для оценки прецизионности количественного изделия использован контрольный материал со средним уровнем аналита. Выполнено 10 повторных измерений в одной серии. Заранее установленный критерий приемлемости: коэффициент вариации не должен превышать 5 %.
Получены результаты, Ед/мл: 98; 101; 99; 100; 102; 97; 100; 99; 101; 100.
Среднее значение:
x ̄ = (98 + 101 + 99 + 100 + 102 + 97 + 100 + 99 + 101 + 100)/(10) = 99,7 Ед/мл
Предположим, что рассчитанное стандартное отклонение составляет:
SD = 1,49 Ед/мл
Коэффициент вариации:
CV (%) = (1,49)/(99,7) × 100 = 1,49%
Так как коэффициент вариации составляет 1,49 %, а критерий приемлемости установлен как не более 5 %, повторяемость на данном уровне считается подтвержденной.
Однако такой вывод ограничен только условиями проведенного исследования: один уровень аналита, одна серия, близкие условия выполнения. На основании этого примера нельзя автоматически утверждать, что прецизионность подтверждена для всех уровней аналита, всех дней, всех партий реагентов, всех операторов и всех условий применения. Для более широкого вывода требуется дизайн, включающий соответствующие источники вариабельности.