Доказательная логика
- -
- 100%
- +
Значение для количественных, качественных и полуколичественных изделий
Для количественных изделий правильность и прецизионность обычно выражаются числовыми показателями. Здесь важно оценить как среднее значение и разброс, так и то, как они меняются по диапазону измерений. Если результат используется для диагностики по порогу, мониторинга динамики или коррекции терапии, аналитическая ошибка должна рассматриваться через возможное клиническое последствие.
Для качественных тестов правильность не всегда выражается как смещение относительно числового значения. Здесь большее значение имеет согласие с обоснованным сравнительным подходом и устойчивость классификации. Если изделие выдает результат «обнаружено» или «не обнаружено», нужно показать, насколько стабильно оно классифицирует отрицательные, положительные, слабоположительные и пограничные образцы. Прецизионность качественного теста фактически проявляется как повторяемость категории результата.
Для полуколичественных тестов и шкал важно оценивать устойчивость категорий. Если результат выражается как «низкий», «средний», «высокий», как балльная шкала, индекс или категория риска, нужно понимать, как часто один и тот же образец при повторном исследовании попадает в ту же категорию. Если переход между категориями меняет медицинское действие, такая вариабельность становится клинически значимой.
Для мониторинговых изделий прецизионность имеет особое значение. Врач интерпретирует и единичное значение, и изменение во времени. Если аналитическая вариабельность сопоставима с ожидаемым клинически значимым изменением, результат трудно использовать для мониторинга. Поэтому в таких изделиях нужно оценивать, какое изменение можно считать реальным, а какое может объясняться разбросом метода.
Для изделий с программным или алгоритмическим компонентом правильность и прецизионность требуют адаптированной трактовки. Если программа рассчитывает числовой показатель, оценивается корректность вычислений и воспроизводимость результата при одинаковых входных данных. Если алгоритм классифицирует изображение, генетический вариант или иной объект, оценивается устойчивость классификации при допустимых вариациях входных данных, качества изображения, параметров обработки и версии программного обеспечения. Если обновление алгоритма меняет классификацию, прежние данные о прецизионности и правильности могут требовать пересмотра.
Критерии приемлемости
Критерии приемлемости для правильности и прецизионности должны быть установлены заранее. Их нельзя подбирать после получения результатов. Критерии должны быть обоснованы через назначение изделия, клинически значимую ошибку, состояние технологии, требования применимых стандартов и риск неправильного решения.
Для одних изделий допустимое смещение может быть относительно широким, если оно не меняет клинический вывод. Для других даже небольшое смещение около порога может быть неприемлемым. Аналогично, CV может быть технически низким, но клинически недостаточным, если результат используется для оценки малых изменений во времени. Поэтому критерий приемлемости должен отвечать как на вопрос «хорошо ли выглядит число», так и на вопрос «не приведет ли такая ошибка к неправильной интерпретации результата».
Особенно важно заранее определить критерии для уровней около клинического решения. Если порог отделяет отрицательный результат от положительного, стабильность именно этой зоны имеет большее значение, чем поведение явно положительных или явно отрицательных образцов. Если изделие используется для мониторинга, критерий должен учитывать минимальное изменение, которое имеет клиническое значение. Если изделие используется для выбора терапии, критерий должен учитывать риск неверного включения или исключения пациента из соответствующего лечебного маршрута.
Что правильно и что неправильно при подтверждении правильности и прецизионности
Схема 18.3 — Типовые ошибки при подтверждении правильности и прецизионности
— Оценка правильности — Правильно: Использовать материал с установленным опорным значением или обоснованный метод сравнения; Неправильно: Сравнить результат с любым доступным набором без обоснования его статуса.
— Выбор уровней аналита — Правильно: Включить несколько уровней, включая клинически значимые зоны; Неправильно: Проверить только один удобный уровень.
— Пороговые тесты — Правильно: Оценить образцы около порога принятия решения; Неправильно: Использовать только явно отрицательные и явно положительные образцы.
— Оценка прецизионности — Правильно: Варьировать условия в соответствии с реальным применением изделия; Неправильно: Ограничиться повторными измерениями в одной серии, если изделие будет применяться шире.
— Мониторинг — Правильно: Оценить вариабельность относительно клинически значимого изменения; Неправильно: Рассчитать CV без объяснения, влияет ли он на интерпретацию динамики.
— Несколько материалов — Правильно: Проверить каждый заявленный материал или обосновать перенос данных; Неправильно: Подтвердить один материал и распространить вывод на все остальные.
— Критерии приемлемости — Правильно: Установить заранее и обосновать; Неправильно: Подобрать критерии после получения результатов.
— Алгоритмический результат — Правильно: Оценить устойчивость итоговой классификации или индекса; Неправильно: Проверить только входные данные, не оценивая итоговый вывод.
Эта схема полезна для практической оценки программы испытаний и отчета. Она показывает, что аналитическая характеристика подтверждается не самим фактом проведения измерений, а корректным дизайном, правильным выбором материала, уровней, условий и критериев приемлемости.
Документирование в отчете
В отчете по подтверждению правильности и прецизионности необходимо описать материалы, уровни аналита, количество измерений, условия исследования, источники вариабельности, метод сравнения, опорные значения, расчетные показатели и критерии приемлемости. Если использовались стандартные образцы или референтные материалы, нужно указать их характеристики и статус. Если использовался метод сравнения, необходимо обосновать его применимость.
Для прецизионности важно указать, какие условия варьировались: дни, операторы, приборы, серии реагентов, калибровки, площадки или версии программного обеспечения. Для каждого уровня аналита следует представить результаты расчета: среднее значение, SD, CV или иные применимые показатели. Для качественных и полуколичественных результатов нужно представить устойчивость классификации и частоту смены категории.
Если часть результатов не соответствует критериям приемлемости, это не должно скрываться. Необходимо объяснить, как это влияет на назначение изделия. Иногда требуется ограничить диапазон применения, изменить правило интерпретации, уточнить инструкцию, провести дополнительное исследование или пересмотреть критерии приемлемости, если они были изначально необоснованными. Но пересмотр критерия после получения неудобных данных без методического обоснования является недопустимым.
В сильной доказательной базе правильность и прецизионность показывают, что изделие надежно получает результат в тех условиях, в которых оно будет применяться. Они не доказывают клинический смысл аналита и не заменяют клиническую эффективность, но без них невозможно доверять результату как основе медицинского решения. Именно поэтому эти характеристики занимают одно из центральных мест в подтверждении аналитической эффективности.
Итог главы
Правильность и прецизионность являются базовыми характеристиками аналитической эффективности медицинского изделия для диагностики in vitro. Правильность отражает близость результата к опорному значению и связана с систематической ошибкой. Прецизионность отражает близость повторных результатов между собой и связана со случайной вариабельностью. Эти характеристики подтверждаются через специально спланированные исследования с использованием релевантных материалов, уровней аналита, повторных измерений, варьируемых условий и заранее установленных критериев приемлемости. Их значение определяется и техническими расчетами, и влиянием на клиническую интерпретацию результата, особенно около порога, при мониторинге и при классификации пациента.
Глава 19. Линейность и диапазон измерений
Линейность и диапазон измерений относятся к тем характеристикам аналитической эффективности, которые особенно важны для количественных и некоторых полуколичественных медицинских изделий для диагностики in vitro. Они показывают, в каких пределах результат изделия может быть интерпретирован как надежное количественное отражение содержания аналита в образце. Если правильность и прецизионность отвечают на вопросы о близости результата к опорному значению и воспроизводимости измерений, то линейность и диапазон измерений помогают понять, в каком интервале эти результаты сохраняют аналитический и клинический смысл.
Линейность обычно понимается как способность аналитической системы давать результаты, пропорциональные количеству или концентрации аналита в образце в пределах определенного интервала. Если концентрация аналита увеличивается в два раза, результат метода в линейном участке должен изменяться предсказуемо и соразмерно. Это особенно важно для тех изделий, где числовой результат используется и для однократной классификации, и для оценки степени выраженности состояния, мониторинга динамики, контроля терапии или сравнения результатов во времени.
Диапазон измерений связан с линейностью, но не сводится к ней. Диапазон показывает интервал значений, в пределах которого изделие может выдавать результат с приемлемыми характеристиками правильности, прецизионности и, при необходимости, линейности. Иными словами, диапазон измерений — это не просто интервал, в котором прибор «что-то показывает». Это область, где результат можно использовать в соответствии с назначением изделия. Если результат выходит за пределы подтвержденного диапазона, его нельзя интерпретировать так же, как результат внутри диапазона.
Линейность — это способность аналитической системы давать результаты, пропорциональные содержанию аналита в образце в пределах установленного интервала.
Диапазон измерений — это интервал значений аналита, в пределах которого изделие обеспечивает результат с характеристиками, достаточными для заявленного применения. Диапазон измерений должен рассматриваться вместе с назначением изделия, клинически значимыми уровнями аналита и правилами интерпретации результата.
Для медицинского изделия для диагностики in vitro принципиально важно различать технически наблюдаемый диапазон сигнала и диапазон, в котором результат пригоден для медицинского применения. Аналитическая система может регистрировать сигнал за пределами подтвержденной области, но это не означает, что такой результат можно выдавать как количественный. В нижней части диапазона возрастает неопределенность, ухудшается прецизионность и появляется риск нестабильного различения низких концентраций. В верхней части диапазона возможны насыщение сигнала, отклонение от линейности, необходимость разведения, hook-эффект или иные явления, искажающие результат.
Назначение изделия определяет, какой диапазон является достаточным. Для теста, используемого для мониторинга вирусной нагрузки, диапазон должен покрывать уровни, имеющие значение для оценки динамики и ответа на терапию. Для гормонального теста важно, чтобы диапазон включал зоны, связанные с клиническими порогами и ожидаемыми физиологическими или патологическими концентрациями. Для неонатального скрининга диапазон должен быть пригоден для надежного различения значений около порога первичного отбора. Для терапевтического лекарственного мониторинга особенно важны значения в терапевтическом, субтерапевтическом и токсическом диапазонах.
Таким образом, диапазон измерений не должен устанавливаться только из удобства метода. Он должен соответствовать клинической задаче. Если изделие заявлено для мониторинга, недостаточно показать, что оно измеряет аналит в узком интервале около одного значения. Если результат используется для выявления очень низких концентраций, нижняя часть диапазона становится критической. Если в клинической практике возможны очень высокие значения, необходимо понимать, как изделие ведет себя в верхней части диапазона и что следует делать при выходе результата за пределы измерения.
Диапазон измерений должен быть связан с аналитической системой, а также с клинической интерпретацией. Если диапазон не покрывает клинически важные уровни, изделие может быть аналитически работоспособным, но ограниченным для заявленного применения. Если правила интерпретации результатов вне диапазона не описаны, пользователь может ошибочно воспринимать непригодное значение как полноценный количественный результат.
Графическое представление линейности
Оценку линейности удобно представлять графически. По оси X откладывают ожидаемое или заданное значение аналита, а по оси Y — измеренное значение. Идеальная линейность соответствует прямой линии, при которой измеренные значения пропорциональны ожидаемым. Фактические результаты измерений сравнивают с этой линией и с заранее установленными допустимыми отклонениями.
Рисунок 19.1. Линейность: ожидаемое значение против измеренного.
Если точки расположены близко к ожидаемой линейной зависимости в пределах допустимого отклонения, линейность может считаться подтвержденной в данном интервале. Если на нижних или верхних уровнях наблюдается систематическое отклонение, диапазон должен быть ограничен или должны быть установлены специальные правила интерпретации. Принципиально важно оценивать и общий вид графика, и уровни, близкие к клинически значимым порогам.
Математически линейную зависимость часто описывают уравнением:
y = a + bx,
где: — ожидаемое, заданное или опорное значение аналита; — измеренное значение; — свободный член; — наклон линии.
Если система идеально соответствует ожидаемым значениям, свободный член должен быть близок к нулю, а наклон — к единице. Но в реальной аналитической системе возможны отклонения. Поэтому при оценке линейности важно анализировать не только коэффициенты уравнения, но и практическое значение отклонений на отдельных уровнях.
Иногда для оценки линейности используют коэффициент детерминации . Высокое значение может показывать хорошее соответствие линейной модели, но само по себе не является достаточным доказательством пригодности диапазона. Даже при высоком отдельные уровни могут иметь неприемлемое отклонение, особенно около нижней границы диапазона, верхней границы или клинического порога. Поэтому вывод о линейности нельзя сводить только к одному числу. Нужно оценивать отклонения по уровням и их клинический смысл.
Как подтверждают линейность
Линейность обычно проверяют на серии материалов с разными уровнями аналита, охватывающими предполагаемый диапазон измерений. Такие материалы могут быть получены путем смешивания образцов с высоким и низким содержанием аналита, последовательных разведений, использования стандартных материалов, охарактеризованных панелей или клинических образцов. Выбранный подход должен соответствовать аналиту, матрице и назначению изделия.
При подготовке серии разведений важно учитывать, что разведение может менять свойства матрицы. Если образец разводят буфером или искусственной средой, полученные материалы могут отличаться от реального клинического образца. В некоторых методах это влияет на восстановление аналита, фон, связывание, интерференцию или стабильность. Поэтому линейность, подтвержденная на модельном материале, не всегда автоматически переносится на заявленную клиническую матрицу.
Обычно для оценки линейности выбирают несколько уровней, равномерно или целенаправленно покрывающих заявленный диапазон. Особое внимание уделяют нижней границе, верхней границе и уровням около медицински значимых решений. Для каждого уровня выполняют повторные измерения, рассчитывают среднее значение, отклонение от ожидаемого значения и оценивают соответствие заранее установленному критерию приемлемости.
Критерий приемлемости может выражаться в абсолютном отклонении, процентном отклонении или иной форме, обоснованной для данного аналита и назначения изделия. Например, для одних показателей допустимое отклонение может быть выражено как ±10 %, для других — как конкретная абсолютная величина. В нижней части диапазона процентное отклонение может быть менее информативным, поэтому допустимо использовать абсолютные критерии или специальные подходы к оценке нижней границы количественного определения.
Пример 19.1 — Проверка линейности по серии разведений
Для оценки линейности количественного молекулярного теста использован образец с высоким содержанием аналита. Исходное значение принято как 1000 копий/мл. Подготовлены последовательные разведения: 1:2, 1:4, 1:8 и 1:16. Для каждого уровня рассчитано ожидаемое значение и получено среднее измеренное значение. Критерий приемлемости установлен заранее: отклонение измеренного значения от ожидаемого не должно превышать ±10 %.
Схема 19.1 — Пример оценки линейности по серии разведений
— Без разведения — Ожидаемое значение, копий/мл: 1000,0; Измеренное значение, копий/мл: 980,0; Отклонение, копий/мл: -20,0; Отклонение, %: -2,0 %; Оценка: Приемлемо.
— 1:2 — Ожидаемое значение, копий/мл: 500,0; Измеренное значение, копий/мл: 510,0; Отклонение, копий/мл: +10,0; Отклонение, %: +2,0 %; Оценка: Приемлемо.
— 1:4 — Ожидаемое значение, копий/мл: 250,0; Измеренное значение, копий/мл: 260,0; Отклонение, копий/мл: +10,0; Отклонение, %: +4,0 %; Оценка: Приемлемо.
— 1:8 — Ожидаемое значение, копий/мл: 125,0; Измеренное значение, копий/мл: 118,0; Отклонение, копий/мл: -7,0; Отклонение, %: -5,6 %; Оценка: Приемлемо.
— 1:16 — Ожидаемое значение, копий/мл: 62,5; Измеренное значение, копий/мл: 45,0; Отклонение, копий/мл: -17,5; Отклонение, %: -28,0 %; Оценка: Неприемлемо.
Отклонение от ожидаемого значения рассчитывают как:
Δ = x _ meas - x _ exp , где: — измеренное значение; — ожидаемое значение.
Отклонение в процентах рассчитывают по формуле:
Δ(%) = ((x_meas - x_exp) / x_exp) × 100
Расчет отклонения для уровня 1:8:
Δ = 118,0 - 125,0 = - 7,0 копий/мл.
Δ (%) = (- 7,0)/(125,0) × 100% = - 5,6%.
Так как отклонение составляет -5,6 %, а критерий приемлемости установлен как ±10 %, уровень 1:8 считается приемлемым.
Для уровня 1:16:
Δ = 45,0 - 62,5 = - 17,5 копий/мл.
Δ (%) = (- 17,5)/(62,5) × 100 = - 28,0%.
Отклонение составляет -28,0 %, что превышает критерий приемлемости ±10 %. Следовательно, линейность на уровне 62,5 копий/мл не подтверждена.
Корректный вывод по этому примеру должен быть ограниченным:
Линейность теста подтверждена в интервале от 125 до 1000 копий/мл. На уровне 62,5 копий/мл наблюдается неприемлемое отрицательное отклонение, поэтому данный уровень не должен включаться в подтвержденный линейный диапазон без дополнительных данных. Нижняя граница линейного диапазона требует ограничения или дополнительного подтверждения.
Этот пример показывает, почему нельзя делать вывод о линейности только по общему тренду. Большинство уровней могут соответствовать критерию, но один уровень в нижней части диапазона может оказаться неприемлемым. Если именно этот уровень клинически важен, требуется пересмотр нижней границы диапазона, дополнительное исследование или уточнение инструкции.
Нижняя граница диапазона
В нижней части диапазона особенно важно различать обнаружение и количественное измерение. Изделие может обнаруживать наличие аналита на низком уровне, но не обеспечивать количественный результат с приемлемой правильностью и прецизионностью. Поэтому нижняя граница диапазона измерений должна быть согласована с пределом обнаружения и пределом количественного определения.
Предел обнаружения показывает минимальный уровень аналита, который может быть надежно отличен от отсутствия или фонового сигнала. Предел количественного определения показывает уровень, начиная с которого аналит может быть как обнаружен, так и измерен с приемлемыми характеристиками. Если изделие выдает числовые результаты ниже уровня количественной надежности, пользователь может ошибочно интерпретировать их как полноценные количественные значения. Это особенно опасно для мониторинга, где малые изменения результата могут восприниматься как динамика состояния.
Поэтому в нижней части диапазона необходимо оценивать как линейность, так и прецизионность, правильность и правила выдачи результата. Иногда корректнее указывать результат как «обнаружено ниже диапазона количественного определения» или «менее чем установленная граница», чем выдавать точное число, которое аналитически недостаточно надежно.
Верхняя граница диапазона и насыщение сигнала
В верхней части диапазона возможны другие проблемы. При высоких концентрациях аналита сигнал может перестать увеличиваться пропорционально концентрации. Это может происходить из-за насыщения детектора, ограничения реакционной системы, исчерпания реагента или иных свойств метода. В такой ситуации результат начинает занижаться относительно истинного уровня, а линейность теряется.
Рисунок 19.2. Потеря линейности при насыщении сигнала
На рисунке видно, что в начальной области сигнал растет пропорционально концентрации аналита. Затем рост замедляется и выходит на плато. Если область насыщения ошибочно включена в заявленный диапазон измерений, высокие концентрации могут быть интерпретированы как более низкие, чем они есть на самом деле. Поэтому верхняя граница диапазона должна быть подтверждена экспериментально.
Для некоторых иммунологических методов особенно важен hook-эффект. При очень высокой концентрации аналита сигнал может не просто выходить на плато, а снижаться. Основная причина состоит в избытке аналита относительно связывающих реагентов: свободный аналит насыщает антитела и препятствует образованию полноценного иммунного комплекса, от которого зависит сигнал. В результате чрезвычайно высокий уровень аналита может дать результат, похожий на умеренный или низкий. Выраженность hook-эффекта зависит от соотношения аналита и реагентов, аффинности антител, времени инкубации, порядка добавления компонентов и разведения образца.