Архитектура безопасного ИИ. Риски, управление и защита искусственного интеллекта

4.3. Прозрачность, объяснимость и подотчётность

Четыре свойства, рассмотренные в предыдущем разделе, описывают, как система должна работать. Прозрачность, объяснимость и подотчётность описывают, как организация и общество могут убедиться, что система работает именно так. Без этих трёх свойств остальные характеристики доверия превращаются в декларации: модель может быть названа безопасной и справедливой, но если невозможно проверить, на основании чего она принимает решения и кто несёт ответственность за результат, доверие остаётся неподтверждённым.

Прозрачность (transparency) означает, что заинтересованные стороны имеют доступ к информации о системе в объёме, соответствующем их роли и потребностям. NIST AI RMF определяет прозрачность как обеспечение доступа к нужному уровню информации на каждой стадии жизненного цикла, адаптированного к роли участника. Для разработчика прозрачность — это документация по архитектуре модели, обучающим данным, метрикам качества и известным ограничениям. Для оператора — информация о конфигурации, условиях эксплуатации и процедурах обновления. Для пользователя — понимание того, что он взаимодействует с ИИ-системой, какие данные она обрабатывает и какие ограничения имеет. Для регулятора — доказательства соответствия требованиям, результаты оценки рисков и воздействия, журналы решений. Для человека, затронутого решением системы, — информация о том, что решение принято с участием ИИ и каковы его основания.

На практике прозрачность вступает в конфликт с другими интересами. Поставщик модели не хочет раскрывать архитектуру и обучающие данные, потому что это интеллектуальная собственность. Избыточная прозрачность может облегчить злоумышленнику поиск уязвимостей: зная структуру системного промпта, атакующий быстрее найдёт способ обойти ограничения. Раскрытие деталей обучающих данных может нарушить приватность людей, чьи данные использовались при обучении. NTIA в своём отчёте об ответственности ИИ отмечает эти противоречия: больше прозрачности о логике системы и данных улучшает возможность оспаривания решений, но может нарушить приватность и права на интеллектуальную собственность; чем прозрачнее модель, тем больше она подвержена манипуляциям. Организация должна определить, какой уровень прозрачности необходим для каждой заинтересованной стороны и каждого сценария, учитывая эти компромиссы.

EU AI Act вводит конкретные требования к прозрачности для разных категорий систем. Поставщики систем высокого риска обязаны предоставлять документацию, достаточную для понимания работы системы и оценки её соответствия требованиям. Системы, которые взаимодействуют с людьми, должны информировать пользователя о том, что он общается с ИИ. Системы, генерирующие синтетический контент (текст, изображение, аудио, видео), должны маркировать свои результаты как сгенерированные искусственным интеллектом. Эти требования формируют минимальный уровень прозрачности, ниже которого организация не может опускаться.

Объяснимость (explainability) и интерпретируемость (interpretability) — два связанных, но различающихся понятия. NIST AI RMF определяет объяснимость как способность описать механизмы работы ИИ-системы, а интерпретируемость — как способность придать смысл результатам системы в контексте её назначения. Проще говоря, объяснимость отвечает на вопрос «как система пришла к этому решению», а интерпретируемость — на вопрос «что это решение означает для конкретного пользователя в конкретной ситуации».

Для организации объяснимость имеет несколько практических измерений. Техническая объяснимость позволяет разработчикам и тестировщикам отлаживать модель, выявлять ошибки и понимать причины некорректного поведения. Операционная объяснимость даёт операторам и службе поддержки возможность ответить на вопрос клиента: почему система приняла такое решение? Регуляторная объяснимость позволяет организации продемонстрировать аудитору или регулятору, что решения системы принимаются обоснованно и в соответствии с требованиями. Каждое из этих измерений предъявляет свои требования к глубине и форме объяснения.

Методы объяснимости различаются по подходу. Внутренняя объяснимость (ante-hoc) достигается выбором изначально интерпретируемой модели: линейная регрессия, дерево решений, набор правил. Такие модели позволяют точно проследить, какие признаки и с каким весом повлияли на результат. Внешняя объяснимость (post-hoc) применяется к сложным моделям, которые сами по себе непрозрачны: глубоким нейронным сетям, ансамблям, большим языковым моделям. Методы внешней объяснимости создают приближённые интерпретации, показывая, какие входные данные оказали наибольшее влияние на результат. Важно понимать ограничение: post-hoc объяснение — это аппроксимация, а не точное воспроизведение логики модели. Оно может быть полезным для понимания общих паттернов, но не гарантирует полного соответствия реальному процессу принятия решения.

Для организации выбор между интерпретируемой и сложной моделью — это архитектурное решение с последствиями для безопасности и соответствия. Если регулятор требует объяснения каждого автоматизированного решения, затрагивающего права человека, использование непрозрачной модели создаёт регуляторный риск. Если бизнес-задача требует максимальной точности и сложная модель значительно превосходит интерпретируемую, организация должна инвестировать в методы post-hoc объяснимости и документирование их ограничений. Этот компромисс между точностью и объяснимостью — один из наиболее распространённых в практике ИИ, и он не имеет универсального решения: ответ зависит от контекста, уровня риска и требований регулятора.

Подотчётность (accountability) замыкает цепочку. Прозрачность предоставляет информацию. Объяснимость позволяет понять решение. Подотчётность определяет, кто несёт ответственность за результат и какие механизмы позволяют привлечь к ответственности. Без подотчётности прозрачность и объяснимость остаются информационными инструментами, не связанными с последствиями.

NTIA в отчёте об ответственности ИИ выстраивает цепочку подотчётности из трёх элементов: информационный поток (документация, раскрытие информации, маркировка), оценка системы (аудиты, оценка воздействия, тестирование, состязательное тестирование (red teaming)) и последствия (ответственность, регулирование, рыночные механизмы). Подотчётность работает, когда все три элемента присутствуют: информация о системе доступна, система оценена независимо, и при обнаружении проблемы наступают реальные последствия для того, кто за неё отвечает.

ISO/IEC 42001 закрепляет подотчётность через требования к определению ролей и ответственности, документированию решений и механизмам информирования о проблемах. Организация должна определить, кто отвечает за каждый аспект ИИ-системы, задокументировать эту ответственность и создать каналы, через которые любой сотрудник может сообщить о проблеме с ИИ-системой без риска негативных последствий для себя. Последний пункт часто упускается: если сотрудник, заметивший некорректное поведение модели, не имеет простого способа сообщить об этом или опасается последствий, система обратной связи не работает, и проблемы накапливаются до инцидента.

На практике подотчётность в ИИ-системах сталкивается с проблемой распределённой ответственности, которую мы разбирали в предыдущей главе. Когда решение принимает модель, обученная одним поставщиком, развёрнутая на инфраструктуре другого, интегрированная в приложение третьего и используемая сотрудником четвёртого, установить, кто именно отвечает за конкретный ущерб, становится сложно. Подотчётность требует сквозной прослеживаемости: от входных данных через решение модели к конечному действию. Это, в свою очередь, требует журналирования на каждом уровне, сохранения контекста принятия решения и возможности восстановить цепочку событий при расследовании. Технические требования к журналированию и мониторингу, которые мы рассмотрим в девятнадцатой главе, напрямую поддерживают подотчётность.

Все три свойства — прозрачность, объяснимость и подотчётность — связаны между собой и с остальными характеристиками доверия. Прозрачность делает возможной проверку справедливости: если организация не раскрывает, на каких данных обучена модель, проверить наличие смещений невозможно. Объяснимость поддерживает безопасность для людей: если модель не может объяснить своё решение, человек-контролёр не может оценить его правильность. Подотчётность создаёт стимулы для поддержания всех остальных свойств: если никто не несёт ответственности за ошибку модели, мотивация инвестировать в надёжность, справедливость и безопасность снижается.

Для организации практический вывод из этого раздела состоит в следующем. Прозрачность, объяснимость и подотчётность — это не дополнительные функции, которые можно добавить к готовой системе, а архитектурные требования, которые нужно закладывать при проектировании. Выбор модели должен учитывать требования к объяснимости. Архитектура приложения должна предусматривать журналирование в объёме, достаточном для прослеживания решений. Контракты с поставщиками должны фиксировать обязательства по раскрытию информации. Организационная структура должна определять ответственных за каждый аспект ИИ-системы. Без этих элементов доверие к системе остаётся неподтверждённым, а ответственность — нераспределённой.

4.4. Взаимозависимость свойств доверия и практические компромиссы

В двух предыдущих разделах мы рассмотрели семь свойств доверия по отдельности. На практике они не работают изолированно. Усиление одного свойства может ослабить другое. Попытка одновременно максимизировать все свойства наталкивается на ограничения, заложенные в самой природе ИИ-систем.

Рисунок 12. Карта компромиссов между безопасностью, точностью, приватностью, объяснимостью, справедливостью и производительностью ИИ-системы.

Организация, которая не осознаёт эти компромиссы, рискует принимать архитектурные решения, которые решают одну проблему и создают другую. NIST AI RMF прямо указывает на это: характеристики доверия редко присутствуют все одновременно в полной мере, компромиссы почти неизбежны, и доверие к системе определяется её самым слабым звеном.

Наиболее изученный компромисс — между точностью модели и объяснимостью. Линейная регрессия и дерево решений легко интерпретируются: можно точно указать, какие признаки повлияли на результат и с каким весом. Глубокая нейронная сеть с миллиардами параметров может превосходить интерпретируемую модель по точности, но объяснить её решение можно только приближённо. Для организации это означает выбор. Если задача связана с высокорисковыми решениями, затрагивающими права людей, регулятор может потребовать полной объяснимости, и организация вынуждена жертвовать частью точности ради интерпретируемости. Если задача допускает менее строгие требования к объяснимости (например, рекомендация товаров), организация может выбрать более сложную модель и дополнить её post-hoc методами интерпретации.

Компромисс между приватностью и качеством модели проявляется на нескольких уровнях. Обезличивание обучающих данных снижает риск утечки персональной информации, но может ухудшить качество модели, если удалённые признаки были значимыми для задачи. Дифференциальная приватность — математический метод, гарантирующий, что присутствие или отсутствие конкретной записи в обучающем наборе не влияет на выходные данные модели — вносит контролируемый шум, который снижает точность. Федеративное обучение, при котором данные остаются у их владельцев и модель обучается на распределённых наборах, решает проблему централизации чувствительных данных, но требует значительно больше вычислительных ресурсов и может быть менее точным, чем обучение на централизованном наборе. Организация должна определить, какой уровень приватности необходим для конкретной системы, и осознанно выбрать точку баланса.

Менее очевидный, но практически значимый компромисс существует между безопасностью для людей и доступностью системы. Строгие ограничения на поведение модели снижают вероятность опасных результатов, но одновременно могут сделать систему менее полезной. Чат-бот, настроенный на максимальную осторожность, отказывается отвечать на вопросы, которые воспринимает как потенциально рискованные, даже если они легитимны. Медицинская модель, которая при любом сомнении направляет пациента к врачу, теряет ценность как инструмент первичной сортировки. Фильтрация выходных данных, которая блокирует ответы, содержащие определённые ключевые слова, может отсекать полезную информацию вместе с опасной. Организация, настраивающая ограничения поведения модели, должна найти баланс между безопасностью и функциональностью, и этот баланс зависит от контекста применения.

Справедливость вступает в конфликт с точностью в ситуациях, где исторические данные отражают неравенство. Модель кредитного скоринга, обученная на данных, в которых определённые демографические группы объективно имели более высокий уровень дефолтов (возможно, вследствие системного неравенства в доступе к экономическим возможностям), может быть точной в статистическом смысле, но несправедливой в этическом и правовом. Устранение этого смещения — через перебалансировку обучающих данных, штрафные функции или постобработку результатов — неизбежно снижает статистическую точность модели для некоторых групп. Организация должна решить, что для неё приоритетнее: предсказательная точность или равное обращение. Это решение не может быть принято исследователем данных в одиночку; оно требует участия руководства, юристов и специалистов по этике.

Прозрачность и защищённость тоже находятся в напряжении. Раскрытие архитектуры модели, структуры системного промпта и состава обучающих данных повышает доверие и позволяет проводить независимый аудит. Но та же информация помогает злоумышленнику: зная архитектуру, он может эффективнее конструировать адверсариальные воздействия; зная системный промпт, он быстрее найдёт способ обхода ограничений; зная состав обучающих данных, он может целенаправленно формировать входные данные, которые вызовут нежелательное поведение. Организация вынуждена определить, какую информацию раскрывать публично, какую — по запросу аудитора или регулятора, а какую считать конфиденциальной. Уровень раскрытия должен быть соразмерен уровню риска и требованиям заинтересованных сторон.

Устойчивость к враждебным воздействиям может противоречить удобству использования. Строгая верификация входных данных, многофакторная аутентификация при каждом запросе, ограничение контекстного окна, запрет на загрузку внешних документов — всё это повышает устойчивость системы к атакам, но снижает производительность и удобство для легитимных пользователей. Контроли, которые замедляют работу агента при вызове инструментов (подтверждение каждого действия человеком, проверка результатов на каждом шаге), делают систему безопаснее, но снижают преимущество автоматизации, ради которого она и внедрялась. Организация должна калибровать строгость контролей в зависимости от уровня риска конкретной операции, а не применять одинаковый уровень ко всем взаимодействиям.

Как организации управлять этими компромиссами? Первый шаг — признать, что они существуют, и перестать воспринимать свойства доверия как независимые чекбоксы, которые нужно все отметить. Второй шаг — определить приоритеты для каждой конкретной ИИ-системы, исходя из её назначения, контекста применения, регуляторных требований и последствий ошибки. Для медицинской диагностической системы безопасность для людей и объяснимость будут приоритетнее, чем максимальная точность. Для рекомендательной системы в интернет-магазине точность и удобство важнее полной объяснимости. Для системы кредитного скоринга справедливость и подотчётность стоят выше производительности.

Третий шаг — документировать принятые решения и их обоснование. Если организация осознанно выбрала более сложную модель ради точности, пожертвовав частью объяснимости, это решение должно быть зафиксировано: кто его принял, какие альтернативы рассматривались, какие компенсирующие меры применены (например, post-hoc методы интерпретации), при каких условиях решение подлежит пересмотру. Документирование компромиссов выполняет две функции. Оно создаёт основу для подотчётности: если последствия решения окажутся негативными, можно проследить логику и определить, было ли решение обоснованным на момент принятия. И оно формирует институциональную память: новые участники команды понимают, почему система устроена именно так, а не иначе.

Четвёртый шаг — пересматривать баланс при изменении условий. Компромисс, который был разумным при запуске системы, может стать неприемлемым при изменении регуляторных требований, расширении аудитории или выявлении новых угроз. Организация, которая приняла решение использовать непрозрачную модель до вступления в силу EU AI Act, может оказаться перед необходимостью пересмотреть это решение, когда требования к объяснимости станут обязательными для её категории системы. Регулярная переоценка компромиссов должна быть частью процесса управления рисками ИИ, а не разовым упражнением при проектировании.

Завершая эту главу и первую часть книги, стоит зафиксировать ключевую мысль. Доверие к ИИ-системе складывается из множества свойств, каждое из которых связано с остальными. Организация не может управлять ими по отдельности, как не может защитить дом, поставив стальную дверь и оставив окна открытыми. Безопасность, надёжность, справедливость, прозрачность, объяснимость и подотчётность образуют систему, в которой слабость любого элемента подрывает целое. Задача организации — не достичь идеала по каждому свойству, а выстроить осознанный, документированный и пересматриваемый баланс, соответствующий уровню риска и ожиданиям заинтересованных сторон. Именно этот баланс и составляет основу архитектуры безопасного ИИ, которую мы начнём строить во второй части книги.

Источники и дальнейшее чтение к главе 4

— NIST AI Risk Management Framework (AI RMF 1.0). National Institute of Standards and Technology, январь 2023 — определение риска, трёхуровневая модель последствий (люди / организация / экосистема), семь характеристик доверия, признание неизбежности компромиссов между ними.

— MITRE ATLAS (Adversarial Threat Landscape for Artificial-Intelligence Systems). MITRE Corporation — систематика тактик и техник атак на ИИ-системы.