- -
- 100%
- +
В некоторых случаях графические пользовательские интерфейсы, такие как инструмент «Что, если» от Google, могут быть объединены с выходными данными модели, чтобы помочь пользователям с ограниченными знаниями в области счета или статистики «понять суть». Например, существует множество работ в области принятия медицинских решений, изучающих индивидуальные различия в уровне грамотности персонала и методы, которые могут быть использованы для преодоления этих различий для передачи сути сложной медицинской информации. Тем не менее, дизайнеры должны позаботиться о том, чтобы не предполагать, что графический формат обязательно более интерпретируем. Скорее, графический вывод должен быть контекстуализирован соответствующими представлениями базовых ставок, пороговых значений и других индикаторов значимых категориальных различий, которые во многих случаях могут потребоваться получить от пользователей. В конечном счете, машинные интерпретации должны быть контекстуализированы с точки зрения фоновых знаний и целей, а также адаптированы к индивидуальным различиям, если они хотят быть эффективными.
Тематические модели представляют собой семейство алгоритмов байесовского вывода, которые широко применяются к текстовым данным для поиска информации и обобщения документов. Наиболее широко применяемый из этих алгоритмов, латентное распределение Дирихле, выводит латентные «темы», которые должны содержать семантический контент, общий для нескольких документов. На практике эти темы фактически представляют собой распределение вероятностей по словам в корпусе текста, на котором обучается модель. Люди используют тематические модели, проверяя основные слова или лучшие документы по любой данной теме, а затем присваивая значение этим темам, а некоторые даже заходят так далеко, что утверждают, что тематические модели явно измеряют суть текста. Тем не менее, более поздние работы показали, что люди испытывают трудности при интерпретации некоторых выходных данных тематической модели, особенно когда они не знакомы с тем, как работает алгоритм. Несмотря на то, что специалисты по информатике разработали меры по улучшению согласованности (предположительно для повышения интерпретируемости) выходных данных тематической модели, полученные выходные данные не предоставляют явной интерпретации для пользователей-людей, а остаются списком слов с соответствующими тематическими вероятностями, которые люди должны интерпретировать. Тем не менее, тематические модели, возможно, уникальны среди алгоритмов машинного обучения тем, что их пользователи попытались явно спроектировать интерпретируемость в их структуре и выводе с помощью задач, которые оцениваются неопытными людьми, не имеющими представления о том, как работает алгоритм. Будущая работа должна быть сосредоточена на оценке этого подхода и потенциальном применении его к другим алгоритмическим парадигмам.
Как можно оценить объяснимость и интерпретируемость систем ИИ таким образом, чтобы это было психологически правдоподобно? Как мы могли бы разработать системы, удовлетворяющие этим психологическим определениям? Методы машинного обучения отражают противоречие между двумя различными подходами к оценке качества математических моделей и «рациональным» поведением в более широком смысле.
Первый подход, который Хаммонд назвал «когерентностью», подчеркивает процесс, с помощью которого достигается результат. Согласно этому подходу, результат оценивается в зависимости от того, получен ли он путем следования логическим правилам, которые исходят из общепринятых аксиом. Ранние системы ИИ, особенно системы, основанные на правилах, демонстрировали высокую степень согласованности и, как следствие, объяснимости в соответствии с психологическими определениями в этой статье. К сильным сторонам когерентного подхода можно отнести его гарантии логической полноты – если аксиомы верны, а правила соблюдаются безошибочно, то выводы обязательно должны быть правильными. Тем не менее, эти системы подвергались критике за их хрупкость в процессе принятия решений в реальном мире. На практике они могут потерпеть неудачу, если аксиомы неверны (но, по крайней мере, можно определить, как был сделан этот вывод). Например, классическая экспертная система обычно строится путем получения правил от экспертов; тем не менее, эти правила могут применяться «бездумно» (например, без соответствующих базовых знаний, таких как о времени, анатомии человека или важных исключениях, как в случае медицинской экспертной системы, основанной на правилах). В той мере, в какой эти правила верны, рекомендации системы должны быть правильными; тем не менее, процесс установления этих правил может привести к возникновению источников ошибок, которые могут сделать результаты недействительными, например, когда пациенты не раскрывают всю релевантную информацию алгоритму, поскольку они не знают, что алгоритм требует этого, или потому что они не доверяют алгоритму в использовании этой информации надлежащим образом. Действительно, традиционные системы ИИ, основанные на правилах, отличаются строгим соблюдением стенографических правил, что иногда приводит к неправильным выводам. Попытки чрезмерного упрощения моделей машинного обучения, основанные на чисто алгоритмических соображениях, в некоторых обстоятельствах могут привести к вредным предубеждениям.
Модели с белым ящиком. Как и человеческие процессы принятия решений, подчеркивающие согласованность, модели машинного обучения «белого ящика» прозрачны, и люди могут легко понять, как они работают, потому что они следуют набору прозрачных правил. Примерами моделей белого ящика являются линейные модели, которые можно легко преобразовать из входных данных в прогноз путем умножения на четко определенные значения коэффициентов. Эти модели также, по-видимому, согласуются с определением интерпретируемости Рудина. Кроме того, объяснимые методы ИИ, по-видимому, предназначены для того, чтобы сделать модели «черного ящика» более похожими на модели «белого ящика» (с риском введения потенциальных ложных корреляций).
Обычно считается, что объяснимость и точность прогнозирования должны противопоставляться друг другу. В соответствии с этой воспринимаемой дихотомией, Хаммонд определил «корреспонденционные» подходы как те, которые делают акцент на эмпирической точности. Здесь решение считается хорошим, если оно приводит к хорошему результату, независимо от того, каким образом этот результат получен. Это аналогично парадигме машинного обучения, которая делает акцент на прогнозировании, а не на объяснении. Стандартные методы машинного обучения направлены на оптимизацию определенных прогностических показателей, таких как точность, точность, полнота, F-оценка и т. д. Кроме того, может быть использовано любое количество алгоритмов независимо от того, является ли лежащая в основе алгоритма теория хорошим описанием процесса, генерирующего данные. Этот подход согласуется с определением соответствия Хаммонда, поскольку он отдает предпочтение предсказательной точности над конкретной каузальной теорией. Глубокие нейронные сети, в частности, подвергались критике, но также и превозносились, потому что они часто достигают значительной предсказательной эффективности за счет объяснимости. Таким образом, как и в машинном обучении, слабые стороны корреспонденционного подхода фундаментально связаны с низкой объяснимостью – метод может получить правильные ответы по неправильным причинам – т.е. из-за ложной корреляции – таким образом, нет уверенности в том, что будущие результаты модели будут правильными. Как утверждает Хаммонд: «научные исследования стремятся как к последовательности, так и к соответствию, но получают и то, и другое только в продвинутой, успешной работе. Большинство научных дисциплин вынуждены мириться с противоречивыми фактами и конкурирующими теориями… Но политикам гораздо труднее, чем исследователям, жить с этим напряжением, потому что от них ожидают, что они будут действовать на основе информации».
Как и подходы к принятию решений, благоприятствующие соответствию, «модели черного ящика» – это модели, внутренняя работа которых недоступна и, следовательно, непостижима для пользователей, потому что они делают акцент на точности прогнозирования, а не на объяснимости. Эти модели можно оценивать только по их прогностическим качествам, и нужно просто «верить», что они продолжат работать в реальном мире так же, как они работают на обучающих данных. Типичными примерами моделей черного ящика являются глубокие нейронные сети.
В рассуждениях Хаммонда подчеркивается, что нынешнее противоречие между объяснением и прогнозированием в машинном обучении и статистике на самом деле является давней особенностью научного метода, которая, тем не менее, может противоречить политическим и юридическим требованиям к принятию решений на основе данных. Действительно, по-видимому, существует распространенное мнение, что модели, обладающие высоким соответствием, скорее всего, будут иметь низкую когерентность, и наоборот. Тем не менее, приведенное выше обсуждение подчеркивает, что объяснения в основном связаны с предоставлением согласованных результатов, описывающих процесс, с помощью которого модель достигла заданного результата. В отличие от этого, интерпретации подчеркивают, как стимул (либо выходные данные модели, либо точка данных, либо набор данных, либо описание самой модели) контекстуализируется в более широком контексте мира и, таким образом, может быть оценен относительно критериев соответствия.
Проводя различие между интерпретацией и объяснением, мы предполагаем, что суть человеческих экспертов может рассматриваться как аналогичная «модели серого ящика», для которой полное механистическое объяснение (т.е. модель белого ящика) недоступно, но для которой также не требуется слепое доверие (т.е. модель черного ящика). Этот средний путь достигается за счет того, что эксперты сообщают суть своих процессов принятия решений, а не пытаются объяснить все детали своих структурированных ментальных моделей. В частности, эксперты могут объяснить, как то, что они делают, согласуется с ценностями пользователей в простых для понимания категорических терминах, не обязательно обладая способностью описывать точные механизмы во всех деталях. Мы предлагаем проектирование модели серого ящика в качестве цели для интерпретируемого ИИ.
Принятие решений человеком демонстрирует различную степень согласованности и соответствия. В частности, представления экспертов о сути, как правило, соответствуют лучшим результатам в реальном мире, демонстрируя соответствие; тем не менее, эксперты могут нарушить когерентность, т.е. они могут дать объяснение действию в определенном контексте, но это объяснение не обязательно может распространяться на все контексты, что примерно аналогично линейной оценке нелинейной модели. В отличие от этих линейных оценок, которые обеспечивают объяснительную силу в узком диапазоне параметров, у экспертов можно спрашивать об их обосновании. Приведенное выше обсуждение подчеркивает, что высокая корреспонденция с низкой объяснимостью не только не является уникальной особенностью моделей машинного обучения, но и может быть характерной чертой некоторых видов человеческого опыта. На самом деле, существует значительный объем литературы по инженерному менеджменту, в которой обсуждается «неявная» природа человеческого опыта. Другими словами, как и в случае с самыми сложными моделями, эксперты-люди могут не осознавать, как они получили определенный результат. Тем не менее, они часто могут описать, почему они сделали то, что сделали – например, опытные теннисисты с большей вероятностью оправдывали свои действия относительно целей игры, в то время как новички сосредоточили более осознанное внимание на механике выполнения конкретных маневров. Таким образом, решения экспертов демонстрируют высокую степень эмпирического соответствия, несмотря на подверженность «смещениям» в предсказуемых обстоятельствах. Кроме того, эксперты в предметной области, как правило, полагаются на результаты модели, которые интерпретируют, а не объясняют релевантные результаты, потребляют и предпочитают их использовать.
Это обсуждение предполагает, что дизайнеры могут повысить интерпретируемость путем создания «моделей серого ящика», которые могут предоставить обоснование для данного решения в отношении набора функциональных требований. Благая цель согласуется с аналогичными проблемами при попытке интегрировать крупномасштабные системы из нескольких различных сложных областей знаний в общий артефакт, который будет использоваться потребителями, включая политиков, с различными уровнями технической сложности.
Можно утверждать, что разработка объяснимой или интерпретируемой системы ИИ сводится к выбору соответствующего уровня абстракции, на котором будут передаваться выходные данные системы с учетом потребностей пользователя. Здесь мы рассматриваем исследования в области психологии и системной инженерии, подтверждающие это утверждение. В научной литературе основное внимание уделяется проведению аналогии между понятием ментальной репрезентации и уровнями абстракции.
Успешная работа информатики зависит от последовательных уровней абстракции просто потому, что операции вычислительных систем слишком сложны на физическом уровне, чтобы их можно было объяснить даже самым опытным специалистам в области информатики. Предположим, что компьютер сам по себе является абстракцией – «машиной Тьюринга», которая реализуется с помощью другой абстракции – битов, которые сами реализуются в кремниевых полупроводниках. Эбботт указывает, что биты сами по себе являются абстракциями, и в той степени, в которой абстракция не нарушается (например, из-за физических ограничений, таких как слишком большое количество тепла), разработчикам систем не нужно понимать механизм (например, физические закономерности), лежащие в основе реализации вычислительной системы, которую они используют. Аналогичная логика применима и к разработке программного обеспечения. Хотя в некоторых случаях при проектировании программного обеспечения, безусловно, полезно понимать архитектуру компьютера, большинству разработчиков программного обеспечения не требуется детальное понимание реализации кода, лежащего в основе операционной системы конкретного компьютера, при проектировании приложения. Кролл даже утверждает, что объяснения, которые сосредоточены на механизмах работы системы ИИ, на самом деле скрывают способность пользователей понять, как система функционирует в ее социальном контексте (например, в структуре власти). Действительно, пользователи обычно используют приложения, например, в Интернете, без подробных объяснений того, как эти приложения работают. Скорее, они знакомы с набором функций, для выполнения которых предназначено приложение, и, поскольку эти функции выполняются таким образом, чтобы не создавать чрезмерных внешних эффектов, пользователю обычно не нужно или даже не нужно знать о деталях реализации. Именно эти внешние эффекты лежат в основе потребности в интерпретируемости системы. Таким образом, Эбботт предоставляет раздел, относящийся к «управлению платформой», в котором представлен обзор некоторых исследований по управлению общими ресурсами, которые могут быть продуктивно адаптированы к алгоритмической объяснимости и интерпретируемости, и особенно к разработке стандартов в этой области. В частности, эти стандарты могут быть сформулированы в терминах высокоуровневых требований с мерами эффективности для интерпретируемых и объяснимых систем.
Различие между уровнями ментальной репрезентации «как» и «почему» теоретически мотивировано и эмпирически обосновано в литературе по психологии. Теория конструального уровня, ведущая теория абстракции в человеческой психологии, проводит различие между ментальными репрезентациями в терминах их «психологической дистанции». В данном случае менее отдаленная репрезентация влечет за собой память о вещах, которые находятся либо в пространстве, либо во времени, в то время как более отдаленная репрезентация влечет за собой память о вещах, которые находятся на более отдаленных расстояниях. Вопросы, которые задают «как» – то, что мы называем объяснениями – психологически более близки, чем вопросы, которые задают «почему» – интерпретации. Кроме того, модель характеризует различие между более и менее удаленными представлениями с точки зрения уровня их абстракции.
Наконец, последние результаты показывают, что увеличение психологической дистанции, в том числе за счет предоставления более абстрактных представлений, приводит к лучшим решениям, потому что эти более отдаленные представления используют интерпретации сути. Это имеет прямое значение для дизайна: интерпретируемые системы ИИ, то есть те, которые помогают конечным пользователям принимать значимые решения, на самом деле могут быть менее объяснимыми, и наоборот, по крайней мере, для конечных пользователей, не обладающих опытом в области науки о данных.
Идея о том, что объяснения – обоснованные относительно реализации системы – и интерпретации – оправданные по отношению к целям системы – отличаются друг от друга, также подтверждается обширной литературой по инженерии человеческого фактора. В этой статье было описано, как теория нечетких следов утверждает, что эти представления кодируются четко и параллельно, при этом эксперты предпочитают полагаться на более абстрактные описания. В этом разделе обсуждается, как эти понятия абстракции используются в инженерном проектировании практикующими инженерами. В частности, основная конструкция – иерархия абстракций, различающая более детальные вопросы «как», которые определены относительно конкретных реализаций и, следовательно, менее значимые по отношению к системным целям – и менее детализированные, но более значимые вопросы «почему» – была предвосхищена в литературе по инженерии человеческих факторов и системной инженерии в работе Йенса Расмуссена. Работа Расмуссена, которая проводилась исключительно с техническими экспертами (в основном инженерами-электриками, принимающими важные решения, относящиеся к сложным системам, таким как атомные электростанции), определила иерархию абстракций как такую, в которой «… Функциональные свойства технической системы представлены в нескольких уровнях функциональной абстракции по размеру средство-цель» – континуум представлений, ограниченный снизу «физической формой» системы (в данном случае, аналогично реальной физической реализации алгоритма машинного обучения на компьютере, в терминах которого переворачиваются биты), вплоть до «обобщенной» и «абстрактной функции» системы (аналогично программным функциям, реализуемым конкретным машинным обучением системы, которые дают результаты, обоснованные относительно этих функций), которые определяют причинно-следственную структуру системы и/или топологию информационных потоков и ограничены выше «функциональным назначением» системы, т.е. ее целями относительно конечных пользователей. Далее Расмуссен и Линд отмечают, что, имея дело со сложностью, инженеры часто полагаются на несколько уровней представления, даже переключаясь между ними с целью диагностики, причем более высокие уровни указывают на функциональные требования, объясняющие, почему реализуются более низкие уровни, а более низкие уровни указывают на конкретную реализацию того, как выполняются требования более высокого уровня. Таким образом, пользователи и проектировщики могут понимать вывод системы только в той степени, в которой они обладают техническими или предметными знаниями, необходимыми для использования соответствующих уровней иерархии абстракций. В целом, переход между уровнями абстракции требует понимания этого уровня абстракции на его собственных условиях и использования соответствующих фоновых знаний. Таким образом, форма абстракции, которую мы здесь обсуждаем, имеет некоторое сходство с определением сложности Колмогорова [78] – это упрощенное представление, которое может быть выражено с помощью краткого описания, где длина описания определяется относительно заранее определенного знания.
Тем не менее, термин «абстракция» сам по себе многозначен, и мы подчеркиваем, что форма абстракции, о которой мы говорим, является не просто упрощением, а скорее дополнением к базовым знаниям пользователя.
Иерархия абстракций предполагает, что системы следует оценивать с точки зрения их «требований», а не конкретных технических характеристик. Хорошие требования являются «нейтральными к решению» – в них не указываются детали реализации, а только функция, которую должна выполнять система. Цель состоит в том, чтобы как можно яснее определить эту функцию, не ограничивая при этом техническую конструкцию самой системы. Например, в требовании, нейтральном по отношению к решению, может быть указано, что система должна достичь точности не менее 0,85, без указания конкретного используемого алгоритма. Таким образом, требования определяются в терминах показателей эффективности или показателей результативности, которые имеют значение с точки зрения конечной функции системы; а не его реализация. Эта форма проектирования знакома исследователям машинного обучения, которые часто используют несколько разных алгоритмов для получения одной и той же функции. Например, функция может быть классификацией, которая имеет четко определенные метрики – точность, полнота, точность и т. д. – с лучшей метрикой, выбранной на основе задачи. Учитывая требуемую функцию и эталон метрики, который система должна достичь (т.е. требование), проектировщики системы могут использовать любое количество алгоритмов для достижения этой функции. Для классификации алгоритмы-кандидаты могут включать классификаторы логистической регрессии, наивные байесовские классификаторы, классификаторы опорных векторов, классификаторы k-ближайших соседей, сверточные нейронные сети и т. д., все они выполняют одну и ту же функцию, но используют очень разные реализации.
Концепция нейтральности решения в равной степени знакома ученым-юристам и регуляторам, а также ученым-юристам, которые имеют значительный опыт оценки сложных систем, таких как взаимодействие человека и лекарств, в других высокотехнологичных областях. Таким образом, ключом к хорошему дизайну является соответствие метрики оценки системы целям конечного пользователя. Стандартные метрики машинного обучения, такие как определенные выше, могут быть недостаточными для удовлетворения функциональных требований системы. Системная инженерия, и особенно инженерия требований, – это дисциплина, которая фокусируется на оценке потребностей конечных пользователей и преобразовании их в набор показателей. Однако для достаточно сложных систем группы инженеров должны объединить свои знания для достижения лучших результатов проектирования. Попытки создания унифицированных моделей, органично интегрирующих входные данные из различных областей инженерии, дали неоднозначные результаты. В отличие от этого, методы, направленные на перевод значимой информации между инженерными специальностями, более широко принимаются практикующими инженерами. Хотя нет никакой гарантии, что эти методы приводят к оптимальным результатам, они, как минимум, приемлемы. Таким образом, в других областях инженерии разработаны методы, гарантирующие, что экспертный вклад из нескольких областей может быть интегрирован в более крупный и сложный проект. В частности, системная инженерия – это область инженерии, которая занимается координацией этих многочисленных экспертов из разных областей. Поскольку в настоящее время ни один человек не может быть экспертом во всех областях человеческих исследований, системные инженеры разработали набор инструментов и методов, чтобы повысить уверенность в использовании опыта при разработке сложных систем.
Наш опыт подсказывает, что объяснимость и интерпретируемость должны быть отдельными требованиями для систем машинного обучения, причем первые в первую очередь представляют ценность для разработчиков, которые стремятся отлаживать системы или иным образом улучшать их дизайн, а вторые более полезны для регулирующих органов, политиков и обычных пользователей. Однако эта дихотомия не является абсолютной – индивидуальные различия могут быть связаны с зависимостью от одного представления системы в большей степени, чем от другого. Для разработчиков объяснение может быть очень похоже на интерпретацию – подобно тому, как люди с нумерацией принимают решения, основанные на дословных вычислениях, – однако, если разработчикам не хватает опыта в предметной области, они могут быть не в состоянии контекстуализировать свои интерпретации в терминах, значимых для конечных пользователей. Точно так же конечные пользователи, которым не хватает опыта разработчиков, могут быть не в состоянии понять, как система пришла к своему выводу (но они также могут не захотеть этого делать).
История современной инженерии показывает, что системы могут быть спроектированы таким образом, чтобы облегчить как объяснимость, так и интерпретируемость, и, действительно, примеры этого есть на протяжении всей недавней истории, начиная от разрешений на лекарства и заканчивая автомобильным сектором. Несмотря на то, что значительные усилия были направлены на разработку автоматизированных подходов к созданию объяснений алгоритмов ИИ, сравнительно мало внимания уделялось интерпретируемости. Поскольку интерпретации у разных людей различаются, необходимы дополнительные исследования, чтобы определить, как лучше всего связать выходные данные модели с конкретными gist, чтобы пользователи могли надлежащим образом контекстуализировать эти выходные данные. Вопрос о том, в какой степени этот процесс может быть полностью автоматизирован или потребует курирования экспертами в предметной области, остается открытым.