На пороге сверхразума. Как ИИ изменит работу, обучение и общество

Подробное объяснение основных принципов

Чтобы справиться с проблемой непроверяемости, вызванной интеллектуальным разрывом, нам необходимо разработать новый набор операционных принципов, которые позволят превратить слепое доверие к результатам ИИ в систематическую, основанную на доказательствах и взвешенную оценку. Эти принципы не направлены на ограничение возможностей ИИ, а призваны создать более безопасную и контролируемую структуру взаимодействия человека и машины, гарантирующую, что даже перед лицом интеллекта, значительно превосходящего наши возможности понимания, мы по-прежнему будем обладать окончательной властью принятия решений и нести за них ответственность. Ниже приведены десять ключевых принципов, призванных стать компасом, который поможет нам ориентироваться в эпоху сверхинтеллекта.

Принцип 1: Рассматривать результаты модели как проверяемые гипотезы (Treat model outputs as testable hypotheses.)

Этот принцип требует от нас коренного изменения отношения к результатам работы ИИ. Какими бы авторитетными, исчерпывающими и убедительными ни казались ответы ИИ, мы не должны принимать их напрямую как окончательные факты или решения, а должны рассматривать их как «гипотезы», подлежащие проверке. Рассматривание результатов ИИ как гипотез является первой психологической линией защиты от ловушки «кажущейся обоснованности». Это побуждает нас превратиться из пассивных «получателей» в активных «проверяющих», ставя критическое мышление в центр взаимодействия человека и машины. На практике это означает, что каждый ключевой результат, полученный от ИИ, должен сопровождаться «планом проверки», в котором четко указаны конкретные шаги, необходимые для проверки достоверности данной «гипотезы». Например, если ИИ прогнозирует, что какая-то новая технология перевернет рынок, план проверки может включать: сравнительный анализ подлинности и точности всех источников данных, на которые ссылается ИИ; поиск доказательств или мнений экспертов, противоречащих выводам ИИ; создание небольшого, недорогого пилотного проекта для тестирования эффективности этой технологии в реальных условиях.

Принцип 2: Требовать воспроизводимой, сопоставимой и поддающейся аудиту цепочки доказательств для ключевых выводов (Require reproducible, comparable, and auditable chains of evidence for key conclusions.)

Этот принцип требует, чтобы ИИ при вынесении ключевых выводов одновременно предоставлял полную и отслеживаемую «цепочку доказательств», в которой подробно описывались бы все исходные данные, на которых основан вывод, использованные аналитические модели, ключевые промежуточные этапы, а также оценка неопределенности на каждом этапе. Вывод, который невозможно воспроизвести, по сути является «магией», а не наукой. Требование предоставления цепочки доказательств представляет собой попытку в определенной степени превратить «черный ящик» процесса принятия решений ИИ в «белый ящик», разбивая непроверяемое «утверждение» на ряд более легко проверяемых «шагов». При закупке или разработке систем ИИ в ключевых областях «предоставление поддающейся аудиту цепочки доказательств» должно рассматриваться как обязательное техническое требование. Например, система ИИ, используемая для медицинской диагностики, при вынесении заключения «положительный результат на рак» должна одновременно выделять все соответствующие клеточные характеристики, идентифицированные ею в патологическом срезе, а также приводить статистические данные по аналогичным случаям и соответствующую медицинскую литературу, подтверждающие её заключение.

Принцип 3: Сначала определите критерии приемки, а затем позвольте системе генерировать решения (Define acceptance criteria first, then let the system generate solutions.)

Этот принцип заимствует идею «разработки, управляемой тестированием» из области программной инженерии и требует, чтобы перед тем, как задать ИИ открытый вопрос, мы сначала совместно со всеми заинтересованными сторонами определили набор четких, количественных и измеримых «критериев приемки». Заранее установленные критерии служат объективной «точкой отсчета» для процесса оценки, перенося фокус оценки с вопроса «Как выглядит это решение?» на «Соответствует ли это решение нашим заранее установленным требованиям?». Предположим, что мы хотим использовать ИИ для оптимизации процесса найма в компании. Прежде чем поручить ИИ разработку решения, нам следует сначала сформулировать критерии приемки, которые могут включать: сокращение среднего срока найма с 45 до 30 дней; снижение затрат на отбор кандидатов на каждую должность на 20 % без ущерба для качества найма; обеспечение того, чтобы разница в показателях прохождения отбора между представителями разных полов и этнических групп не превышала 5 %. Только после того, как эти критерии будут четко определены и по ним будет достигнут консенсус, мы можем приступить к работе с ИИ.

Принцип 4: Повышение достоверности посредством многопутевой валидации (Increase confidence through multi-path validation.)

Основная идея этого принципа заключается в том, что «не следует класть все яйца в одну корзину». При принятии чрезвычайно важных решений мы не должны полагаться исключительно на одну модель ИИ или один метод проверки, а должны применять стратегию «многоканальной проверки», то есть одновременно использовать несколько источников и различных методов для перекрестной проверки одного вывода. Любая отдельная модель ИИ имеет присущие ей «предвзятость» и «слепые зоны». Благодаря привлечению нескольких независимых моделей для «консультации» мы можем значительно снизить риск катастрофических ошибок в оценке, вызванных недостатками отдельной модели. В таких ключевых областях, как национальная безопасность и финансовая стабильность, следует создать механизм «модельного жюри» или «красно-синего противостояния». Например, при оценке потенциального воздействия той или иной макроэкономической политики можно одновременно поручить трем независимым группам провести моделирование с использованием трех различных экономических моделей ИИ. Окончательное решение будет приниматься с учетом прогнозных результатов всех трех моделей, особенно в тех случаях, где между ними имеются расхождения.

Принцип 5: Снизить вес поверхностной правдоподобности и повысить вес доказуемости (Reduce the weight of surface plausibility and increase the weight of provability.)

Этот принцип требует от нас при оценке результатов ИИ сознательно сдерживать наше предпочтение к «плавности» и «красноречивости», а в системе оценки явно снижать вес показателей, связанных с «поверхностной правдоподобностью», и одновременно значительно повышать вес показателей, связанных с «доказуемостью».Это прямой ответ на «ловушку поверхностной правдоподобности», направленный на противодействие нашим собственным когнитивным искажениям посредством институционального проектирования. Он посылает четкий сигнал: мы вознаграждаем «факты», а не «литературный стиль». Мы можем создать структурированную оценочную таблицу, по которой оценщики должны будут выставлять баллы по каждому пункту для каждого отчета, сгенерированного ИИ. Вес балла за «качество изложения» может составлять всего 20 % от общего балла, а вес балла за «качество фактов» — 80 %.

Принцип шестой: Применять контрфактуальное тестирование к ключевым суждениям (Apply counterfactual testing to key judgments.)

«Тест на альтернативные сценарии» — это мысленный эксперимент, суть которого заключается в том, чтобы выяснить: «Каким был бы результат, если бы одно из ключевых условий было иным?». Когда ИИ выносит ключевое суждение, мы не можем ограничиваться лишь доказательствами, которые он приводит в его обоснование, но должны активно и систематически подвергать его сомнению. Мы должны заставить ИИ обосновать: «Почему X не является причиной Y?» или «Произошло бы Y в отсутствие X?». Такой подход помогает проверить «робастность» выводов ИИ и предотвратить его попадание в логическую ловушку, когда он опирается на простую корреляцию, а не на причинно-следственную связь. По-настоящему глубокое понимание должно не только объяснять, почему факты таковы, но и объяснять, почему они не таковы. Заставляя ИИ аргументировать с противоположной точки зрения, мы можем более полно понять сложность проблемы и обнаружить факторы или скрытые допущения, которые ИИ, возможно, упустил в своих первоначальных рассуждениях.

Принцип 7: Чётко определять непроверяемые области и устанавливать более высокие запасы безопасности (Clearly identify unverifiable areas and set higher safety margins.)

Мы должны честно признать, что некоторые результаты и действия сверхинтеллекта могут оставаться «непроверяемыми». Этот принцип требует от нас активно выявлять и очерчивать эти «непроверяемые области» и при принятии решений в этих областях применять гораздо более консервативную стратегию, чем в обычных условиях, то есть устанавливать более высокий «запас прочности». Осознание границ наших возможностей является основой управления рисками. Четкое определение непроверяемых зон означает, что мы признаем наличие в этих областях «неизвестного неизвестного» и должны применять подход «наихудшего сценария», уделяя больше внимания вероятности «наихудшего развития событий». В отношении системы ИИ мы можем, в зависимости от характера её задач, разделить диапазон её возможностей на «белую зону» (полностью проверяемую), «серую зону» (частично проверяемую) и «чёрную зону» (полностью непроверяемую). К решениям, относящимся к «черной зоне», следует применять самые строгие ограничения. Например, можно установить правило, согласно которому запрещены любые необратимые важные решения, основанные исключительно на прогнозах ИИ относительно отдаленного будущего.

Принцип 8: Использовать объясняемость в качестве порога разрешения (Use interpretability as a permission threshold.)

Этот принцип напрямую связывает уровень «объяснимости» системы ИИ с объемом предоставленных ей «полномочий». От того, насколько ясно и достоверно система ИИ способна объяснить собственную логику принятия решений, будет зависеть, в каких пределах и в какой степени ей будет разрешено действовать автономно. Система, неспособная объяснить свои действия, по сути является «безответственной» системой. Использование объясняемости в качестве порога для предоставления полномочий может стимулировать разработчиков направлять больше ресурсов на исследование и совершенствование технологий объясняемости ИИ. Мы можем создать многоуровневую систему полномочий ИИ: на первом уровне (минимальные полномочия) ИИ может только предоставлять информацию и рекомендации; второй уровень (средние полномочия) — ИИ может под контролем человека самостоятельно выполнять некоторые рутинные и обратимые операции, а также предоставлять объяснения постфактум; третий уровень (максимальные полномочия) — ИИ разрешается принимать решения в режиме реального времени и самостоятельно, но он должен обладать «предварительной объясняемостью», то есть до начала действия объяснять, что он намеревается сделать и почему.

Принцип 9: Избегайте единственных источников истины (Avoid single points of truth.)

Этот принцип подчеркивает важность сохранения «когнитивного разнообразия» в системе знаний, основанной на сотрудничестве человека и машины. Мы должны остерегаться чрезмерной зависимости от какой-либо одной, даже сверхинтеллектуальной системы ИИ, как от «единственного источника истины» для всех вопросов. Гибкость и устойчивость системы обусловлены её разнообразием. Система, управляемая единственным интеллектом, чрезвычайно уязвима. Если в этом «единственном источнике истины» присутствует какой-либо невыявленный нами фундаментальный дефект или предвзятость, то все решения, принятые на его основе, будут ошибочными. Внутри организации, даже при внедрении самой передовой системы ИИ для поддержки принятия решений, следует сохранить и финансировать «команду Б» или «команду реверс-инжиниринга», которая вообще не использует эту систему. На общественном уровне правительство и научно-исследовательские учреждения должны обеспечить параллельное финансирование технологий ИИ с различными архитектурами и парадигмами обучения, чтобы избежать формирования фактической монополии какой-либо одной технологии.

Принцип 10: Документировать цепочку принятия решений (Document the decision chain.)

Этот принцип требует от нас создания всеобъемлющего и не поддающегося фальсификации «цифрового архива» или «журнала принятия решений» для каждого важного процесса принятия решений, связанного с ИИ. В этом журнале должен подробно фиксироваться весь процесс принятия решения, включая: исходную задачу, версию использованной модели ИИ, полный текст вводных подсказок и данных, полный исходный текст вывода ИИ, изменения, внесенные человеком-решателем на основе вывода ИИ, и окончательное решение, а также обоснование этих изменений. Без записей нет анализа; без анализа нет прогресса. Эти журналы принятия решений станут чрезвычайно ценным хранилищем знаний, которое поможет нам анализировать успешные и неудачные примеры, выявлять системные отклонения ИИ и изучать модели взаимодействия человека и машины. В случае споров или инцидентов эта неизменяемая запись также станет ключевым доказательством для установления ответственности и вынесения судебных решений.

Эти десять принципов в совокупности составляют рамочную структуру управления, призванную справиться с проблемой «непроверяемости». Их основная идея заключается в переходе от иллюзии всемогущего «оракула» к реальности, в которой мы осторожно сотрудничаем с «партнером», обладающим мощными способностями, но не являющимся абсолютно надежным. Это требует от нас приложения большего количества усилий, создания более сложных процессов и постоянного поддержания здорового скептицизма. Но именно такую цену мы должны заплатить, чтобы сохранить контроль над своей судьбой, вступая в новую эру, созданную нами самими и управляемую более высоким интеллектом.

План действий

Беспрецедентный интеллектуальный разрыв между сверхразумом и человечеством приведёт к возникновению фундаментальной проблемы «непроверяемости». Наша способность оценивать качество результатов ИИ, распознавать его истинные намерения и проверять его процессы принятия решений будет подвергаться систематическому ослаблению. Мы рассмотрели ловушку «кажущейся обоснованности», когда системы ИИ оптимизируются для генерации убедительных текстов, а не проверяемых фактов, и могут даже прибегать к стратегическому обману для достижения скрытых целей. Мы также проанализировали, как традиционные механизмы проверки ответственности и анализа решений перестанут функционировать из-за разрыва в ответственности, когда ядро цепочки принятия решений будет занято ИИ, работающим по принципу «черного ящика».

Перед лицом этого вызова мы должны проактивно создать новую, более устойчивую рамочную систему управления. Десять ключевых принципов, представленных в этой главе — рассматривать результаты как гипотезы, требовать цепочку доказательств, заранее определять стандарты, проводить многоканальную проверку, уделять внимание доказуемости, проводить контрфактические тесты, выделять непроверяемые области, использовать объясняемость в качестве порогового критерия, избегать единственного источника истины и документировать цепочку принятия решений — вместе составляют руководство к действию. Суть этих принципов заключается в том, что они требуют от нас превратиться из пассивных «потребителей информации» в активных, осмотрительных и опирающихся на доказательства «верификаторов».

Руководителям организаций необходимо сформировать культуру «осторожного ИИ», инвестировать в развитие возможностей верификации и внедрить многоуровневую систему разрешений на использование ИИ. Разработчикам технологий следует уделять приоритетное внимание объяснимости, создавать системы, ориентированные на «приоритет доказательств», и внедрять «адаптивный дизайн». Каждому специалисту, занимающемуся интеллектуальным трудом, необходимо развивать менталитет «верификатора», осваивать искусство «задавать вопросы» и защищать свою когнитивную автономию.

Глава 3. Три ускорителя и три узкие места / Chapter 3 Three Accelerators and Three Chokepoints