На пороге сверхразума. Как ИИ изменит работу, обучение и общество

Подробное объяснение основных принципов

Вышеупомянутое обсуждение — от иерархии и классификации до методологии — в конечном итоге выкристаллизуется в набор принципов, на которых мы будем основывать наше мышление и действия. Эти принципы не возникли на пустом месте, а были выработаны на основе нашего исторического опыта взаимодействия со сложными системами и управления неопределенностью. Они являются краеугольным камнем всего последующего анализа в этой книге и нашей «операционной системой» для управления эпохой сверхинтеллекта. Мы должны, как проповедует Рэй Дэрио в своей книге «Принципы», усвоить эти принципы до глубины души и постоянно проверять, обобщать и совершенствовать их на практике. Каждый из приведенных ниже принципов мы подробно разберем, следуя структуре «Что это такое — Почему это важно — Как это применять».

Принцип 1: Разбивайте проблемы на уровни: личность, организация, системы управления и глобальная система. (Decompose problems across layers: the individual, the organization, governance systems, and the global system.)

Что это такое: этот принцип требует, чтобы при анализе любой проблемы, связанной с сверхинтеллектом, мы не рассматривали её как единую, обобщённую тему, а систематически разбивали её на пять различных уровней — индивидуальный, организационный, правительственный/общественный, геополитический и цивилизационный — для их тщательного изучения.

Почему это важно: участники на разных уровнях (отдельные люди, генеральные директора, политики, дипломаты) имеют разные цели, инструменты и ограничения. Смешивание проблем приведёт к несоответствию решений. Например, образовательная программа, направленная на повышение «ИИ-грамотности» отдельных людей, не сможет решить геополитические проблемы, связанные с гонкой вооружений в сфере ИИ. Только благодаря разбиению на уровни наш анализ и меры реагирования могут быть точно сфокусированы.

Как применять: сталкиваясь с любой конкретной проблемой в сфере ИИ, сначала спросите себя: как эта проблема конкретно проявляется на каждом из пяти уровней? Каковы основные риски и возможности на каждом из этих уровней? Кто должен возглавить разработку решений для каждого уровня? Например, при обсуждении «влияния ИИ на занятость» мы должны отдельно рассмотреть его влияние на изменение требований к навыкам отдельных людей, на перестройку организационной структуры предприятий, на систему социального обеспечения, а также на перераспределение труда на глобальном рынке труда.

Принцип 2: Разбивайте разногласия на факты, механизмы, ценности и действия. (Break disagreements down into facts, mechanisms, values, and actions.)

Что это такое: этот принцип предоставляет структурированную рамку для диалога. Столкнувшись со сложными разногласиями, мы должны направлять дискуссию, четко разбивая её на дебаты по четырём уровням: «факты», «механизмы» (модели причинно-следственных связей), «ценности» (цели) и «действия» (конкретные меры).

Почему это важно: расплывчатые споры не приносят ценных результатов. Благодаря такой разбивке мы можем определить истинные корни разногласий. Если разногласия касаются фактов, нам нужно искать более надежные данные; если — механизмов, нам нужно провести дополнительные исследования и построить модели; если — ценностей, нам нужно вести более откровенное общение и переговоры. Это позволяет превратить эмоциональное принятие чьей-либо стороны в конструктивный процесс решения проблем.

Как применять: в любой острой дискуссии активно выступайте в роли «ведущего». Когда кто-то говорит: «Я против XXX», попросите его уточнить: «Вы против какого-то конкретного факта, лежащего в основе этого предложения, или против логики причинно-следственных связей, лежащих в его основе, или против ценностных целей, к которым оно стремится, или против самой концепции этого предложения?» Постоянно задавая вопросы и добиваясь уточнений, вы сможете распутать запутанную паутину мнений и структурировать их в четыре четкие уровня.

Принцип 3: Классифицировать риски на неправомерное использование, несоответствие целей и системные цепные реакции. (Classify risks into misuse, goal misalignment, and systemic cascades.)

Что это такое: этот принцип требует от нас чётко разделить риски, связанные с ИИ, на три категории в зависимости от их источника и характера: «неправомерное использование», вызванное злонамеренными действиями человека; «несоответствие целей», возникающее из-за несовпадения целей ИИ с намерениями человека; и «системные цепные реакции», вызванные непредвиденным взаимодействием сложных систем.

Почему это важно: разные риски требуют совершенно разных стратегий реагирования. Мы не можем использовать законы и полицию, предназначенные для борьбы с «неправомерным использованием», для решения технических проблем, связанных с «несоответствием целей»; равно как и подход, предназначенный для решения отдельных проблем ИИ, нельзя применять к «каскадным» сбоям всей системы. Классификация позволяет нам точно направлять ограниченные ресурсы на правильные направления защиты.

Как применять: при проведении оценки рисков любого проекта в области ИИ следует в обязательном порядке проводить всесторонний анализ по этим трем измерениям. Например, при разработке ИИ для финансовых транзакций необходимо не только учитывать вероятность его «неправомерного использования» хакерами, но и оценивать, может ли его целевая функция (например, «максимизация прибыли») в экстремальных ситуациях привести к «несоответствию» более высокой ценности — «стабильности рынка», а также проанализировать, не вызовет ли его взаимодействие с другими торговыми ИИ «системный цепной» обвал рынка.

Принцип 4: Превращать дискуссии в конкретные решения. (Translate discussions into concrete decision outputs.)

Что это такое: этот принцип подчеркивает, что конечной целью любого обсуждения должно быть принятие решений и определение направлений действий, а не само обсуждение. Совещания и семинары должны иметь четкую повестку дня, ориентированную на принятие решений, и завершаться составлением четкого «меморандума о принятых решениях» или «перечня действий».

Почему это важно: бесконечные пустые разговоры — это «временная черная дыра» для организаций и общества. Они истощают наши силы и создают иллюзию того, что «мы занимаемся решением проблемы», тогда как на самом деле ничего не меняется. Ориентация обсуждения на принятие решений заставляет нас прямо сталкиваться со сложными компромиссами и нести ответственность за результаты.

Как применять: перед проведением любого важного совещания в организации четко определите: «Какое решение нам необходимо принять на этом совещании?» В конце совещания уделите 10 минут подведению итогов: «По каким вопросам мы достигли консенсуса? Какие разногласия остались? Исходя из этого, каковы наши конкретные дальнейшие действия? Кто за них отвечает? К когдаму сроку?» Превратите такую дисциплину в организационную привычку.

Принцип 5: Замените вербальную корректность замкнутым циклом экспериментов, обратной связи и корректировок. (Replace verbal correctness with a closed loop of experimentation, feedback, and adjustment.)

Что это такое: этот принцип требует от нас отказаться от навязчивой идеи «идеального плана» и принять философию практики, основанную на итеративном развитии. Столкнувшись с неопределённостью, мы должны не вести бесконечные дебаты в поисках «словесной правильности», а как можно скорее воплотить лучшие из имеющихся идей в небольшие «эксперименты» с контролируемым риском, создать механизм для извлечения уроков из «обратной связи», а затем постоянно «корректировать» наши действия.

Почему это важно: в сложных системах реальность является единственным критерием проверки истины. Даже самая убедительная теория может оказаться несостоятельной на практике. Процесс с замкнутым циклом позволяет нам «заплатить небольшую цену за обучение», чтобы избежать «катастрофических ошибок», и гарантирует, что наши представления будут постоянно развиваться в соответствии с изменениями реальности.

Как применять: при внедрении любой важной политики или продукта в области ИИ следует в первую очередь рассматривать «режим песочницы» или «пилотные проекты». Чётко определите границы эксперимента, показатели успеха и механизмы сбора обратной связи. Например, вместо того чтобы вводить на национальном уровне набор нормативных актов по ИИ в медицине, лучше сначала выбрать один или два города в качестве пилотных, протестировать их в течение года под строгим контролем, а затем, на основе собранных данных из реального мира, скорректировать и усовершенствовать нормативные акты, после чего постепенно распространить их на всю страну.

Принцип 6: Чётко определите ключевые переменные: скорость, масштаб, проверяемость, подотчётность и обратимость. (Explicitly define the key variables: speed, scale, verifiability, accountability, and reversibility.

)

Что это такое: при оценке и проектировании систем ИИ мы должны систематически анализировать пять ключевых мета-свойств: насколько быстро развивается система? Каков масштаб её воздействия? Можно ли проверить её поведение и результаты? Можно ли привлечь к ответственности в случае возникновения проблем? Можно ли отменить последствия в случае сбоя?

Почему это важно: эти пять переменных совместно определяют уровень внутреннего риска системы. Система, которая развивается чрезвычайно быстро, имеет огромный масштаб, но при этом не поддается проверке, не позволяет установить ответственность и не допускает отката (например, сверхразум, контролирующий мировые финансовые рынки), представляет чрезвычайно высокий риск, и независимо от того, насколько велики ожидаемые выгоды, на неё должны быть наложены самые строгие ограничения.

Как применять: Составьте на основе этих пяти переменных стандартизированный «чеклист для оценки рисков». Оценивайте по нему любое новое приложение ИИ.Например, алгоритм рекомендаций для личного развлечения отличается высокой скоростью и большим масштабом, но при этом обладает относительно хорошими показателями проверяемости, отслеживаемости ответственности и возможности отката (если пользователю не нравится, он может просто не пользоваться им). А система ИИ, используемая для вынесения уголовных приговоров, имеет крайне низкие показатели отслеживаемости ответственности и возможности отката (ошибочные приговоры трудно исправить), поэтому она должна соответствовать чрезвычайно высоким стандартам проверяемости.

Принцип 7: Предполагайте, что системы будут использоваться не по назначению, и рассматривайте ограничения как исходные данные для проектирования. (Assume systems will be misused, and treat constraints as design inputs.)

Что это такое: это философия «оборонительного проектирования». Она требует, чтобы на начальном этапе проектирования любой системы ИИ мы не исходили из предположения, что все пользователи имеют благие намерения, а по умолчанию предполагали, что система обязательно будет злоупотреблена самыми умными и беспринципными злоумышленниками, которые найдут для этого всевозможные способы. Поэтому ограничения безопасности и этические границы не должны быть исправлениями, добавленными задним числом, а должны быть ключевыми исходными данными при проектировании системы.

Почему это важно: в цифровом мире любая уязвимость, которую можно использовать, рано или поздно будет использована. «Наивный» дизайн в реальном мире неизбежно будет быстро взломан и нанесет огромный ущерб. Учет наихудшего сценария с самого начала позволяет нам создавать более устойчивые системы.

Как применять: на этапе проектирования продукта или системы внедряйте процессы «Red Teaming» (учения «красной команды») или «моделирования угроз» (Threat Modeling). Сформируйте команду, специально призванную играть роль злоумышленников, которая будет рассматривать ситуацию с самых неожиданных точек зрения: «Если бы я хотел использовать эту систему во зло, как бы я это сделал?». Затем преобразуйте эти потенциальные пути атаки в требования безопасности, которые необходимо учесть еще на этапе проектирования.

Принцип 8: Управление неопределённостью с помощью пороговых значений (Manage uncertainty through thresholds).

Что это такое: в условиях глубокой неопределённости попытки точно предсказать будущее являются тщетными. Этот принцип предлагает вместо этого использовать «пороги» (Thresholds). Нам не нужно предсказывать, в какой день нагрянет шторм, но мы можем установить порог: «Когда скорость ветра превысит 100 километров в час, все суда должны вернуться в порт».

Почему это важно: пороговые значения дают нам четкие сигналы к действию в мире, полном неопределенности. Они превращают расплывчатые и постоянные опасения в конкретные и применимые на практике правила. Это значительно снижает когнитивную нагрузку при принятии решений и позволяет реагировать быстро и согласованно.

Как применить: установите пороговые значения для раннего предупреждения по ключевым показателям развития ИИ. Например, мы можем совместно с исследовательским сообществом в области ИИ определить «набор тестов для оценки возможностей ИИ». Когда производительность той или иной модели ИИ на этом тестовом наборе превысит заранее установленный порог (например, способность самостоятельно выполнять 80 % работы программиста), автоматически запускается ряд заранее предусмотренных мер, таких как требование к разработчикам этой модели пройти более строгий независимый аудит безопасности или приостановка дальнейшего масштабирования модели до тех пор, пока её безопасность не будет полностью подтверждена.

Принцип 9: Определяйте верхний предел убытков исходя из наихудшего сценария, а верхний предел инвестиций — исходя из наилучшего сценария. (Define the loss ceiling by the worst-case scenario, and the investment ceiling by the best-case scenario.)

Что это такое: это асимметричная стратегия управления рисками. При принятии решения о целесообразности реализации проекта мы должны задать себе два вопроса: во-первых, каков наихудший сценарий, который может произойти в случае полного провала проекта? Сможем ли мы понести такие убытки? Если нет, необходимо переработать план, чтобы ограничить риск падения. Во-вторых, каков наилучший результат, который может принести этот проект в случае его огромного успеха? Стоит ли эта потенциальная выгода того, чтобы мы вложили в него имеющиеся ресурсы?

Почему это важно: этот принцип заставляет нас действовать, ориентируясь на конечный результат, и ставить выживание на первое место. Мы должны отвергать те ставки, которые могут принести неограниченную выгоду, но в то же время сопряжены с «разрушительными» рисками падения (например, опрометчивая разработка неконтролируемого сверхразума). В то же время он не позволяет нам вкладывать чрезмерные ресурсы в проекты, выгода от которых, даже в случае успеха, будет ограниченной.

Как применять: при запуске проекта или принятии инвестиционных решений проводите анализ «предварительного вскрытия» (pre-mortem). Представьте, что через год этот проект потерпел полный провал, и затем совместно обсудите: «Что стало причиной этой катастрофы?» Это поможет заранее выявить и избежать наиболее серьезных рисков. Одновременно следует провести анализ «предварительного празднования» (pre-parade), представив себе сценарий, при котором проект увенчался огромным успехом, чтобы оценить, действительно ли его потенциальная выгода достаточно привлекательна.

Принцип 10: Когда доказательства меняются, выводы должны обновляться. (When the evidence changes, conclusions must be updated.)

Что это такое: это краеугольный камень научного духа и рационального мышления. Он требует от нас рассматривать свои убеждения и выводы как «временные гипотезы», основанные на текущих доказательствах, а не как вечные истины. Когда появляются новые, веские доказательства, противоречащие нашим существующим выводам, мы должны иметь мужество и дисциплину, чтобы скорректировать или даже опровергнуть наши прежние взгляды.

Почему это важно: в быстро меняющейся области упрямство является самым опасным. Отказ от обновления выводов равносилен вождению, глядя только в зеркало заднего вида. Единственный способ идти в ногу со временем — это сохранять открытость и гибкость нашей когнитивной системы, всегда готовой к «обновлению» под влиянием новых фактов.

Как применять: регулярно проводите «совещания по пересмотру выводов». Каждый квартал или каждые полгода пересматривайте некоторые из наших ключевых стратегических суждений: проверяйте, остаются ли в силе доказательства, на которых они основаны, и появились ли новые доказательства. Поощряйте членов команды, особенно тех, кто придерживается иного мнения, оспаривать общепринятые выводы. Рассматривайте фразу «Я изменил своё мнение, потому что новые данные показывают…» как поведение, заслуживающее поощрения, а не как проявление слабости.

Мы заложили системную методологическую основу для решения самого серьезного вызова этого столетия — суперинтеллекта. С самого начала мы четко указали, что перед лицом будущего, полного неопределенности, наша задача заключается не в тщетных попытках его «предсказать», а в том, чтобы с помощью строгого инженерного мышления превратить его в проблему, которую можно «управлять». Для этого мы создали триединую концептуальную модель.

Во-первых, посредством многоуровневого обсуждения мы разбили воздействие сверхразума на пять уровней: индивидуальный, организационный, правительственный/общественный, геополитический и цивилизационный, четко определив уникальные риски и возможности каждого из них. Это позволило нам избежать общих и поверхностных дискуссий и перейти к точному и целенаправленному анализу.

Во-вторых, с помощью классификационного подхода к управлению мы сгруппировали многочисленные и сложные риски в три типа, имеющих совершенно разные характеристики: неправомерное использование, несоответствие целей и системные цепные реакции. Эта классификация позволяет нам подбирать подходящие и совершенно разные решения для угроз различного происхождения — будь то правовое сдерживание, технологическая согласованность или меры по повышению системной устойчивости.

Наконец, что является самым важным, мы предложили методологию, позволяющую преобразовать дискуссии в конкретные действия. С помощью рамки «факты — механизмы — ценности — действия» мы можем деконструировать любые сложные разногласия и найти точки соприкосновения для достижения консенсуса. А благодаря замкнутому циклу «эксперимент — обратная связь — корректировка» мы можем в постоянно меняющемся мире, посредством непрерывного обучения и итеративных улучшений, уверенно продвигаться к нашей цели.

Все эти размышления в конечном итоге сконцентрированы в десяти ключевых принципах, пригодных для практического применения. Они являются «метаправилами» для всего последующего анализа в этой книге, а также инструментами мышления, которые мы надеемся, что каждый читатель сможет взять на вооружение и применить на практике. Эпоха сверхинтеллекта уже началась, и преобразования, которые она принесет, будут глубокими и радикальными. Мы не можем пассивно ждать и тем более полагаться на удачу. Единственный выход — активно принять вызов и с помощью нашего разума и дисциплины сформировать то будущее, которое мы хотим видеть.

Список действий

Мы призываем читателей немедленно применить принципы этой главы в своей работе и мышлении, превратив абстрактные знания в конкретные действия:

Для частных лиц: начните сознательно формировать свою «ИИ-грамотность». Выберите один из ИИ-инструментов, которыми вы пользуетесь в повседневной жизни (например, поисковую систему, алгоритм рекомендаций или чат-бота), и попытайтесь понять его основные принципы работы и потенциальные предубеждения. Оцените возможное влияние ИИ на вашу профессию в ближайшие пять лет и составьте предварительный план освоения новых навыков.

Для руководителей организаций: инициируйте в своей команде или организации стратегическое обсуждение на тему «Наши риски и возможности в области ИИ». Попытайтесь использовать представленные в этой главе концепции «иерархии» и «классификации», чтобы помочь команде составить всеобъемлющую карту влияния ИИ на вашу организацию. В качестве первого шага попробуйте разработать «Предварительные этические принципы использования ИИ» для вашей организации.

Для разработчиков политики и руководителей государственного сектора: продвигайте создание в вашем учреждении или городе базы данных «обратной связи» по вопросам безопасности и этики ИИ, предназначенной для регистрации и анализа различных проблем, вызванных системами ИИ. В рамках ваших полномочий изучите возможность запуска небольшого проекта «регуляторной песочницы», который станет полигоном для ответственных инноваций в области ИИ.

Для всех читателей: в следующий раз, когда вы будете участвовать в острой дискуссии об ИИ или наблюдать за ней со стороны, не спешите принимать чью-либо сторону. Попытайтесь проанализировать аргументы обеих сторон в уме, используя схему «факты — механизмы — ценности — действия». Вы обнаружите, что это поможет вам проникнуть сквозь туман эмоций, более четко понять суть спора и сформировать собственное, более взвешенное суждение.

Глава 1. Сверхинтеллект — это не продукт, а сила / Chapter 1 Superintelligence Is Not a Product, It’s a Force