На пороге сверхразума. Как ИИ изменит работу, обучение и общество

Принцип 2: Уделять приоритетное внимание оценке его влияния на власть и распределение ресурсов (Prioritize Assessing Its Impact on Power and Distribution)

Изложение принципов: При оценке новой технологии искусственного интеллекта мы не должны задавать только вопрос «Насколько она повысит эффективность?», а должны в первую очередь спросить: «Как она изменит баланс сил?» и «Как она повлияет на распределение богатства и возможностей?». Это требует от нас поставить анализ власти и справедливость распределения в центр управления искусственным интеллектом. Почему это важно: История развития технологий неоднократно доказывала, что огромный рост эффективности, если он не сопровождается механизмами справедливого распределения и эффективным сдерживанием и противовесом власти, в конечном итоге приводит лишь к усугублению неравенства и социальным потрясениям.

Игнорирование вопросов власти и распределения равносильно заложению в обществе «бомбы замедленного действия». Как применять: Любой крупный проект или политическая мера в области ИИ должны проходить «оценку воздействия на власть и распределение» (Power and Distribution Impact Assessment). Такая оценка должна проводиться независимой сторонней организацией и обнародоваться. Результаты оценки должны служить ключевым основанием для утверждения проектов или разработки политики. Кроме того, следует изучить возможность введения таких механизмов, как «налог на ИИ» или «дивиденды от данных», чтобы часть доходов, полученных от развития ИИ, направлялась на поддержку групп населения и сообществ, подвергшихся негативному воздействию.

Принцип 3: Одновременная оценка эффектов первого порядка и каскадных эффектов второго порядка (Assess First-Order Effects and Second-Order Cascading Effects Simultaneously)

Формулировка принципа: Эффекты первого порядка — это прямые и предсказуемые результаты применения технологии, например, автоматизация повышает производительность. Эффекты второго порядка — это цепные реакции, вызванные этими прямыми результатами, например, повышение производительности приводит к монополизации отрасли, а монополизация, в свою очередь, ведет к концентрации политического влияния. Этот принцип требует, чтобы при принятии решений мы обязательно связывали эти два вида эффектов и проводили их комплексную оценку. Почему это важно: Недальновидность человеческих решений зачастую обусловлена игнорированием вторичных эффектов.

Мы часто поддаемся соблазну краткосрочной выгоды от первичных эффектов, упуская из виду долгосрочные системные риски, которые они могут вызвать. В случае таких технологий с далеко идущими последствиями, как сверхразум, такая недальновидность может оказаться фатальной. Как применять: Использовать методы системно-динамического моделирования, сценарного анализа и т. д. для моделирования и прогнозирования потенциальных цепных эффектов применения ИИ. Создать механизм «Red Teaming» (упражнения «красной команды»), специально предназначенный для выявления и оценки потенциальных негативных цепных реакций с противостоятельной точки зрения. Лица, принимающие решения, должны быть полностью готовы к возможному «наихудшему сценарию» и разработать соответствующие планы действий.

Принцип 4: Предполагать, что в долгосрочной перспективе скорость распространения будет превышать скорость институционального реагирования (Assume Diffusion Speed Will Outpace Institutional Response Speed in the Long Run)

Изложение принципа: Скорость распространения технологий, особенно цифровых, носит экспоненциальный характер. В то же время скорость эволюции социальных институтов (законов, нормативных актов, этических норм) является линейной и постепенной. Мы должны принять такой фундаментальный факт: реакция институтов всегда будет отставать от развития технологий. Мы не можем рассчитывать на то, что проблемы будут решены с помощью законодательства уже после их появления. Почему это важно: Такое несоответствие в темпах означает, что модель «сначала развитие, потом регулирование» не работает.

К моменту, когда мы замечаем проблему, технологии, возможно, уже глубоко внедрились в социальную структуру, и изменить ситуацию будет сложно. Это требует от нас применения более адаптивного и устойчивого подхода к регулированию. Как применять: Перейти от «жесткого права» (Hard Law, например, конкретные положения законов) к «мягкому праву» (Soft Law, например, отраслевые стандарты, передовые практики, этические нормы) и «коду как закону» (Code as Law, то есть непосредственное встраивание правил управления в техническую архитектуру). Стимулировать разработку «управляемого ИИ» (Governable AI), то есть встраивать на этапе проектирования технологии механизмы, обеспечивающие безопасность, прозрачность, возможность аудита и вмешательства. Создать «регуляторную песочницу» (Regulatory Sandbox), позволяющую тестировать новые приложения ИИ и соответствующие правила регулирования в контролируемой среде.

Принцип 5: Определение безопасности через границы (Define Safety by Boundaries)

Изложение принципа: В случае сложной системы, которую мы не можем полностью понять, невозможно точно определить и контролировать все её поведения. Более эффективный подход заключается в установлении чётких, непреодолимых «границ». Пока поведение системы не затрагивает эти границы, мы можем позволить ей автономно функционировать в их пределах. Эти границы могут быть как этического характера (например, «не причинять вреда людям»), так и технического (например, «не допускать доступа к сетям определённых объектов критической инфраструктуры»). Почему это важно: по мере усиления возможностей ИИ его поведение будет становиться всё более непредсказуемым.

Попытки ограничить его с помощью исчерпывающих правил столь же тщетны, как попытки установить правила для каждой капли воды в океане. Парадигма безопасности, основанная на границах, признает наше незнание и переносит акцент с «контроля над его поведением» на «ограничение его вреда». Как применять: Разработать технологию «опекунства над ИИ» (AI Guardianship), то есть создать независимые системы ИИ, единственной функцией которых будет мониторинг поведения других систем ИИ, чтобы гарантировать, что они не пересекают заданные границы. В ключевых областях следует применять подход «человек в цикле» (Human-in-the-loop) или «человек в контуре» (Human-on-the-loop), чтобы гарантировать, что при принятии ИИ решений, сопряженных с высоким риском, человек будет осуществлять окончательную проверку и иметь право вето. В отношении наиболее опасных способностей ИИ (таких как способность к самовоспроизведению и самосовершенствованию) следует рассмотреть возможность принятия международных договоров, предусматривающих строгие ограничения или запреты.

Принцип 6: Создание карт зависимостей для выявления единичных точек отказа (Create Dependency Maps to Identify Single Points of Failure)

Изложение принципа: По мере того как системы искусственного интеллекта всё глубже проникают во все сферы функционирования общества, наше общество будет всё больше зависеть от этих систем. Нам необходимо систематически составлять «карты зависимости» ключевых функций общества (таких как энергосистема, финансовая система, цепочки поставок) от конкретных систем или платформ искусственного интеллекта, чтобы выявлять потенциальные «единственные точки отказа» (Single- Points of Failure). Почему это важно: Кажущаяся безобидной ИИ-служба (например, широко используемый ИИ для оптимизации кода) в случае сбоя или злонамеренной атаки может привести к цепной аварии всей цифровой инфраструктуры. Чрезмерная зависимость от единой централизованной ИИ-платформы сделает все общество чрезвычайно уязвимым. Как применять: Государственные регулирующие органы должны требовать от операторов критически важной инфраструктуры регулярно представлять отчеты о зависимости от ИИ и проводить стресс-тесты. Необходимо поощрять и финансировать развитие открытых и децентрализованных технологий и платформ ИИ, чтобы обеспечить альтернативы и избежать чрезмерной зависимости от небольшого числа компаний. Следует создать национальный центр реагирования на чрезвычайные ситуации в сфере безопасности ИИ, который будет отвечать за мониторинг и реагирование на системные риски, вызванные системами ИИ.

Принцип 7: Рассматривать возможности отката, понижения версии и переключения как часть инфраструктуры (Treat Rollback, Downgrade, and Switchover Capabilities as Infrastructure)

Изложение принципов: Мы должны признать, что, какими бы усилиями мы ни занимались, в системах ИИ по-прежнему могут возникать серьезные и непредсказуемые сбои. Поэтому мы должны создавать инфраструктуру «исправления ошибок» как элемент, не менее важный, чем сама система ИИ.Это включает в себя: возможность «отката» системы к предыдущей стабильной версии; возможность «понижения уровня» системы в случае возникновения проблем до режима с меньшим набором функций, но более безопасного; а также возможность быстрого «переключения» на резервную систему в случае выхода из строя основной системы. Почему это важно: это подход, ориентированный на конечный результат. Он признает вероятность сбоев и предполагает подготовку к ним. В обществе, в значительной степени зависящем от ИИ, один серьезный инцидент с ИИ без наличия мощных средств исправления ошибок может привести к катастрофическим и необратимым последствиям. Как применять: включить «возможность отката», «возможность понижения уровня» и «возможность переключения» в качестве обязательных требований в стандарты проектирования и закупки систем ИИ. Регулярно проводить «учения по восстановлению после аварий», чтобы проверить эффективность этих средств исправления ошибок в различных сценариях сбоев. Для критически важных социальных функций сохранять не связанные с ИИ, ручные резервные сценарии работы в качестве последней страховочной сетки.

Принцип 8: Рассматривать повышение эффективности как усиление власти (Treat Efficiency Gains as Power Gains)

Изложение принципа: Этот принцип требует от нас сохранять бдительность в отношении понятия «эффективности». Всякий раз, когда новая технология обещает значительное повышение эффективности, мы должны немедленно интерпретировать это как «усиление власти» и задуматься о том, в чьи руки перейдет эта новая власть и как ее сбалансировать. Почему это важно: «Эффективность» — это обманчивый, деполитизированный термин. Его часто используют в качестве оправдания для проведения реформ, при этом скрывая глубокий смысл власти, который за ним стоит. Если мы не сможем проникнуть сквозь эту завесу «эффективности», мы не сможем понять, какие реальные изменения происходят на самом деле. Как применять: В публичных дискуссиях и политических дебатах сознательно используйте такие термины, как «власть» и «контроль», вместо «эффективности» и «оптимизации». В новостных репортажах и научных исследованиях уделяйте больше внимания влиянию технологий ИИ на структуры власти и расстановку интересов, а не только на их технические характеристики и экономическую эффективность. Развивайте у общественности «грамотность в вопросах власти», чтобы люди могли критически оценивать различные утверждения об эффективности технологий.

Принцип 9: Разделение высокоскоростных систем и систем с высоким уровнем безопасности (Isolate High-Speed Systems from High-Security Systems)

Формулировка принципа: Различные социальные функции предъявляют разные требования к скорости и безопасности. В таких областях, как финансовые транзакции и социальные сети, приоритетом являются высокая скорость и эффективность. В то же время в таких сферах, как контроль над ядерным оружием и управление критически важной инфраструктурой, приоритетом являются чрезвычайно высокие уровни безопасности, стабильности и надёжности. Мы должны обеспечить строгое физическое и сетевое разделение этих двух типов систем на уровне системной архитектуры. Почему это важно: Подключение систем с высоким уровнем безопасности к высокоскоростным и высокорисковым сетям чрезвычайно опасно.

Это подвергает критически важные системы риску различных потенциальных атак и непредвиденных сбоев со стороны внешних сетей. Небольшая ошибка искусственного интеллекта, работающего в социальной сети, может привести лишь к появлению некорректных комментариев; однако крошечная ошибка искусственного интеллекта, работающего в системе контроля над ядерным оружием, может привести к глобальной катастрофе. Как применять: Использовать такие технологии, как «воздушный зазор» (Air Gap), чтобы обеспечить физическую изоляцию наиболее критически важных систем от Интернета. Для систем с высоким уровнем безопасности следует разрабатывать специальные, упрощенные и легко проверяемые модели ИИ, а не использовать напрямую универсальные, сложные и непрозрачные модели ИИ. В сферах с высоким уровнем безопасности следует строго ограничивать автономность ИИ, обеспечивая, чтобы человек всегда обладал окончательным контролем и правом вето.

Принцип 10: Сделать ключевые допущения явными (Make Key Assumptions Explicit)

Формулировка принципа: Проектирование и внедрение любой системы искусственного интеллекта основано на ряде «допущений» о том, как устроен мир, что является «хорошим» результатом и как должна действовать система. Эти допущения зачастую остаются скрытыми и не подвергаются критическому анализу. Данный принцип требует от нас четко и открыто формулировать эти ключевые допущения и подвергать их общественному обсуждению и критическому анализу. Почему это важно: Скрытые допущения являются источником предвзятости и рисков. ИИ, используемый при подборе персонала, может скрывать допущение о том, что «успех в прошлом является лучшим предсказателем успеха в будущем», что приводит к систематической дискриминации соискателей из нетрадиционных слоёв общества.

ИИ, используемый в городском планировании, может скрывать допущение о том, что «максимизация транспортного потока является первостепенной задачей», что происходит в ущерб комфорту проживания в районе и безопасности пешеходов. Только сделав предположения открытыми, мы сможем начать конструктивную демократическую дискуссию о том, каким мы хотим видеть наше общество. Как применять: продвигать такие практики, как «карточки моделей» (Model Cards) и «технические паспорта наборов данных» (Datasheets for Datasets), требуя от разработчиков ИИ четко указывать цели проектирования их моделей, сферу применения, результаты оценки, а также ключевые предположения, лежащие в их основе. Создать платформы, открытые для участия общественности, где можно обсуждать и голосовать по допущениям, лежащим в основе систем ИИ в ключевых сферах (таких как правосудие, здравоохранение, образование). Сделать «прозрачность допущений» одним из важных критериев при закупке услуг ИИ государственным сектором.

Резюме главы и перечень действий

Основная идея данной главы заключается в том, что мы должны понимать сверхинтеллект как глубокую, генеративную структурную силу, а не как продукт или инструмент. Его фундаментальное отличие от обычных технологий, работающих по принципу итерации, заключается в том, что он не только повышает эффективность, но и перестраивает границы возможного, вызывая непредсказуемые системные явления. Эта сила коренным образом меняет распределение полномочий по принятию решений тремя способами: переносит их от людей к машинам, от большинства к меньшинству и скрывает их в непрозрачном «черном ящике» алгоритмов. Повышение эффективности — это не просто экономическая выгода; оно напрямую приводит к концентрации экономической и политической власти и оказывает беспрецедентное давление на существующие системы социального распределения, глобальный военный баланс и системы управления.

Перед лицом этого вызова нам нужна совершенно новая концепция, выходящая за рамки традиционных парадигм управления технологиями. Десять ключевых принципов, представленных в этой главе, служат фундаментом для такой концепции. Суть этих принципов заключается в следующем: противопоставить системное мышление линейному, бдительность в отношении власти — слепому верованию в эффективность, дальновидное проектирование — пассивному реагированию, а демократическое обсуждение — авторитарным решениям элиты.

Путь к освоению сверхразума будет долгим и трудным. Это потребует не только технологических прорывов, но и политической мудрости, этической смелости и институциональных инноваций. Мы стоим на перепутье: сегодняшний выбор определит, станет ли эпоха сверхразума следующим «золотым веком» человеческой цивилизации или же началом нашего окончательного потери контроля.

План действий

Для политиков: Незамедлительно создать стратегический совет по суперинтеллекту на национальном уровне для координации мер по решению системных вызовов, связанных с его развитием. Включить «оценку власти и распределения влияния» в обязательную процедуру при разработке всех важных политических мер и проектов в области ИИ. Инвестировать в создание инфраструктуры «адаптивного управления», включая регуляторные «песочницы», центры экстренного реагирования в сфере ИИ и системы восстановления после аварий. Активно участвовать в глобальном диалоге по вопросам безопасности ИИ, контроля над вооружениями и управления данными, а также содействовать его развитию, создавая рамки международного сотрудничества.

Для руководителей компаний: создать на уровне совета директоров независимый комитет по этике и корпоративному управлению, который будет осуществлять надзор за стратегией компании в области ИИ. Внедрить принципы «безопасности по дизайну» (Safety by Design) и «этики по дизайну» (Ethics by Design) во весь процесс разработки и производства продукции. Проактивно раскрывать ключевые допущения, оценки рисков и меры по их снижению, связанные с системами ИИ, для повышения прозрачности. Направлять часть прибыли на проекты, направленные на поддержку исследований в области этики ИИ, повышение цифровой грамотности общественности и оказание помощи сообществам, подверженным негативному воздействию.

Для исследователей: расширить фокус исследований с простого стремления к повышению производительности на такие области, как безопасность, объясняемость, справедливость и управляемость ИИ. Разрабатывать новые теории и инструменты для понимания и прогнозирования эмерджентного поведения и системных рисков сложных систем ИИ. Активно участвовать в обсуждении государственной политики, предоставляя лицам, принимающим решения, научные и объективные экспертные рекомендации.

Для каждого гражданина: Проявлять инициативу в изучении и понимании основных знаний о сверхразуме и его потенциальных социальных последствиях, преодолевая «страх перед технологиями» или «слепое поклонение». Критически оценивать различные дискурсы в СМИ и корпоративном секторе по поводу ИИ, особенно те нарративы, которые провозглашают его «неизбежность». Активно участвовать в соответствующих общественных дискуссиях, общественных мероприятиях и политических процессах, высказываясь в пользу того будущего, которое мы хотим.

Глава 2. Сущность разрыва в интеллекте заключается в невозможности проверки / Chapter 2: The Intelligence Gap Creates Unverifiability