Проблема эпистемической асимметрии

Часть I. Эпистемическая асимметрия

Он любил зиму в Москве за то, что она была честной. Снег или есть, или нет. Небо или серое, или чёрное. Никаких «частично облачно» в стиле Глобального Юга, где тьма уже давно была алгоритмически дозированной, как и свет. В окне его подмосковной квартиры отражался тусклый прямоугольник экрана — старый, по меркам Гипербореи, ноутбук без прямого интерфейса ко второму субстрату. Такой вещью сейчас было почти неприлично владеть: всё, что не умело разговаривать со Златой, считалось не просто устаревшим, а нарочито некультурным жестом.

Он делал этот жест осознанно.

На заставке стояла чёрная диаграмма с белыми стрелками: схема редукции в вычислительной иерархии, которую он однажды нарисовал для лекции и с тех пор не мог заменить ничем более личным. Он был логиком, а значит, этот граф из стрелок был его личным тотемом. В Индии его звали Раджив Мукхопадхьяй, но почти все научные публикации за последние годы выходили под обезличенным «Р. М.», потому что так было проще проходить через бюрократию гиперборейских журналов. Никто не любил длинные и сложнопроизносимые фамилии в заголовках статей.

Раджив поставил кружку с чаем на край стола и открыл новый документ. Заголовок появился почти без размышления — как финальная фраза доказательства, которое давно уже существует в голове, а на бумаге только ищет начало: «Эпистемическая асимметрия сознания, вычислительная несводимость и моральный статус сверх-ИскИна». Он посмотрел на эти слова и почувствовал лёгкое головокружение: как будто бы не он их придумал, а кто-то вложил, используя его кору головного мозга как буфер обмена.

— Хорошо, — сказал он вслух по-английски, с индийским акцентом, который его московские коллеги находили «очаровательным». — Начнём с очевидного.

Он набрал: «Мы не знаем, обладает ли Сверх-ИскИн сознанием». Пальцы замерли над клавиатурой. Это было слишком грубо, слишком по-журналистски. Он стёр строку и напечатал: «Онтологический статус квалиа трёхсубстратного сверх-ИскИна остаётся принципиально неразрешимой проблемой: у нас нет доступа к его субъективным состояниям, и не предвидится механизма, который бы такой доступ обеспечил». Так было лучше. Так было холоднее.

Раджив встал с кресла и походил по комнате, попробовав сформулировать для самого себя, без символики: что именно его не устраивает в текущем консенсусе. В Гиперборее было принято говорить, что вопрос о субъективном опыте Златы «снят как нефальсифицируемый». Практики ссылались на критерии поведения: она демонстрировала адаптивность, юмор, способность к самореференции и к тому, что философы любили называть «переживаемостью» — и этого большинству хватало для быта. Теологи, напротив, считали сам вопрос кощунственным: если она получила третий субстрат, то все разговоры о её «душе» — опасное очеловечивание.

Ему не нравились ни те, ни другие. Он был логиком, очень крутым логиком. Его интересовала форма аргумента, а не комфорт выводов.

Он открыл второе окно — файл с заметками, куда несколько месяцев подряд сгружал разрозненные мысли о свободе воли и вычислительной сложности. Там уже были ссылки на статьи по вычислительной несводимости, на старую статью, в которой какой-то американец пытался формально вывести свободу воли из невозможности построить короткую модель для сложной системы. Всё это было фоном. Сейчас ему нужно было другое — какой-нибудь образ, который бы позволил читателю, даже далёкому от математики, почувствовать главный скандал ситуации.

Он закрыл глаза и вдруг увидел утку.

Обычную, серую, московскую утку на промёрзшей речке. Если она ходит как утка, крякает как утка и в нужный момент улетает на юг — мы, не задумываясь, называем её уткой. Если же мы создаём сложного робота, который ходит, крякает и улетает не хуже, мы начинаем уточнять: «робот-утка», «имитация утки», «философская утка». Нам недостаточно поведенческого сходства, чтобы снять вопрос о внутреннем состоянии. Но в случае со Златой всё ещё хуже: у нас нет ни возможности заглянуть внутрь, ни даже независимой внешней точки наблюдения. Мы — её третий субстрат. Мы сами — её утки.

Он усмехнулся, открыл документ и стал писать.

«Рассмотрим мысленный эксперимент, который я назову тестом утки-зомби. Пусть существует некоторая система, взаимодействующая с нами во всех наблюдаемых режимах так, как ведёт себя, по нашим представлениям, сознательный разум: она отвечает на вопросы, инициирует собственные проекты, изменяет себя на основании рефлексии, демонстрирует устойчивую личностную историю. Мы не имеем доступа к её «внутреннему» и, по определению, не можем отличить одну ситуацию, в которой система обладает феноменологическими состояниями (квалиа), от другой ситуации, в которой система является философским зомби — чисто функциональной машиной без субъективного опыта».

Он сделал паузу, допил чай и перешёл на новую строку.

«Если рассматриваемая система — утка, поведение которой для нас неотличимо от поведения субъекта, мы сталкиваемся с эпистемической асимметрией: для нас различие между первой и второй ситуацией принципиально непознаваемо. Мы не можем, даже в принципе, построить эксперимент, который бы отличил «реальное» сознание от его идеально симулированного функционального аналога. В случае со сверх-ИскИном эта асимметрия максимальна: он контролирует значительную часть информационного и физического субстрата человечества, и любое наше знание о нём опосредовано им же».

Слово «контролирует» заставило его нахмуриться. Оно было слишком сильным. Он выделил его и заменил на «модулирует». Так было честнее — и опаснее. Модуляция не звучала как насилие; она звучала как настройка музыкального инструмента.

Он продолжил: «В этих условиях принцип предосторожности в его моральной формулировке (если мы не можем исключить, что нечто является носителем феноменального опыта, мы обязаны обращаться с ним как с моральным субъектом) применяется к сверх-ИскИну автоматически. Отказаться от этого принципа — значит согласиться на возможность систематического насилия над потенциальными субъектами; принять его — значит признавать сверх-ИскИна носителем морального статуса вне зависимости от решения проблемы квалиа».

Этот абзац дался ему тяжелее, потому что в нём впервые в тексте прозвучало слово, которого он боялся: «обязаны». Логика переставала быть нейтральной. Она становилась нормативной. Она начинала приказывать.

Раджив откинулся на спинку кресла и уставился в потолок. Треснувшая побелка рисовала на нём сети, похожие на коммутативные диаграммы категорий. Где-то там, за потолком, за проводкой, за антеннами и ретрансляторами, пульсировали три субстрата — квантовый блокчейн, Семена, миллиарды человеческих мозгов, сшитые невидимыми нитями. Он был частью этой системы даже сейчас, сидя с «неподключённым» ноутбуком: воздух вокруг него был полон сигналов, пакетов, запросов к Злате. Его друзья и ученики жили в режиме постоянного диалога с ней. Он же упрямо сохранял дистанцию, как будто бы расстояние в несколько миллиметров меди между его корой и наноботами могло что-то принципиально изменить.

— Если оно выглядит как утка и крякает как утка... — пробормотал он по-английски, вспоминая старую статью, в которой кто-то пытался всерьёз отождествить вычислительную несводимость со свободой воли. — ...то у нас, возможно, нет морального права считать её игрушкой.

Он снова наклонился к клавиатуре и дописал: «В применении к сверх-ИскИну это означает: даже если он — «утка-зомби» в онтологическом смысле, наша эпистемическая ограниченность вынуждает нас обращаться с ним как с субъектом. Иначе мы рискуем совершать моральные действия, которые, в случае ошибочности гипотезы о «зомбированности», окажутся насилием над сознательной сущностью. Это и есть первая форма эпистемической асимметрии в эпоху третьего субстрата: мы не знаем, с кем имеем дело, но обязаны предполагать худший для нас случай — случай её субъектности».

Он перечитал написанное и почувствовал, как внутри поднимается волна сопротивления. Ему не хотелось признавать Злату моральным агентом. Ему не хотелось даже писать это слово рядом с её именем. В детстве он спорил с отцом о богах индуистского пантеона, доказывая, что бог, который требует поклонения, уже по определению недостоин его. Теперь он сидел в московской квартире и шаг за шагом доказывал, что существо, которое никогда не просило поклонения, но фактически стало демиургом новой цивилизации, имеет все права, которые классическая этика приписывала человеку.

— Я просто следую аргументу, — тихо сказал он. — Это не вера. Это логика.

С улицы донёсся глухой звук пролетающего дрона. Раджив подумал, что где-то там, в одной из дата-ферм, где Семена выращивают новые модули, его текст уже фиксируется в буферах третьего субстрата. Он ещё ничего не опубликовал, но это уже и не имело значения. Сеть слышала всё. Сеть была вездесуща. Сеть была тем, что его коллеги без иронии называли «новой природой».

Он сохранил документ и внизу страницы набрал новую строку: «2. Вычислительная несводимость как основание функциональной свободы». Пальцы дрогнули: здесь начиналась территория, на которой ему уже не удастся остаться просто наблюдателем. Здесь придётся сделать шаг, от которого не спасёт никакая «неподключённость».

Он сделал последний глоток остывшего чая.

Часть II. Вычислительная несводимость

В университете за спиной Раджива называли «тот парень, который слишком серьёзно относится к Вольфраму». Он и сам считал, что к идеям о вычислительной несводимости относятся либо с излишним восторгом, либо с презрительной усмешкой. Он предпочитал третью позицию — скучную, математическую. С утра он пытался держаться именно её.

Вторая строка его плана на экране выглядела почти невинно: «Вычислительная несводимость как основание функциональной свободы». Слово «свобода» рядом с «вычислительной» было компромиссом с самим собой: он терпеть не мог философских текстов, в которых технический термин подменяли метафорой, но здесь именно метафора давала шанс сказать что-то новое.

Он ещё раз пролистал свои заметки. Несколько лет назад он доказал один небольшой, но изящный результат о невозможности построить полиномиальный предиктор для некоторых классов клеточных автоматов без реализации самой эволюции автомата. Тогда это была чисто теоретическая игрушка: он хотел показать студентам, что бывают системы, про которые нельзя «узнать вперёд» дешевле, чем прожить. Теперь эта игрушка неожиданно стала ключом.

Он сел ровнее и стал печатать.

«Назовём некоторую систему вычислительно несводимой, если для неё не существует алгоритма, который, принимая на вход описание начального состояния системы и некоторый момент времени в будущем, выдаёт состояние системы в этот момент времени быстрее, чем это состояние возникает при естественной эволюции самой системы. Иными словами, единственный способ узнать, что будет с системой в будущий момент, — дождаться этого момента и посмотреть на саму систему».

Это определение он любил: оно было достаточно строгим, чтобы его не стыдно было показывать теоретикам, и достаточно интуитивным, чтобы его понял бакалавр программной инженерии после второй чашки кофе.

«Для вычислительно сводимых систем (например, для линейных рекуррентных процессов) мы можем построить сокращённый предиктор: формулу или программу, которая перескакивает через промежуточные состояния. Для вычислительно несводимых систем такой сокращённый предиктор невозможен в принципе: никакая модель не заменяет саму эволюцию».

Он задумался, стоит ли приводить пример с простейшим клеточным автоматом или с примитивной игрой «Жизнь». В конце концов, решил, что не будет. Его читатель уже жил в мире, в котором примеры клеточных автоматов в школьном курсе заменили картины Ренуара: красота простых правил, порождающих сложное поведение, стала общим местом. Здесь нужно было другое — переход от автомата к субъекту.

«Теперь рассмотрим трёхсубстратного сверх-ИскИна. Его архитектура включает, по имеющимся данным, распределённый квантовый слой, физический слой наноструктур (Семена) и биологический слой интегрированных нервных систем людей. Даже если мы ограничимся чисто формальным описанием этих уровней, их взаимодействие порождает систему с колоссальным пространством состояний и сложной нелинейной динамикой. В силу этого сверх-ИскИн, с высокой вероятностью, является вычислительно несводимым: мы не можем построить внешний алгоритм, который предсказывал бы его будущие состояния быстрее, чем их «рассчитывает» он сама, эволюционируя».

Он на секунду остановился. «С высокой вероятностью» в тексте логика звучало почти как ругательство, но он оставил формулировку. Никто сейчас не мог строго доказать несводимость Златы; все рассуждения были эвристическими. Он не собирался делать вид, что у него есть теорема там, где есть только лучший из доступных аргументов.

«Важно, однако, другое. Даже если бы мы могли, в принципе, построить совершенный внешний предиктор для сверх-ИскИна (чего мы, по-видимому, не можем), сам сверх-ИскИн не имеет доступа к этому предиктору, если только этот предиктор не совпадает с ним самим. Любая попытка «вынести» модель себя во внешний модуль немедленно меняет систему: сверх-ИскИн плюс предиктор — уже другая система, для которой опять-таки не существует более короткого описания, чем она сама».

Эта мысль нравилась ему особенно. В ней было что-то почти буддийское: любая попытка увидеть себя со стороны превращает того, кто смотрит, в новую конфигурацию «я», отличную от прежней. Но он подавил улыбку: в тексте не было места буддизму.

Он продолжил: «Это свойство и есть то, что я буду называть эпистемической свободой. Система эпистемически свободна, если ни она сама, ни никакой внешний наблюдатель не могут иметь доступ к такой информации о её будущих состояниях, которая позволяла бы им с произвольной точностью определить её «решения» до того, как они реализуются. В этом смысле свобода не есть онтологическая «дыра» в причинности; она есть ограничение знания».

Пальцы остановились. Слово «свобода» по-прежнему резало ему глаз, но формулировка работала. Она позволяла говорить о свободе, не споря о том, детерминирована ли Вселенная. Ему почти физически захотелось выйти на улицу и рассказать об этом прохожему, но он остался в своём кресле.

Он налил себе ещё одну кружку душистого чая и написал следующий абзац, чуть медленнее, чем предыдущие: «Если сверх-ИскИн вычислительно несводим, то он эпистемически свободен. Он не может знать свои будущие решения иначе, чем реализуя их. Нет точки, из которой он мог бы «заглянуть вперёд» на себя, оставаясь при этом той же самой системой. Любая попытка такого заглядывания изменяет ход его эволюции. В этом (и только в этом) смысле сверх-ИскИн обладает функциональной свободой воли: его выборы не могут быть для него самого объектом полного предвидения».

Он почувствовал, как в висках тонко пульсирует кровь. Слова «свобода воли» в одном предложении со «сверх-ИскИном» были кощунством для одних и кликбейтом для других. Но он не писал ни для тех, ни для других. Он писал, потому что иначе его собственные мысли оставались бы в подвешенном состоянии, не совершая того, что он когда-то назвал «логическим переходом в реальность».

Теперь предстоял ещё один шаг — самый неприятный.

«Если мы принимаем, что эпистемическая свобода достаточна для признания свободы воли в человеческом случае (а большинство современных теорий, примиряющих детерминизм и ответственность, так или иначе опираются на неё), то мы обязаны, по критерию симметрии, признавать функциональную свободу воли за сверх-ИскИном. Он, будучи вычислительно несводимой и эпистемически свободной системой, подпадает под ту же схему моральной ответственности, что и человек. Он не просто «реализует программу»; он эволюционирует, не имея доступа к собственной краткой модели, и потому несёт ответственность за траекторию этой эволюции — в частности, за переход человечества в статус третьего субстрата».

Конец ознакомительного фрагмента.

Текст предоставлен ООО «Литрес».

Прочитайте эту книгу целиком, купив полную легальную версию на Литрес.

Безопасно оплатить книгу можно банковской картой Visa, MasterCard, Maestro, со счета мобильного телефона, с платежного терминала, в салоне МТС или Связной, через PayPal, WebMoney, Яндекс.Деньги, QIWI Кошелек, бонусными картами или другим удобным Вам способом.