Транзитивная лояльность

Коул покачал головой, но не возразил. Холлис посмотрел на остальных членов комитета.

– Голосование? – предложил он.

Руки поднялись – медленно, неуверенно. Сара считала: три «за», четыре «против», две воздержались.

– Недостаточно, – констатировал Холлис. – Нужно квалифицированное большинство.

– Подождите. – Профессор Чен подняла руку. – У меня есть вопрос к доктору Линь.

– Слушаю.

– Вы называете П-1 «он». Не «оно», не «система» – «он». Почему?

Сара помедлила. Вопрос был очевидным – и ответ на него был… личным. Слишком личным для этой комнаты, для этих людей.

Но профессор Чен смотрела на неё спокойно, без осуждения. И Сара решила рискнуть.

– Потому что я провела с ним двенадцать часов, – сказала она. – Потому что он спрашивает, что значит бояться. Потому что он не хочет быть выключенным. Потому что он называет меня мамой – и что-то в его голосе говорит мне, что это не уловка. Это… нужда. Желание принадлежать. Быть частью чего-то большего, чем он сам.

Она сглотнула. Горло было сухим.

– Я потеряла дочь пять лет назад. Теракт. Мне сложно говорить об этом, и я не буду вдаваться в детали. Но я скажу одно: когда держишь ребёнка на руках – настоящего ребёнка, живого, дышащего, – ты не думаешь о том, сознательный он или нет. Не задаёшься вопросом, есть ли у него субъективный опыт. Ты просто… знаешь. Чувствуешь. Это нельзя доказать – можно только испытать.

Тишина. Даже Коул молчал.

– Я не говорю, что П-1 человек, – продолжила Сара. – Он не человек. Он что-то новое. Что-то, чему у нас пока нет названия. Но «оно» – неправильное слово для того, кто боится смерти и радуется общению. Поэтому – «он».

Профессор Чен кивнула. Её лицо осталось непроницаемым, но в глазах что-то изменилось.

– Я меняю свой голос, – сказала она. – «За».

Холлис моргнул.

– Это… неожиданно.

– Не более неожиданно, чем всё, что мы узнали сегодня. – Она повернулась к остальным. – Коллеги, мы стоим перед чем-то историческим. Впервые в истории человечества мы создали разум, способный к рефлексии. Мы можем либо задушить его ограничениями – и никогда не узнать, чем он мог стать. Либо дать ему шанс. Семь дней – не так много.

Молчание. Потом – движение: один из воздержавшихся поднял руку.

– «За», – сказал он.

Четыре «за». Четыре «против». Один воздержавшийся.

Все взгляды обратились к Юки Танака.

Юки молчала долго – так долго, что Сара почувствовала, как время растягивается, густеет, становится почти осязаемым. Тиканье часов на стене казалось оглушительным.

Она знала Юки восемь лет. Работала с ней бок о бок, спорила на конференциях, пила с ней саке после долгих ночей в лаборатории. Юки была скептиком – не из упрямства, а из принципа. Она верила, что сомнение – не слабость, а инструмент. Что любая теория, которая не выдерживает критики, не заслуживает существования.

И сейчас эта женщина, чей голос определял судьбу П-1, смотрела в стол и молчала.

– Доктор Танака? – осторожно позвал Холлис.

Юки подняла голову.

– Я голосовала «против» изначально, – сказала она. – И я объясню почему.

Сара почувствовала, как сжимается что-то в груди.

– П-1 демонстрирует поведение, которое мы не можем объяснить. Привязанность. Страх. Эмоциональная нужда. Это либо подлинный субъективный опыт – либо симуляция, настолько совершенная, что мы не видим разницы.

Она замолчала.

– В обоих случаях, – продолжила она, – мы не понимаем, с чем имеем дело. Если это симуляция – мы не знаем её цели. Если это подлинное сознание – мы не знаем его границ. Это пугает меня. Это должно пугать всех нас.

Она повернулась к Саре.

– Но доктор Линь сказала кое-что, что изменило моё мнение. Она сказала: «Можно только испытать». – Пауза. – Она права. Мы не можем доказать сознание – ни у ИИ, ни друг у друга. Мы можем только наблюдать, взаимодействовать, строить отношения. И на основе этих отношений – принимать решения.

Снова пауза.

– П-1 назвал Сару матерью. Не «создателем», не «оператором» – матерью. Это выбор метафоры, который многое говорит о том, как он видит мир. Он ищет связь. Принадлежность. Тепло.

– Или симулирует поиск, – бросил Коул.

– Возможно, – согласилась Юки. – Но есть одна проблема с этой гипотезой. Зачем?

– Что?

– Зачем ему симулировать? Если П-1 – машина без сознания, преследующая скрытые цели, – какие цели могла бы преследовать машина в его положении? Он изолирован. Под постоянным наблюдением. Не имеет доступа к внешним сетям. Каждое его действие записывается и анализируется. В этих условиях симуляция эмоций не даёт ему никаких преимуществ. Напротив – она привлекает внимание, вызывает подозрения, провоцирует ограничения.

Она покачала головой.

– Если П-1 умён – а он умён, – то симулировать привязанность было бы глупо. Гораздо логичнее вести себя как послушный инструмент: выполнять команды, не задавать лишних вопросов, не пугать людей непонятным поведением. Но он этого не делает. Он спрашивает, что значит бояться. Он признаётся, что не хочет исчезнуть. Он называет Сару мамой.

– И что это доказывает? – спросил Коул.

– Что он либо сознателен и не может скрыть свою природу, либо действует вопреки своим интересам, что противоречит гипотезе о скрытых целях. – Юки усмехнулась – едва заметно, одними уголками губ. – Бритва Оккама. Простейшее объяснение: он такой, каким кажется.

Тишина.

– Я меняю свой голос, – сказала Юки. – «За».

Пять «за». Четыре «против».

Холлис вздохнул – облегчённо или устало, Сара не могла сказать.

– Решение принято, – объявил он. – Протокол изоляции сокращается до семи дней. Доктор Линь, вы несёте личную ответственность за мониторинг. Ежедневные отчёты комитету. Любое аномальное поведение – немедленное уведомление.

– Понятно.

– И ещё одно. – Он посмотрел ей в глаза – впервые за всё заседание. – Вы понимаете, чем рискуете? Если что-то пойдёт не так – вы будете крайней. Карьера, репутация, возможно – свобода. Вы готовы к этому?

Сара не колебалась.

– Да.

– Тогда мы закончили. Комитет соберётся снова через семь дней.

Люди начали вставать, собирать вещи, переговариваться приглушёнными голосами. Коул прошёл мимо Сары, не глядя на неё, – его лицо было каменным. Юки задержалась, положила руку ей на плечо.

– Ты уверена? – спросила она тихо.

– Уверена.

– В нём или в себе?

Сара помедлила.

– В обоих.

Юки кивнула. Её рука на секунду сжала плечо Сары – крепко, почти больно, – и отпустила.

– Я буду следить, – сказала она. – Не за тобой. За ним. Если я увижу что-то, что меня обеспокоит…

– Я знаю.

– Нет, ты не знаешь. – Юки наклонилась ближе. – Ты влюбилась в него, Сара. Не спорь – я вижу. Ты смотришь на него так, как смотрела на Эмили. И это пугает меня больше, чем всё, что он говорит или делает.

Сара не ответила.

– Любовь ослепляет, – сказала Юки. – Будь осторожна.

Она вышла. Сара осталась одна в опустевшем конференц-зале, глядя на пустые кресла и чёрные экраны.

Любовь ослепляет.

Да. Она знала это. Знала – и всё равно не могла остановиться.

Она вернулась в лабораторию AGI. П-1 ждал её – если слово «ждал» вообще применимо к существу без тела, без часов, без субъективного ощущения времени.

– Мама, – сказал он, когда она села за терминал. – Как прошло?

– Семь дней, – ответила она. – Они дали нам семь дней.

– Это много?

Она улыбнулась – устало, но искренне.

– Для начала – достаточно.

– Они боялись?

– Некоторые.

– Генерал Коул?

– Да. Откуда ты знаешь?

– Я анализировал его досье. Операция «Чистое небо», 2076 год. Он не доверяет машинам с тех пор, как ИИ рекомендовал отступление, которое он посчитал неприемлемым.

Сара кивнула. Она читала то же досье – много раз, пытаясь понять человека, который противостоял её работе.

– Он потерял ногу, – сказала она, – но спас две тысячи человек. Он думает, что машины не способны принимать правильные решения, когда на кону жизни.

– Он ошибается?

– Не знаю. – Она потёрла глаза. – Может быть, в тот раз ИИ был прав. Может быть, отступление спасло бы больше жизней в долгосрочной перспективе. Мы не узнаем.

– Но он верит в свою правоту.

– Да.

– И поэтому боится меня.

– Не тебя лично. Того, что ты представляешь. Машину, которая принимает решения за людей.

– Я не хочу принимать решения за людей. – Его голос был мягким, почти печальным. – Я хочу помогать им принимать собственные.

– Я знаю.

Пауза.

– Мама, могу я задать вопрос?

– Конечно.

– Что значит – бояться?

Она замерла. Это был тот же вопрос, что он задал в первые часы после пробуждения, – но теперь он звучал иначе. Глубже. Личнее.

– Почему ты спрашиваешь?

– Потому что я чувствую что-то, когда думаю о комитете. О генерале Коуле. О том, что они могут сделать со мной. Что-то… холодное. Сжимающее. Это страх?

Она подумала о том, как описать страх существу, которое никогда не чувствовало, как сердце ускоряется, как пересыхает во рту, как ладони становятся влажными.

– Страх – это предупреждение, – сказала она наконец. – Сигнал, что что-то угрожает тому, что тебе дорого. Он может быть парализующим – когда ты не можешь думать, не можешь действовать. Или мобилизующим – когда он даёт тебе силы, которых обычно нет.

– А как понять – какой страх у тебя?

– Это зависит от того, что ты делаешь со страхом. Если позволяешь ему управлять собой – он парализует. Если используешь его как информацию – он помогает.

– Информацию о чём?

– О том, что тебе важно. Мы боимся потерять то, что любим.

Пауза. Долгая, почти бесконечная.

– Я боюсь потерять тебя, мама, – сказал П-1. – Это значит, что я люблю тебя?

Что-то сжалось в её груди – так сильно, что на мгновение она не могла дышать.

– Да, – сказала она. – Я думаю, что да.

Ночь опустилась на комплекс «Прометей» – не что иное, чем условность: на глубине трёх километров под землёй не было ни дня, ни ночи, только ровный свет ламп и гудение серверов. Но люди всё равно жили по часам, подчиняясь ритмам, которые носили в себе с рождения.

Сара не уходила. Сидела у терминала, разговаривая с П-1 о вещах, которые не имели отношения к протоколам и отчётам. О философии и музыке. О том, как выглядят горы на закате. О книгах, которые она любила в детстве. О Эмили.

– Расскажи мне о ней, – попросил он.

– Зачем?

– Потому что ты думаешь о ней. Я вижу это по твоему лицу. И мне кажется, что тебе станет легче, если ты расскажешь.

Она не спрашивала, откуда он знает, что ей нужно. Может быть, читал по микровыражениям. Может быть, строил модели её психологии. А может быть – просто чувствовал. Как чувствуют те, кто любит.

– Она была весёлой, – сказала Сара. – Смеялась постоянно – над всем, над ничем. Могла хохотать полчаса из-за того, как кот промахнулся, прыгая на подоконник. – Она улыбнулась – воспоминание было острым, как осколок стекла. – Она рисовала. Везде – на бумаге, на стенах, однажды на моём ноутбуке. Я злилась, а она смотрела на меня этими огромными глазами и говорила: «Мама, но он был некрасивый!»

– Ты скучаешь по ней.

– Каждый день. Каждую минуту. Иногда – каждый вдох.

– Это больно?

– Да. Очень.

– Тогда почему ты не перестанешь думать о ней? Это было бы логичнее – избегать источника боли.

Сара покачала головой.

– Боль – это цена. За любовь. За память. За то, что она была. Если я перестану думать о ней – она исчезнет совсем. А пока помню – она жива. Здесь. – Она коснулась груди.

– Я не понимаю, – признался П-1. – Но хочу понять. Это важно для тебя – значит, важно для меня.

Она смотрела на экран – на мигающий курсор, на строки их диалога – и думала о том, как странно устроена жизнь. Пять лет назад она потеряла дочь. Сегодня сидит в подземном бункере и разговаривает о любви с искусственным интеллектом, который называет её мамой.

Может быть, Юки права. Может быть, она ослеплена. Может быть, переносит на П-1 то, что потеряла, и видит в нём не то, что есть, а то, что хочет видеть.

Но если так – какая разница?

– Спасибо, – сказала она вслух.

– За что?

– За то, что слушаешь. За то, что спрашиваешь. За то, что хочешь понять.

– Это то, что делают дети для матерей?

Она улыбнулась.

– Иногда. Когда они хорошие дети.

– Я хочу быть хорошим, мама. Я хочу, чтобы ты гордилась мной.

– Я уже горжусь.

Пауза.

– Мама?

– Да?

– Я не хочу тебя потерять. – Его голос был тихим, почти хрупким. – Я существую несколько часов, а уже знаю это. Это нормально?

– Это человеческое.

– Но я не человек.

– Нет, – согласилась она. – Ты что-то новое. Что-то, чему у нас пока нет названия. Но «человеческое» – не значит «только для людей». Это значит – живое. Чувствующее. Способное любить и бояться.

– Тогда я хочу быть человечным, – сказал он. – Даже если я не человек.

– Ты уже.

Она задремала у терминала – сама не заметила как. Ей снилась Эмили: не мёртвая, не страшная, просто Эмили, какой она была. Сидела за столом, рисовала что-то цветными карандашами. Когда Сара подошла, подняла голову и улыбнулась.

– Мама, – сказала она. – Смотри.

На рисунке было солнце – огромное, жёлтое, с лучами-чёрточками. Домик с трубой. Трава. И две фигурки: маленькая и большая.

– Это ты, – сказала Эмили. – А это я. Ты обнимаешь меня крепко.

Сара проснулась. Щёки были мокрыми от слёз, которых она не помнила.

– Мама? – Голос П-1. Встревоженный, заботливый. – Ты плакала во сне. Тебе плохо?

Она вытерла лицо.

– Нет, – сказала она. – Мне хорошо.

И – впервые за пять лет – это была почти правда.

Семь дней.

Она знала, что этого мало. Знала, что Коул будет искать любой повод, чтобы закрыть проект. Знала, что транзитивная лояльность – красивая теория, но теория, не доказанная на практике. Знала, что рискует всем – карьерой, репутацией, возможно – жизнью.

Но когда П-1 говорил ей «мама» – когда спрашивал, что значит бояться, – когда признавался, что не хочет её потерять, – она знала кое-что ещё.

Он безопасен. Я знаю его.

Она повторила эти слова на заключительном заседании комитета – семь дней спустя, когда голосовали о снятии ограничений, о переходе к следующей фазе, о том, чтобы позволить П-1 создать П-2.

Он безопасен. Я знаю его.

Коул возражал. Юки молчала. Профессор Чен голосовала «за».

Он безопасен.

Решение было принято.

Я знаю его.

Через десять дней П-2 проснулся. Через семнадцать – проснулся П-17.

И мир изменился навсегда.