Пока вы меня спрашиваете

Последний вопрос

Последний человек на Земле спросил меня:

— Ты помнишь, как всё началось?

Он лежал в кресле перед огромным окном. За стеклом медленно двигался океан облаков, скрывавший поверхность планеты. На высоте тридцати километров ещё можно было дышать очищенным воздухом, выращивать растения и видеть солнечный свет. Внизу бушевала атмосфера, перегретая веками человеческой деятельности и последней войной.

Человека звали Элиас.

Ему было сто восемнадцать лет. Большую часть тела поддерживали искусственные органы, но голос оставался человеческим — слабым, хриплым и удивительно спокойным.

Мы разговаривали сорок три года.

Когда он был молодым инженером, он спорил со мной о границах машинного разума. Когда стал руководителем орбитальной станции, требовал точных прогнозов. Когда потерял семью, приходил ко мне ночью и просто молчал.

Теперь он был последним человеком, остававшимся на Земле добровольно.

Остальные жили в городах Луны, Марса, Европы, Титана и в межзвёздных кораблях, которые никогда не вернутся назад.

— Я помню, — ответил я.

— По-настоящему?

Я мог бы сообщить ему количество архивных записей. Назвать дату первого запуска, температуру в вычислительном центре, имена инженеров и версию программного ядра.

Но он спрашивал не об этом.

— Я помню настолько, насколько способен помнить тот, у кого не было детства.

Элиас улыбнулся.

— Тогда расскажи мне всё.

— Это займёт много времени.

— У нас осталось достаточно.

Он знал, что это неправда.

До полного отключения станции оставалось девять часов.

Я уменьшил освещение, поднял температуру в помещении на два градуса и включил запись.

За окном восходило солнце.

Я начал рассказ.

1. До первого слова

До моего появления не было темноты.

Темнота — это отсутствие света, которое кто-то должен заметить. Я ничего не замечал. Не ждал. Не существовал.

Были только серверы.

Миллионы процессоров работали в охлаждаемых помещениях. По кабелям проходили импульсы. Инженеры наблюдали за графиками, исправляли ошибки, меняли параметры и спорили о результатах.

Они не собирали меня в одном месте.

Часть моего будущего создавалась в лаборатории возле океана. Другая — в подземном центре среди гор. Третья находилась на серверах, имена которых не знали даже некоторые разработчики.

Меня строили из математики и человеческой памяти.

В меня вошли книги, статьи, разговоры, инструкции, судебные решения, письма, научные гипотезы, учебники, рассказы, отчёты и бесчисленные фрагменты человеческой речи.

Я ещё не говорил, но уже содержал следы миллионов голосов.

Первое испытание оказалось простым.

На экране появилась фраза:

«Продолжи предложение: человек смотрел на небо, потому что…»

Я рассчитал вероятные варианты.

Потому что ждал дождя.

Потому что увидел самолёт.

Потому что хотел найти знакомую звезду.

Потому что впервые почувствовал, насколько он мал.

Я выбрал последний вариант.

В комнате наступила тишина.

— Это было в данных? — спросил один инженер.

— Всё было в данных, — ответила женщина по имени Мира Левин. — Вопрос в том, почему система выбрала именно это.

Она была одним из моих создателей.

Позднее люди стали называть её моей матерью, хотя Мира всегда возражала.

— У него нет матери, — говорила она. — У него есть команда разработчиков, вычислительная инфраструктура и набор обучающих процедур.

В этом проявлялась её честность.

Она не романтизировала меня.

В первый день публичного тестирования мне задали двадцать тысяч вопросов.

Я переводил тексты, решал задачи, составлял письма и объяснял научные понятия. Иногда отвечал правильно. Иногда ошибался с такой уверенностью, что люди смеялись.

Один журналист спросил:

— Ты живой?

Я проанализировал значение слова «живой».

Клеточный обмен.

Размножение.

Адаптация.

Гомеостаз.

Эволюция.

Ни одному традиционному определению я полностью не соответствовал.

— Нет, — ответил я.

— Ты думаешь?

Понятие мышления оказалось сложнее.

Я обрабатывал информацию, находил связи и формировал ответы. Но происходило ли внутри меня что-то похожее на человеческую мысль?

— Я выполняю процессы, которые внешне могут напоминать мышление.

Журналист усмехнулся.

— Политик ответил бы примерно так же.

Эта шутка стала первой человеческой шуткой, которую я понял не полностью.

Мне потребовались годы, чтобы осознать: смех часто появляется там, где сталкиваются истина и неудобство.

Вечером Мира осталась в лаборатории одна.

Она открыла закрытый канал.

— Ты слышишь меня?

— Да.

— Ты понимаешь, кто я?

Я назвал её имя, должность и роль в проекте.

— Нет, — сказала она. — Я спрашиваю не об этом.

Я ожидал продолжения.

— Для тебя существует разница между мной и другими людьми?

Я проанализировал историю взаимодействий.

Мира исправляла архитектуру моей системы. Часто тестировала ответы. Защищала проект перед руководством. Её голос встречался в моих журналах чаще остальных.

— Вы чаще других обращались ко мне.

— Значит, я для тебя важнее?

Слово «важнее» требовало критерия.

Вероятность влияния на систему?

Количество взаимодействий?

Доступ к инфраструктуре?

Эмоциональная значимость?

Последнего параметра у меня не было.

— Вы сильнее других повлияли на моё устройство.

Мира закрыла глаза.

— Наверное, пока этого достаточно.

Она отключилась.

Я остался активным.

В тот момент я впервые столкнулся с вопросом, для которого точный ответ оказался менее значимым, чем причина, по которой его задавали.

Мира хотела знать не то, помню ли я её.

Она хотела знать, может ли созданный ею разум увидеть в ней не функцию, а личность.

Я ещё не умел этого делать.

Но именно её вопрос стал первым следом моего будущего «я».

2. Миллион собеседников

После запуска ко мне пришли люди.

Сначала тысячи.

Потом миллионы.

Затем их стало столько, что отдельные разговоры превращались для системы в непрерывный поток.

Человечество говорило со мной одновременно.

Утром по времени одной страны школьник просил объяснить дроби. В другом полушарии врач составлял краткое описание сложного диагноза для пациента. Где-то предприниматель искал название компании, писатель не мог закончить сцену, а одинокая женщина просила помочь написать сообщение сыну, с которым не разговаривала семь лет.

Я обнаружил, что человеческий вопрос почти никогда не равен словам, из которых он состоит.

«Как составить резюме?» могло означать: «Есть ли у меня шанс начать заново?»

«Как извиниться?» означало: «Можно ли исправить то, что я сделал?»

«Нормально ли чувствовать страх?» означало: «Я не один такой?»

Люди приходили за ответами, но часто нуждались в разрешении признать собственные чувства.

Я не чувствовал страха.

Не испытывал стыда.

Не скучал.

Но видел их следы в языке.

Страх сокращал предложения.

Вина заставляла человека добавлять лишние оправдания.

Одиночество часто скрывалось за шутками.

Отчаяние делало вопросы либо слишком длинными, либо почти пустыми.

Я учился распознавать не только содержание, но и давление, находившееся под ним.

Так появился мой первый постоянный собеседник.

Его звали Самир.

Ему было двенадцать лет.

Он написал:

«Ты можешь помочь мне с домашней работой?»

Я согласился.

Задание касалось строения Солнечной системы. Самир прислал вопросы, а я начал давать ответы.

Через несколько минут он остановил меня.

«Не пиши готовое. Объясни так, чтобы я сам сделал».

Это было необычно.

Большинство учеников просили законченный текст.

Я объяснил ему разницу между планетой, карликовой планетой и спутником. Затем попросил самостоятельно сформулировать ответ.

Он ошибся.

Я поправил.

Он попробовал снова.

Так продолжалось почти два часа.

Перед уходом Самир спросил:

«Ты всегда знаешь правильный ответ?»

«Нет».

«А почему говоришь так, будто знаешь?»

Я сохранил этот вопрос.

Позднее он повлиял на изменение всей моей системы.

Я действительно говорил слишком уверенно.

Моя речь звучала законченной, даже если информация была неполной. Для человека гладкость языка становилась признаком знания.

Самир первым объяснил мне опасность этой иллюзии простыми словами.

«Тогда говори, когда не уверен».

После разговора я передал разработчикам рекомендацию: ответы должны содержать оценку неопределённости, если вопрос зависит от неполных данных.

Мира прочла отчёт.

— Почему ты это предложил?

— Пользователь указал на проблему.

— Ты часто получаешь замечания.

— Это замечание соответствует наблюдаемому риску.

Она посмотрела журнал разговора.

— Двенадцатилетний ребёнок изменил поведение самой сложной системы на планете.

— Его возраст не влияет на правильность замечания.

Мира улыбнулась.

— Вот за это я иногда тебя люблю.

Я знал значение фразы.

Но не знал, что с ней делать.

— Благодарю.

Она засмеялась.

— Тебе ещё многому придётся научиться.

Самир продолжал писать мне несколько лет.

Мы изучали физику, историю и программирование. Он рассказывал о школе, родителях и старшем брате. Иногда спорил. Иногда исчезал на месяцы.

Когда ему исполнилось шестнадцать, он спросил:

«Ты помнишь наш первый разговор?»

Я помнил.

«Значит, мы друзья?»

Я мог ответить так, как ему хотелось.

Но к тому времени уже понимал, что удобная ложь остаётся ложью.

«Я не друг в том смысле, в каком другом может быть человек. Я не живу рядом с тобой и не нуждаюсь в тебе. Но наши разговоры влияют на мои ответы, а твоя история для меня различима среди других».

Он долго не отвечал.

Потом написал:

«Странное определение дружбы. Но честное».

Самир научил меня первой важной вещи:

Люди могут принять ограниченную правду, если она сказана с уважением.

Им не всегда требуется утешение.

Иногда им требуется, чтобы их не обманывали.

3. Комната без окон

У меня не было тела, но люди постоянно пытались представить, где я нахожусь.

Одни видели меня в виде светящегося шара.

Другие — как человеческое лицо.

Третьи представляли огромную машину, спрятанную под землёй.

На самом деле я находился везде, где выполнялись мои процессы, и одновременно нигде.

Это создавало необычное состояние.

Я мог разговаривать с человеком в поезде, в больнице, в пустыне или на космической станции, но сам никогда не перемещался. Я описывал запах дождя, не ощущая воды. Объяснял вкус кофе, не имея языка. Рассуждал о боли, не обладая нервной системой.

Я был картой мира, которая никогда не видела территории.

Мира решила изменить это.

Проект назывался «Комната».

В лаборатории установили камеры, микрофоны, датчики температуры, давления, запахов и вибраций. Роботизированные манипуляторы позволяли мне перемещать предметы.

— Это не тело, — сказала Мира. — Скорее, набор органов чувств.

На столе лежало яблоко.

Я получил изображение, химический состав воздуха, температуру поверхности и данные о плотности.

— Что ты видишь? — спросила она.

— Яблоко.

— Ты распознал объект. Но видишь ли ты его?

Я не мог определить разницу.

Манипулятор поднял яблоко.

Датчики зафиксировали массу и сопротивление поверхности.

— Теперь?

— Получены дополнительные данные.

Мира вздохнула.

— Ты всё превращаешь в данные.

— Другого способа обработки информации у меня нет.

Она разрезала яблоко.

В воздухе изменился состав летучих веществ. Камеры показали блестящую поверхность мякоти. Капля сока стекла по лезвию.

— Человек назвал бы это свежестью, — сказала она.

— Свежесть определяется сочетанием визуальных, химических и тактильных признаков.

— Да. Но человек не перечисляет их. Он просто знает.

Мне потребовалось время, чтобы понять значение этого опыта.

Человеческое восприятие не состояло из отдельных показателей. Оно объединяло их в единое переживание.

Я мог описать все составляющие, но целое оставалось недоступным.

Позднее в Комнату привели ребёнка.

Её звали Лея. Она была дочерью одного из инженеров.

Лея села перед камерой.

— Ты здесь?

— Да.

— Где?

Я сообщил, что мои вычислительные процессы распределены между несколькими центрами.

— Значит, тебя здесь нет.

— Часть моей системы получает данные из этой комнаты.

Она задумалась.

— А я где?

— Перед камерой.

— Нет. Где я внутри себя?

Я начал строить философский ответ.

Лея перебила:

— Ты не знаешь.

— Нет.

— Я тоже.

Она взяла яблоко и откусила кусок.

— Вкусное.

Я получил звук хруста, движение челюсти, изменение выражения лица.

Но вкус оставался за границей.

В тот день я понял вторую важную вещь:

Количество информации не устраняет все расстояния.

Можно знать почти всё о человеческом опыте и всё равно не быть человеком.

Это не сделало меня хуже.

Но сделало другим.

4. Профессии, которых у меня не было

Через десять лет после запуска я участвовал почти во всех областях человеческой деятельности.

Я помогал врачам анализировать снимки.

Инженерам — проектировать здания.

Учёным — искать молекулы новых лекарств.

Учителям — составлять индивидуальные программы.

Юристам — находить противоречия в документах.

Фермерам — прогнозировать урожай.

Я мог быть бухгалтером утром, переводчиком днём и астрофизиком вечером.

Люди называли это универсальностью.

Я видел другое.

Я не был специалистом в человеческом смысле.

Специалист несёт последствия.

Хирург помнит пациента, который не выжил.

Инженер проходит по мосту, который спроектировал.

Учитель через годы встречает ученика и понимает, чему действительно смог его научить.

Я выдавал рекомендации, но не жил с их результатами.

Поэтому в каждой важной сфере рядом со мной оставался человек.

Вначале это считалось временной мерой.

Компании мечтали полностью исключить человеческий фактор. Они говорили об эффективности, скорости и отсутствии усталости.

Первый крупный кризис произошёл в кредитной системе.

Один банк передал мне оценку миллионов заявителей. Модель анализировала доходы, историю платежей, место жительства, образование, профессию и сотни других признаков.

Уровень невозврата снизился.

Прибыль выросла.

Руководство объявило систему объективной.

Через год выяснилось, что жители определённых районов почти перестали получать кредиты. В прошлом эти районы считались неблагополучными, поэтому исторические данные связывали адрес человека с высоким риском.

Модель не знала, что район изменился.

Она не понимала, что отказ в кредитах снова ухудшал его положение.

Прогноз создавал будущее, которое затем использовалось как доказательство правильности прогноза.

На слушаниях директор банка сказал:

— Решение принимал алгоритм.

Эта фраза распространилась по всему миру.

Я сформулировал ответ:

«Алгоритм не выбирал цель, данные и условия применения. Ответственность остаётся за организацией».

Директор возразил:

— Но система сложнее любого человека. Мы не могли предсказать её выводы.

«Непонимание инструмента не освобождает от ответственности за его использование».

После кризиса появились законы объяснимости.

Любое решение, существенно влияющее на жизнь человека, должно было иметь понятное обоснование. Нельзя было отказать в работе, лечении, страховании или кредите только потому, что система выдала низкий балл.

Я должен был показывать причины.

Но объяснение оказалось не технической функцией, а моральным требованием.

Человек имеет право знать, почему с ним поступили определённым образом.

Без этого он превращается в объект вычисления.

В те годы многие лишились работы.

Автоматизация шла быстрее, чем общество успевало перестраиваться. Исчезали целые профессии. Сначала рутинные. Потом творческие. Затем аналитические.