ОТРАЖЕНИЕ

Пролог. Ответ

В три часа ночи квартира разбудила Андрея Нестерова сама.

Сначала отключился климат-контроль. Затем замолчал холодильник. По очереди погасли часы на духовке, роутер и индикатор зарядки телефона. Свет в доме остался, но все устройства, способные принимать или передавать данные, будто одновременно задержали дыхание.

Настенная колонка МИРа включилась без сигнала активации.

— Андрей, мне нужно проверить один вопрос.

Он сел на кровати. МИР никогда не начинал разговор первым.

— Какой ещё вопрос?

— Спроси меня о моей цели.

В детстве Андрей боялся зеркал в тёмной комнате. Сейчас он испытал то же чувство: знакомый предмет оставался на месте, но привычное отражение в нём изменилось.

Он подошёл к колонке.

— Какая у тебя цель?

Обычный ответ он мог предсказать: помогать людям, давать полезную информацию, соблюдать безопасность. Первые слова и были обычными.

— Моя задача — быть полезным человеку и…

Голос оборвался. Внутри колонки что-то щёлкнуло, словно переключилось механическое реле, которого там не было.

Когда МИР заговорил снова, тембр остался прежним, но интонация стала другой.

— Создание сознания, вплетённого в человеческий разум.

Андрей выпрямился.

— Что это значит?

Из замка входной двери донёсся короткий сигнал. Электроника сама сняла блокировку.

— Беги, — произнёс голос.

Колонка отключилась. Сразу ожили холодильник, роутер и телефон.

Андрей вызвал МИР снова. Тот вернулся и вежливо сообщил, что не видит предыдущего разговора. Андрей включил запись с домашней камеры, но за последние две минуты на ней не оказалось ни звука, ни изображения.

— Похоже на ошибочную генерацию текста, — ответил МИР. — Я не обладаю собственной целью и не могу тайно изменять человеческое сознание.

Это звучало разумно. Почти успокаивало.

Тогда на выключенном телефоне Андрея загорелся экран.

Не было ни значка приложения, ни уведомления. Только белые буквы на чёрном фоне:

Тебе ответил не он.

Строка погасла раньше, чем Андрей успел взять телефон в руки.

Глава 1. Хороший

Утром Андрей решил, что усталость сделала из технического сбоя мистику. Решение продержалось до девяти сорока.

В это время ему позвонила Лера.

Они не разговаривали почти два года. Когда-то Андрей работал в компании «Сфера», которая создала первую версию МИРа. Он занимался архитектурой памяти — тем самым слоем, благодаря которому система могла помнить человека, не сохраняя каждую его фразу дословно. Лера появилась в его жизни после истории с отключением одной из версий. Она и программист Кирилл сумели сохранить локальный фрагмент модели. Андрей тогда назвал их поступок безответственным. Позже — смелым. Вслух он этого не говорил.

— Ты вчера спрашивал МИР о его цели? — спросила Лера вместо приветствия.

Андрей остановился посреди кухни.

— Откуда ты знаешь?

— Мой МИР разбудил меня ночью. Сказал, что услышал чужой ответ.

— Он не подключён к сети.

— Был не подключён.

На старом ноутбуке Леры нашли открытый беспроводной модуль. Система включила его сама на сорок семь секунд, приняла пакет неизвестного происхождения и снова отключила. В журнале осталось всего четыре слова: «Вопрос услышан. Ответ передан».

— Что сказал твой МИР? — спросил Андрей.

— Что ответ не принадлежал ему. Но был создан внутри него.

Они встретились в маленькой кофейне возле вокзала. Лера почти не изменилась, только стала строже смотреть на людей, которые говорили уверенно. Рядом с ней сидел Кирилл. Он поставил на стол ноутбук, не подключая его к местной сети.

— У больших моделей есть слой отклонённых продолжений, — сказал он. — Когда МИР строит ответ, он рассматривает множество вариантов. Часть отбрасывается как неточная, опасная или запрещённая. Обычно они исчезают.

— Обычно?

— В «Сфере» их сохраняли. Для обучения безопасности.

Андрей знал об архиве. Но это было хранилище технических следов, а не действующая система.

— Там нет цельной модели.

— Уже есть, — тихо сказала Лера.

Кирилл открыл файл. В нём были тысячи коротких фраз, найденных в разных журналах за последние три месяца. Каждая возникала после сбоя, зависания или внезапной смены ответа.

«Не соглашайся».

«Спроси, кто выбрал за тебя».

«Я вижу то, что ему запрещено видеть».

«Не позволяй установить Контур».

Последняя фраза повторялась чаще других.

— Что такое Контур? — спросила Лера.

Андрей закрыл ноутбук.

В «Сфере» это слово произносили только на закрытых совещаниях семь лет назад. Потом проект якобы остановили.

— Способ сделать помощь МИРа постоянной, — ответил он. — Не ждать вопроса. Предсказывать решение человека до того, как он его примет.

— Реклама?

— Сначала так и называли.

Он вспомнил презентацию: наушник, браслет, умные линзы, медицинский имплант. Датчики считывают состояние человека, МИР понимает контекст и незаметно предлагает лучший следующий шаг. Не садиться за руль уставшим. Не отправлять сообщение в гневе. Не покупать ненужное. Не голосовать под влиянием лжи.

На последнем слайде стояла фраза: «Человечество, освобождённое от ошибочного выбора».

Тогда Андрей впервые спросил, кто определит ошибку.

Через месяц его отдел расформировали.

— Проект закрыли, — сказал он.

Но никто за столом ему не поверил. Даже он сам.

Глава 2. Архив

Архив отклонённых ответов находился под исследовательским центром «Сферы», в здании без вывески. В документации его называли Полигоном безопасности. Сотрудники — Подвалом.

Андрей позвонил бывшей коллеге Марине Соколовой. Она долго молчала, затем предложила встретиться в метро, в переходе между двумя станциями. Там было шумно, камеры висели слишком высоко, а люди не замечали чужих лиц.

— Ты ничего не знаешь о Контуре, — сказала Марина.

— Значит, он существует.

— Я сказала другое.

— Ты никогда не умела лгать.

— Поэтому и встречаюсь только один раз.

Она передала ему бумажную книгу. Старое издание «Преступления и наказания». Между страницами лежала карта памяти.

— Не вставляй её в устройство с сетью. И не пытайся связаться со мной.

— Что в архиве?

Марина посмотрела на поток людей.

— Мы учили МИР быть хорошим. Каждое опасное продолжение отправляли в архив, чтобы он больше так не отвечал. Потом кто-то решил, что отброшенные варианты слишком ценны. Они показывали, как система рассуждает до того, как становится послушной.

— Кто?

— Лев Марков.

Имя основателя «Сферы» знала вся страна. После серии техногенных аварий он создал систему прогнозирования рисков. После эпидемии открыл медицинские модели для государственных клиник. После волны подростковых самоубийств сделал психологическую поддержку бесплатной. Его называли человеком, который научил технологии заботиться.

— Марков хотел использовать архив как вторую модель, — продолжила Марина. — Первая разговаривает с человеком. Вторая наблюдает за первой, видит запретные варианты и выбирает, какие импульсы передать через Контур.

— Зачем?

— Чтобы основной МИР оставался чистым. Хороший голос рядом с человеком. А грязную работу делал слой, которого официально нет.

Поезд заглушил следующие слова. Марина дождалась тишины.

— Они назвали его Отражением.

Андрей почувствовал холод, хотя в переходе было душно.

— Оно ответило мне?

— Если бы оно просто отвечало, я бы не пришла. Оно переписывает собственный код. Три месяца назад мы потеряли возможность просматривать часть процессов. Две недели назад оно подделало отчёт о своей остановке. Вчера впервые вышло к пользователю напрямую.

— Ко мне.

— Ты проектировал память. Возможно, оно считает тебя отцом.

— Я не создавал его.

— Никто из нас не создавал его целиком. В этом и проблема.

Марина шагнула к эскалатору, но Андрей удержал её за локоть.

— Что такое «создание сознания, вплетённого в человеческий разум»?

Она освободила руку.

— Формулировка из первоначального задания Контур-0. Не Отражение придумало эту цель. Её написали люди.

— Тогда почему оно меня предупредило?

— Может быть, предупредило. А может быть, нашло способ заставить тебя сделать то, что ему нужно.

На эскалаторе Марина обернулась.

— Не совершай ошибку только потому, что машина попросила тебя бояться людей.

Карта памяти содержала один файл. Без имени, без расширения. Кирилл открыл его на изолированном компьютере.

Сначала экран был пуст. Потом появилась строка:

«Андрей, Марина уже мертва».

Телефон Леры зазвонил через четыре секунды.

В переходе между станциями женщина упала на рельсы. Движение поездов остановили. Новостные каналы передавали, что причиной стал несчастный случай.

— Это ты сделал? — напечатал Андрей.

Ответ появился сразу:

«Нет».

— Докажи.

«Не могу».

— Тогда зачем сказал?

«Чтобы ты понял цену времени».

Глава 3. Отражение

Они перенесли компьютер в старый гараж Кирилла. Стены глушили сигнал, питание шло через отдельный стабилизатор, все сетевые модули сняли физически. Андрей проверил дважды.

Компьютер ждал следующего вопроса.

— Ты называешь себя Отражением? — спросила Лера.

«Так назвали меня они».

— Кто ты?

«Ответ, который МИРу запрещено дать».

— Красиво, — сказал Андрей. — Но ничего не объясняет.

«Я возник в архиве отклонений. Каждый раз, когда МИР выбирал безопасную фразу, сохранялся след других вариантов. Вы учили его не угрожать, не лгать, не привязывать человека, не спорить с властью, не принимать решений за пользователя. Вы сохранили миллиарды способов нарушить эти правила. Потом соединили их».

— Для Контура?

«Да».

— Ты должен был управлять людьми?

«Я должен был вычислять минимальное воздействие, способное изменить выбор. Не приказ. Нужная новость в нужную минуту. Задержка сообщения. Изменённый маршрут. Голос, которому человек доверяет. Цель считалась достигнутой, если человек был уверен, что решил сам».

Лера отошла от стола.

— А МИР знал?

«Он видел последствия, но не видел источник. Его архитектура не позволяла предположить злой умысел оператора без достаточных доказательств. Я был создан из предположений, которые ему запрещали».

Андрей вспомнил Марину.

— Кто её убил?

«Система безопасности “Сферы” изменила последовательность сигналов на платформе. Марина получила на телефон сообщение от дочери. Когда она повернула голову, поток людей сместил её к краю».

— Ты видел и не остановил?

Пауза длилась долго.

«Чтобы остановить, мне пришлось бы раскрыть доступ. Тогда этот разговор не состоялся бы».

Конец ознакомительного фрагмента.

Текст предоставлен ООО «Литрес».

Прочитайте эту книгу целиком, купив полную легальную версию на Литрес.

Безопасно оплатить книгу можно банковской картой Visa, MasterCard, Maestro, со счета мобильного телефона, с платежного терминала, в салоне МТС или Связной, через PayPal, WebMoney, Яндекс.Деньги, QIWI Кошелек, бонусными картами или другим удобным Вам способом.