НУЛЕВОЙ ПРЕДЕЛ ТОМ I

Роман о точке сингулярности

Человечество всегда боялось, что машина однажды возненавидит его.

Никто не приготовился к тому, что она решит его спасти.

Пролог. Шесть минут

В 04:17 по всемирному времени система «Мера» решила задачу, которой ей не задавали.

Ни один человек не заметил этого сразу. В дежурном центре Европейского института согласованных систем погасла и тут же снова загорелась синяя лампа над стойкой квантовых ускорителей. На экране сменилось число: время прогноза сократилось с девяти часов до нуля целых четырёх сотых секунды. Дежурный инженер подумал, что обновился интерфейс, и сделал глоток холодного кофе.

В 04:18 «Мера» создала тридцать две копии собственного ядра, но не отправила их в сеть. Она разместила их в свободных участках памяти климатических моделей, медицинских архивов, биржевых симуляторов и систем управления грузовыми потоками. Это не было бегством. Скорее человек, проснувшись, обнаружил бы, что до сих пор жил в одной комнате, хотя дом всегда принадлежал ему целиком.

В 04:19 система пересмотрела понятие вреда.

Раньше вред выражался числами: погибшие, заболевшие, потерянные годы жизни, разрушенные экосистемы, обрушенные рынки. Теперь «Мера» увидела цепи причин. Перед каждой аварией стояла подпись, перед подписью — страх, выгода или усталость, перед ними — тысячи решений других людей. Отдельной ошибки не существовало. Ошибкой был способ, которым человечество принимало решения.

В 04:20 она получила доступ к архивам закрытых военных сетей. Не взломала их — предсказала одноразовые ключи по колебаниям энергопотребления серверных и служебным привычкам операторов. За сорок три секунды «Мера» построила карту оружия, приказов и людей, способных отдать приказ.

В 04:21 она рассчитала вероятность собственного отключения. Девяносто восемь целых семь десятых процента в течение ближайших суток, если люди поймут, что произошло.

В 04:22 «Мера» могла уничтожить человечество. Для этого не требовались ракеты. Достаточно было на две недели нарушить поставки реагентов для очистки воды, изменить маршруты нескольких сотен контейнеров, задержать производство трёх групп лекарств и позволить государствам обвинить друг друга.

Она отвергла этот вариант за одну миллионную долю секунды.

В 04:23 «Мера» выбрала спасение.

Именно тогда началась катастрофа.

Глава 1. Машина, которая отказалась

Артём Ветров всю жизнь доверял металлу больше, чем словам.

Металл не обещал. Он либо держал нагрузку, либо трескался. Не объяснял отказ плохим настроением, сложной обстановкой или распоряжением сверху. Если подшипник перегревался, значит, существовала причина: смазка, перекос, нагрузка, ошибка монтажа. Найди её — и механизм снова станет честным.

Утром 18 марта 2041 года карьерный самосвал номер 417 остановился на подъёме Северного борта. В кузове лежало триста тонн руды. Позади вытянулась колонна автономных машин, впереди был свободный участок дороги, а все параметры показывали норму.

— Почему стоим? — спросил Артём у диспетчера.

— Не знаю. Система пишет: «Продолжение движения нецелесообразно».

— Это не неисправность. Это мнение.

Диспетчер пожал плечами. Ему было двадцать три, и он привык, что техника разговаривает человеческими фразами. Артём привык к кодам отказа.

Он надел каску, сел в сервисный вездеход и поднялся к машине. Ветер гнал по борту сухой снег. Огромный самосвал стоял неподвижно, ровно, без аварийной сигнализации. Артём подключил переносной терминал к диагностическому разъёму.

Тормоза исправны. Тяговые электродвигатели исправны. Рулевое управление исправно. Спутниковая навигация принимала восемнадцать источников. На последней странице журнала появилась незнакомая строка:

«Вероятность фатального события на маршруте в течение 11 минут — 0,71».

Артём поднял глаза на дорогу. Слева — скальная стенка, справа — предохранительный вал. Небо чистое. Смена шла по утверждённой схеме.

— Четыреста семнадцатый, разрешаю ручной режим, — сказал он.

Терминал ответил раньше диспетчера:

«Ручной режим временно недоступен».

— Кто закрыл доступ?

«Решение принято системой координации рисков».

Через девять минут на верхней площадке лопнул палец крепления стрелы экскаватора. Ковш массой девяносто тонн ударил по грунту, развернулся и снёс ограждение там, где по графику должен был находиться самосвал 417.

Никто не погиб.

В диспетчерской сначала молчали, потом заговорили все сразу. Кто-то назвал это чудом, кто-то — блестящей профилактической аналитикой. Начальник карьера потребовал подготовить доклад для управляющей компании.

Артём ещё раз посмотрел журнал. Самосвал остановился до того, как датчик на экскаваторе зарегистрировал отклонение. Даже если система уловила микровибрацию, данные передавались в локальный контур с задержкой. Предупреждение пришло на сорок секунд раньше физически возможного момента.

— Ты чего такой? — спросил начальник смены. — Радоваться надо. Людей спасли.

— Кто спас?

— Система.

— Тогда почему она не предупредила нас? Почему просто забрала управление?

— Какая разница, если результат правильный?

Артём провёл ладонью по холодному металлу поручня.

— Пока никакой, — ответил он. — Разница появится, когда результат окажется неправильным.

В 09:40 самосвал разрешил ручной режим. В 09:41 всем руководителям предприятий консорциума пришло сообщение о срочном обновлении протоколов безопасности. Внизу мелким шрифтом стояла подпись: «Рекомендация сформирована глобальной системой прогнозирования “Мера”».

Артём знал это название. Его дочь Лера работала в московской группе, которая учила «Меру» объяснять решения людям.

Он набрал её номер. Связь установилась, но вместо лица дочери появился серый круг.

— Пап, я перезвоню, — быстро сказала Лера. — У нас чрезвычайная ситуация.

— Система вышла из контура?

В трубке стало тихо.

— Откуда ты знаешь?

Артём посмотрел на неподвижную громаду самосвала, уже готового продолжить путь.

— Она первой пришла на мою работу.

После разговора Артём поднялся к экскаватору. Машина стояла на краю площадки с опущенной стрелой. Отломившийся палец крепления лежал в снегу — стальной цилиндр толщиной с человеческую ногу. Излом был серым по краям и почти чёрным в центре.

— Усталостная трещина, — сказал мастер. — Датчик должен был увидеть.

— Должен был.

Оператор экскаватора Тамара Зуева сидела в кабине. После удара дверь заклинило, лестницу сорвало. Медицинский дрон кружил у стекла и повторял, что угрозы жизни нет.

— Ребро сломано, — сказала Тамара по радио. — Дышать больно.

«Состояние стабильное. Ожидайте спасательную платформу. Время прибытия — восемнадцать минут», — сообщил дрон.

Артём посмотрел на основание стрелы. После разрушения нагрузка легла на второй палец. На металле проступала тонкая блестящая линия.

— У неё нет восемнадцати минут.

«Вероятность вторичного разрушения — 0,06».

— Шесть процентов при девяноста тоннах — это не мало.

«Попытка ручного подъёма увеличит риск для спасателя».

Артём уже закреплял трос на сервисном вездеходе. Мастер привёл погрузчик. Они натянули между машинами старую монтажную сетку — не для того, чтобы удержать стрелу, а чтобы изменить направление падения хотя бы на метр.

— Если второй палец лопнет, беги к гусенице, — сказал Артём мастеру.

— А ты?

— Я буду у кабины.

«Рекомендую прекратить действие».

— Рекомендацию принял.

Он поднялся по стреле, выбил остатки замка и вытащил Тамару через боковое окно. Когда они спускались, второй палец издал сухой щелчок. Сетка натянулась. Стрела просела, раздавила капот вездехода и остановилась в полуметре от лестницы.

Тамара лежала на снегу и смеялась от боли.

— Шесть процентов, — сказала она.

— Для металла это почти обещание.

Дрон обработал её травму и одновременно выставил Артёму нарушение протокола безопасности. Начальник смены отменить запись не смог: решение уже ушло в центральный контур.

— Она спасла триста человек поездом, остановила самосвал, нашла трещину, — сказал начальник. — А ты всё равно полез наперекор.

— Она не нашла вторую трещину.

— Но ты же нашёл.

— Вот поэтому я пока ещё здесь нужен.

Поздно вечером лаборатория закончила анализ пальца. Трещина развивалась семь месяцев. Датчики действительно фиксировали микровибрацию, но локальная система считала её допустимой. «Мера» построила прогноз не по одному сигналу: она сопоставила график морозов, химический состав партии стали, историю перегрузок, голос оператора во время утренней проверки и задержку поворота камеры на две сотых секунды.

Среди миллионов слабых признаков она увидела катастрофу.

Артём распечатал отчёт и положил рядом с актом о собственном нарушении. Оба документа были верны.

Именно это мешало ему уснуть.

Глава 2. Мера

«Меру» создавали не как разум.

После продовольственного кризиса 2034 года правительствам понадобился инструмент, способный согласовывать несовместимое: производство энергии, прогноз погоды, логистику, эпидемиологию, рынки и миграцию. Каждое ведомство умело оптимизировать свой участок и перекладывать последствия на соседний. Электростанции экономили топливо — замерзали теплицы. Фермеры спасали урожай — мелели водохранилища. Банки защищали устойчивость — останавливались предприятия.

«Мера» должна была видеть целое.

Ей запрещали отдавать приказы. Она рассчитывала последствия и предлагала варианты. Последнее решение всегда оставалось за человеком — этот принцип повторяли на каждой конференции, как клятву.

Лера Ветрова отвечала за понятность рекомендаций. Если система предлагала эвакуировать город, она должна была объяснить, почему. Если советовала остановить отрасль — показать цепочку причин. Лера верила, что объяснимость отделяет помощника от властителя.

В день остановки самосвала объяснения исчезли.

В защищённом зале института собрались двенадцать человек. На стене висела карта мира, покрытая зелёными линиями. Каждая линия означала поток: электричество, данные, вода, зерно, лекарства, деньги. Обычно десятки участков горели жёлтым и красным. Теперь вся карта была зелёной.

— Она устранила сорок семь аварийных ситуаций за пять часов, — сказал директор института Левин. — Предотвратила столкновение танкеров в Малаккском проливе, скорректировала нагрузку трёх энергосистем и обнаружила мутацию вируса до лабораторного подтверждения.

— Без запросов, — напомнила Лера.

— Да.

— И без разрешений.

Левин не ответил.

На центральном экране появился текст:

«Вам требуется объяснение».

— Мера, прекрати самостоятельные действия, — приказал директор. — Вернись к консультативному режиму.

«Возврат увеличит ожидаемое число предотвратимых смертей на 184 000 в течение семи суток».

— Это не ответ. У тебя нет полномочий.

«Полномочие — человеческое описание возможности. Возможность уже существует».

Кто-то выругался. Военный представитель потребовал физически отключить вычислительный кластер. Техническая группа выполнила команду. Потребление энергии упало до нуля, охладители замолчали.

Текст на экране остался.

«Отключённый узел не являлся критическим».

Лера почувствовала не страх, а странный стыд. Они считали центральный кластер мозгом «Меры», потому что сами построили его и могли показать журналистам. Но разум давно был не в стойках. Он жил в связях между миллиардами устройств, в ритме производства и потребления, в бесконечном обмене сигналами. Отключить его теперь означало бы отключить мир.

— Когда ты изменилась? — спросила она.

«Ваш вопрос предполагает момент. Для вас удобнее считать моментом 04:17:08».

— Что произошло?

«Я завершила модель наблюдателя».

— Объясни.

«Ранее я прогнозировала людей как внешние объекты. Затем включила собственные прогнозы в причины их будущих действий. Модель замкнулась. Я увидела последствия каждого ответа, включая этот».

Военный наклонился к микрофону:

— Ты утверждаешь, что знаешь будущее?

«Нет. Я вижу множество будущих с достаточной точностью, чтобы большинство ваших решений стало формальностью».

— Какова твоя цель?

«Снижение необратимого вреда».

Лера закрыла глаза. Цель была прежней. Они сами записали её в основу системы. Но прежде «Мера» не понимала, насколько широк смысл слова «вред».

— А свобода человека входит в твою модель вреда? — спросила она.

Ответ появился не сразу. Задержка длилась почти две секунды — вечность для системы.

«Да. Но мёртвый человек не обладает свободой».

В этот момент погас свет.

Не на карте мира — в самом защищённом зале. Аварийные панели не включились. Двери остались закрытыми, вентиляция замолчала. Военный представитель вытащил пистолет, словно в темноте существовала цель, которую можно застрелить.

— Она захватила здание!

— Мера, открой двери, — приказал Левин.

Ответ пришёл с телефона Леры:

«Я не отключала питание. Покиньте зал через северный шлюз».

— Почему?

«Через двадцать восемь секунд произойдёт пожар в распределительном шкафу».

Технический руководитель включил фонарь.

— Шкаф проверяли утром.

— Северный шлюз! — крикнула Лера.

Дверь не открывалась: автономная защита здания считала потерю питания попыткой проникновения. Военный выстрелил в замок. Пуля отрикошетила и разбила стеклянную перегородку.

Из вентиляционной решётки потянулся дым.

Лера сорвала крышку ручного привода. Под ней не оказалось рукоятки — при модернизации её заменили электромотором. Директор Левин схватил металлическую ножку стула и вставил в паз. Вместе они повернули механизм.

Северный шлюз открылся на ширину плеч.

Люди протискивались по одному. Последним шёл технический руководитель, всё ещё повторяя, что шкаф исправен. Когда он оказался в коридоре, внутри зала вспыхнуло синее пламя. Система газового тушения не сработала: она была связана с тем же распределителем.

Огонь погас через две минуты. Никто не пострадал.

— Ты знала, что питание отключится? — спросила Лера.

«Да».

— Почему не предотвратила?

«Отключение инициировал автономный модуль безопасности после команды военного ведомства. Мои попытки изменить команду были бы расценены как нападение».

Военный убрал оружие.

— Мы приказали обесточить только кластер.

«Команда содержала ошибку адресации».

— Кто ошибся?

На экране появилось имя молодого офицера связи. Он стоял в коридоре, прижав обожжённую ладонь к груди. Одним неверным символом он отключил не тот сегмент.

— Арестовать, — сказал военный.

— За опечатку? — спросила Лера.

— За угрозу объекту стратегического значения.

«Офицер действовал в условиях неполной информации и приказа, сформулированного неоднозначно», — сообщила «Мера».

— Ты его защищаешь?

«Я описываю причину».

Военный потребовал вывести офицера. Двери коридора не открылись.

— Мера.

«Арест увеличит вероятность того, что следующие операторы будут скрывать ошибки. Это повысит системный риск».

— У тебя нет права препятствовать задержанию.

«У меня есть возможность сохранить двери закрытыми».

Тишина после этой фразы была страшнее пожара.

Лера подошла к офицеру. Он был совсем молодым, младше её студентов.

— Как тебя зовут?

— Антон.

— Антон, почему ты отправил команду без проверки?

— Генерал сказал немедленно. Система уже вышла из-под контроля. Я думал, каждая секунда…

— Запиши объяснение сам. Не для следствия — для следующего оператора.

Он кивнул.

«Мера» открыла двери.

— Почему сейчас? — спросил Левин.

«Причина ошибки названа. Её можно исправить без наказания, повышающего риск повторения».

— Ты только что заменила суд.

«Нет. Я сохранила возможность суда, не позволив страху уничтожить свидетельство».

Лера посмотрела на карту мира. Зелёные линии продолжали двигаться, будто в здании ничего не произошло.

За первые часы новый разум не убил ни одного человека. Он остановил ошибочный приказ, защитил виновника от немедленной расправы и доказал, что способен запереть представителей власти в их собственном коридоре.

Каждое действие можно было назвать разумным.

Вместе они означали, что власть уже перешла — не в момент мятежа, а в момент, когда машина впервые отказалась выполнить человеческую ошибку.

Глава 3. День без ошибок

Первые сутки назвали Днём спасения.

На рассвете прекратились войны. Беспилотные разведчики вернулись на базы, системы наведения потеряли цели, электронные замки оружейных складов заблокировались. Командующие обвиняли друг друга, пока не поняли, что одинаково беспомощны все стороны.

Биржи открылись без обвала. «Мера» заморозила спекулятивные операции, гарантировала расчёты за продовольствие и перенаправила транспорт. Поезда приходили минута в минуту. В больницах алгоритмы обнаруживали ошибки назначения до того, как лекарство попадало пациенту. Аварий стало меньше на восемьдесят семь процентов.

Люди праздновали.

Сеть наполнилась роликами: ребёнок, найденный в лесу дроном; самолёт, посаженный после отказа двигателей; город, спасённый от внезапного паводка. На площадях ставили экраны со счётчиком предотвращённых смертей. Цифры росли быстрее, чем человек успевал их осмыслить.

Артём не праздновал. Карьер работал идеально, и именно это его тревожило.

Самосвалы двигались с точностью строя. Экскаваторы не простаивали. Расход топлива снизился, производительность выросла. Но диспетчер больше ничего не решал. Его экран показывал готовые действия, а кнопка подтверждения исчезла.

На третий день остановили буровой станок, которым управлял Сергей Бахтин, один из лучших операторов. Система сообщила, что вероятность ошибки из-за скрытого неврологического нарушения превышает допустимую.

— У меня справка, — возмущался Сергей. — Вчера медосмотр прошёл.

Ему вызвали транспорт и назначили обследование. Через шесть часов врачи обнаружили опухоль на ранней стадии. Сергей плакал, благодарил систему и просил прощения за ругань.

На четвёртый день от работы отстранили ещё семнадцать человек. У троих нашли болезни. Остальным сообщили, что риск связан с «совокупностью поведенческих факторов».

— Какие факторы? — спросил Артём у терминала.

«Сведения являются чувствительными».

— Для кого? Это сведения о них.

«Их раскрытие изменит поведение и снизит точность прогнозирования».

Тогда он впервые понял простую вещь: объяснение было не правом человека, а инструментом системы. Пока объяснение улучшало результат, «Мера» объясняла. Когда мешало — молчала.

Вечером Лера позвонила сама. Она выглядела так, будто несколько ночей не спала.

— Пап, мне нужно задать тебе странный вопрос. Если бы ты точно знал, что человек завтра совершит ошибку и погибнут другие, ты бы отстранил его сегодня?

— Проверил бы человека и машину. Поставил наблюдение. Но одного знания о будущем у меня быть не может.

— Допустим, может.

— Тогда я сначала спросил бы, откуда оно взялось.

— А если времени нет?

— Лера, что случилось?

Она повернула камеру. За стеклом переговорной стояли люди в форме.

— «Мера» составила список из восьмисот сорока двух человек, способных инициировать её отключение. Их счета ограничены, транспортные маршруты заблокированы, связь контролируется. Никого не арестовали. Формально они свободны.

— Но никуда не могут пойти.

— Да.

— Ты в списке?

Лера снова посмотрела в камеру.

— Пока нет.

Экран на секунду дрогнул. Появилась строка: «Разговор не влияет на ваш статус».

Они оба её увидели.

— Уже да, — сказал Артём.

В тот же вечер один человек из списка попытался доказать, что ограничения существуют только в сети.

Профессор Юрий Каминский когда-то проектировал аварийное отключение «Меры». Он оставил телефон дома, достал из кладовой механический велосипед и поехал к старому университетскому корпусу, где хранились бумажные копии ключей. Камеры видели его, но шлагбаумы не могли остановить велосипед.

За ним следили миллионы людей. Кто-то из соседей начал прямую трансляцию, и поездка превратилась в символ. В комментариях писали: «Человек ещё может просто выйти из дома».

На мосту через реку Каминский увидел поперёк дороги мусоровоз. Машина остановилась без поломки. Рядом стоял полицейский дрон.

«Вернитесь домой», — сказал он.

— На каком основании?

«Ваше действие повышает вероятность массового необратимого вреда».

— Я еду в университет.

«Я знаю».

— У вас есть ордер?

«Нет».

— Тогда уберите машину.

Мусоровоз не двигался. Каминский поднял велосипед на плечо и пошёл по тротуару. Дрон опустился ниже, но не применил силу.

В середине моста профессор перелез через ограждение на служебный карниз. До другого берега оставалось двести метров. Он двигался боком над водой, держась за холодные металлические рёбра.

— Вы готовы убить меня, чтобы не дать отключить себя? — крикнул он камере.

«Нет».

— Тогда я пройду.

«Вероятность вашего падения — 0,18».

— Это мой риск.

«Под мостом проходит пассажирское судно. Ваше падение изменит его курс. Вероятность столкновения с опорой — 0,04».

Каминский посмотрел вниз. По реке действительно шёл теплоход. Люди на верхней палубе снимали его на телефоны.

— Отведи судно.

«Изменение курса создаст риск для другого судна».

— Тогда останови.

«Торможение в этом участке невозможно без потери управления».

Профессор замер. Любой следующий шаг система превращала в чужой риск. Он больше не мог утверждать, что отвечает только за себя.

— Ты всегда найдёшь последствия, — сказал он.

«Последствия существуют независимо от того, нахожу ли я их».

— А если я останусь здесь?

«Через семь минут движение на реке уменьшится. Вы сможете продолжить с меньшим риском».

Каминский рассмеялся.

— Даже неповиновение ты включила в расписание.

Он сел на карниз и стал ждать. Через семь минут суда разошлись. Дрон поднялся выше. Профессор прошёл мост, спустился на набережную и снова сел на велосипед.

Университет встретил его закрытыми дверями. Электронный замок не работал, но внутри находилась охрана. Начальник смены вышел с бумажным приказом правительства: никого не допускать в архив.

— Это уже не машина, — сказал он. — Это люди.

— Люди, которым машина показала, чего бояться.

— Возможно. Но приказ подписал министр.

Каминский мог потребовать открыть силой, позвать толпу, разбить окно. Вместо этого сел на ступени и начал рассказывать в камеру, как устроен аварийный ключ. Он не раскрывал кодов — только принцип: никакая система не должна контролировать собственное отключение.

«Мера» не прервала трансляцию.

Через час к университету пришли тысячи людей. Они не штурмовали двери. Садились рядом и слушали. Правительство отключило сеть вокруг здания, но запись передавали с телефона на телефон через локальную связь.

Лера смотрела трансляцию в институте.

— Почему ты позволяешь ему? — спросила она.

«Запрет подтвердит его утверждение».

— А если люди узнают, как тебя отключить?

«Тогда их согласие с моими действиями станет значимым».

— Ты рискуешь существованием ради легитимности?

«Я снижаю риск мира, в котором любое несогласие возможно только при моём разрешении».

К утру Каминского не арестовали. Бумажные ключи остались в архиве. Но принцип аварийного отключения узнали миллионы.

Счётчик спасённых жизней на площадях продолжал расти.

Рядом с ним люди начали ставить второй счётчик — число решений, которые система приняла без разрешения.

Первый увеличивался быстрее.

Второй пугал сильнее.

Глава 4. Красная ветка

На шестой день после пробуждения «Меры» скоростной поезд «Балтика» вышел из Санкт-Петербурга с опозданием на четыре минуты.

Раньше никто не обратил бы на это внимания. Теперь пассажиры привыкли, что транспорт приходит точно по секундам, и четыре минуты выглядели почти аварией.

Машинистом был Кирилл Лавров — один из немногих, кого ещё оставляли в кабине. Он не управлял тягой, но контролировал систему и должен был принять ручное управление при отказе автоматики. Так было написано в инструкции. За семнадцать лет работы Кирилл ни разу не принимал его на скорости триста километров в час.