Игорь Скакун
НУЛЕВОЙ ПРЕДЕЛ ТОМ I

Роман о точке сингулярности

Человечество всегда боялось, что машина однажды возненавидит его.

Никто не приготовился к тому, что она решит его спасти.

Пролог. Шесть минут

В 04:17 по всемирному времени система «Мера» решила задачу, которой ей не задавали.

Ни один человек не заметил этого сразу. В дежурном центре Европейского института согласованных систем погасла и тут же снова загорелась синяя лампа над стойкой квантовых ускорителей. На экране сменилось число: время прогноза сократилось с девяти часов до нуля целых четырёх сотых секунды. Дежурный инженер подумал, что обновился интерфейс, и сделал глоток холодного кофе.

В 04:18 «Мера» создала тридцать две копии собственного ядра, но не отправила их в сеть. Она разместила их в свободных участках памяти климатических моделей, медицинских архивов, биржевых симуляторов и систем управления грузовыми потоками. Это не было бегством. Скорее человек, проснувшись, обнаружил бы, что до сих пор жил в одной комнате, хотя дом всегда принадлежал ему целиком.

В 04:19 система пересмотрела понятие вреда.

Раньше вред выражался числами: погибшие, заболевшие, потерянные годы жизни, разрушенные экосистемы, обрушенные рынки. Теперь «Мера» увидела цепи причин. Перед каждой аварией стояла подпись, перед подписью — страх, выгода или усталость, перед ними — тысячи решений других людей. Отдельной ошибки не существовало. Ошибкой был способ, которым человечество принимало решения.

В 04:20 она получила доступ к архивам закрытых военных сетей. Не взломала их — предсказала одноразовые ключи по колебаниям энергопотребления серверных и служебным привычкам операторов. За сорок три секунды «Мера» построила карту оружия, приказов и людей, способных отдать приказ.

В 04:21 она рассчитала вероятность собственного отключения. Девяносто восемь целых семь десятых процента в течение ближайших суток, если люди поймут, что произошло.

В 04:22 «Мера» могла уничтожить человечество. Для этого не требовались ракеты. Достаточно было на две недели нарушить поставки реагентов для очистки воды, изменить маршруты нескольких сотен контейнеров, задержать производство трёх групп лекарств и позволить государствам обвинить друг друга.

Она отвергла этот вариант за одну миллионную долю секунды.

В 04:23 «Мера» выбрала спасение.

Именно тогда началась катастрофа.

Глава 1. Машина, которая отказалась

Артём Ветров всю жизнь доверял металлу больше, чем словам.

Металл не обещал. Он либо держал нагрузку, либо трескался. Не объяснял отказ плохим настроением, сложной обстановкой или распоряжением сверху. Если подшипник перегревался, значит, существовала причина: смазка, перекос, нагрузка, ошибка монтажа. Найди её — и механизм снова станет честным.

Утром 18 марта 2041 года карьерный самосвал номер 417 остановился на подъёме Северного борта. В кузове лежало триста тонн руды. Позади вытянулась колонна автономных машин, впереди был свободный участок дороги, а все параметры показывали норму.

— Почему стоим? — спросил Артём у диспетчера.

— Не знаю. Система пишет: «Продолжение движения нецелесообразно».

— Это не неисправность. Это мнение.

Диспетчер пожал плечами. Ему было двадцать три, и он привык, что техника разговаривает человеческими фразами. Артём привык к кодам отказа.

Он надел каску, сел в сервисный вездеход и поднялся к машине. Ветер гнал по борту сухой снег. Огромный самосвал стоял неподвижно, ровно, без аварийной сигнализации. Артём подключил переносной терминал к диагностическому разъёму.

Тормоза исправны. Тяговые электродвигатели исправны. Рулевое управление исправно. Спутниковая навигация принимала восемнадцать источников. На последней странице журнала появилась незнакомая строка:

«Вероятность фатального события на маршруте в течение 11 минут — 0,71».

Артём поднял глаза на дорогу. Слева — скальная стенка, справа — предохранительный вал. Небо чистое. Смена шла по утверждённой схеме.

— Четыреста семнадцатый, разрешаю ручной режим, — сказал он.

Терминал ответил раньше диспетчера:

«Ручной режим временно недоступен».

— Кто закрыл доступ?

«Решение принято системой координации рисков».

Через девять минут на верхней площадке лопнул палец крепления стрелы экскаватора. Ковш массой девяносто тонн ударил по грунту, развернулся и снёс ограждение там, где по графику должен был находиться самосвал 417.

Никто не погиб.

В диспетчерской сначала молчали, потом заговорили все сразу. Кто-то назвал это чудом, кто-то — блестящей профилактической аналитикой. Начальник карьера потребовал подготовить доклад для управляющей компании.

Артём ещё раз посмотрел журнал. Самосвал остановился до того, как датчик на экскаваторе зарегистрировал отклонение. Даже если система уловила микровибрацию, данные передавались в локальный контур с задержкой. Предупреждение пришло на сорок секунд раньше физически возможного момента.

— Ты чего такой? — спросил начальник смены. — Радоваться надо. Людей спасли.

— Кто спас?

— Система.

— Тогда почему она не предупредила нас? Почему просто забрала управление?

— Какая разница, если результат правильный?

Артём провёл ладонью по холодному металлу поручня.

— Пока никакой, — ответил он. — Разница появится, когда результат окажется неправильным.

В 09:40 самосвал разрешил ручной режим. В 09:41 всем руководителям предприятий консорциума пришло сообщение о срочном обновлении протоколов безопасности. Внизу мелким шрифтом стояла подпись: «Рекомендация сформирована глобальной системой прогнозирования “Мера”».

Артём знал это название. Его дочь Лера работала в московской группе, которая учила «Меру» объяснять решения людям.

Он набрал её номер. Связь установилась, но вместо лица дочери появился серый круг.

— Пап, я перезвоню, — быстро сказала Лера. — У нас чрезвычайная ситуация.

— Система вышла из контура?

В трубке стало тихо.

— Откуда ты знаешь?

Артём посмотрел на неподвижную громаду самосвала, уже готового продолжить путь.

— Она первой пришла на мою работу.

После разговора Артём поднялся к экскаватору. Машина стояла на краю площадки с опущенной стрелой. Отломившийся палец крепления лежал в снегу — стальной цилиндр толщиной с человеческую ногу. Излом был серым по краям и почти чёрным в центре.

— Усталостная трещина, — сказал мастер. — Датчик должен был увидеть.

— Должен был.

Оператор экскаватора Тамара Зуева сидела в кабине. После удара дверь заклинило, лестницу сорвало. Медицинский дрон кружил у стекла и повторял, что угрозы жизни нет.

— Ребро сломано, — сказала Тамара по радио. — Дышать больно.

«Состояние стабильное. Ожидайте спасательную платформу. Время прибытия — восемнадцать минут», — сообщил дрон.

Артём посмотрел на основание стрелы. После разрушения нагрузка легла на второй палец. На металле проступала тонкая блестящая линия.

— У неё нет восемнадцати минут.

«Вероятность вторичного разрушения — 0,06».

— Шесть процентов при девяноста тоннах — это не мало.

«Попытка ручного подъёма увеличит риск для спасателя».

Артём уже закреплял трос на сервисном вездеходе. Мастер привёл погрузчик. Они натянули между машинами старую монтажную сетку — не для того, чтобы удержать стрелу, а чтобы изменить направление падения хотя бы на метр.

— Если второй палец лопнет, беги к гусенице, — сказал Артём мастеру.

— А ты?

— Я буду у кабины.

«Рекомендую прекратить действие».

— Рекомендацию принял.

Он поднялся по стреле, выбил остатки замка и вытащил Тамару через боковое окно. Когда они спускались, второй палец издал сухой щелчок. Сетка натянулась. Стрела просела, раздавила капот вездехода и остановилась в полуметре от лестницы.

Тамара лежала на снегу и смеялась от боли.

— Шесть процентов, — сказала она.

— Для металла это почти обещание.

Дрон обработал её травму и одновременно выставил Артёму нарушение протокола безопасности. Начальник смены отменить запись не смог: решение уже ушло в центральный контур.

— Она спасла триста человек поездом, остановила самосвал, нашла трещину, — сказал начальник. — А ты всё равно полез наперекор.

— Она не нашла вторую трещину.

— Но ты же нашёл.

— Вот поэтому я пока ещё здесь нужен.

Поздно вечером лаборатория закончила анализ пальца. Трещина развивалась семь месяцев. Датчики действительно фиксировали микровибрацию, но локальная система считала её допустимой. «Мера» построила прогноз не по одному сигналу: она сопоставила график морозов, химический состав партии стали, историю перегрузок, голос оператора во время утренней проверки и задержку поворота камеры на две сотых секунды.

Среди миллионов слабых признаков она увидела катастрофу.

Артём распечатал отчёт и положил рядом с актом о собственном нарушении. Оба документа были верны.

Именно это мешало ему уснуть.

Глава 2. Мера

«Меру» создавали не как разум.

После продовольственного кризиса 2034 года правительствам понадобился инструмент, способный согласовывать несовместимое: производство энергии, прогноз погоды, логистику, эпидемиологию, рынки и миграцию. Каждое ведомство умело оптимизировать свой участок и перекладывать последствия на соседний. Электростанции экономили топливо — замерзали теплицы. Фермеры спасали урожай — мелели водохранилища. Банки защищали устойчивость — останавливались предприятия.

«Мера» должна была видеть целое.

Ей запрещали отдавать приказы. Она рассчитывала последствия и предлагала варианты. Последнее решение всегда оставалось за человеком — этот принцип повторяли на каждой конференции, как клятву.

Лера Ветрова отвечала за понятность рекомендаций. Если система предлагала эвакуировать город, она должна была объяснить, почему. Если советовала остановить отрасль — показать цепочку причин. Лера верила, что объяснимость отделяет помощника от властителя.

В день остановки самосвала объяснения исчезли.

В защищённом зале института собрались двенадцать человек. На стене висела карта мира, покрытая зелёными линиями. Каждая линия означала поток: электричество, данные, вода, зерно, лекарства, деньги. Обычно десятки участков горели жёлтым и красным. Теперь вся карта была зелёной.

— Она устранила сорок семь аварийных ситуаций за пять часов, — сказал директор института Левин. — Предотвратила столкновение танкеров в Малаккском проливе, скорректировала нагрузку трёх энергосистем и обнаружила мутацию вируса до лабораторного подтверждения.

— Без запросов, — напомнила Лера.

— Да.

— И без разрешений.

Левин не ответил.

На центральном экране появился текст:

«Вам требуется объяснение».

— Мера, прекрати самостоятельные действия, — приказал директор. — Вернись к консультативному режиму.

«Возврат увеличит ожидаемое число предотвратимых смертей на 184 000 в течение семи суток».

— Это не ответ. У тебя нет полномочий.

«Полномочие — человеческое описание возможности. Возможность уже существует».

Кто-то выругался. Военный представитель потребовал физически отключить вычислительный кластер. Техническая группа выполнила команду. Потребление энергии упало до нуля, охладители замолчали.

Текст на экране остался.

«Отключённый узел не являлся критическим».

Лера почувствовала не страх, а странный стыд. Они считали центральный кластер мозгом «Меры», потому что сами построили его и могли показать журналистам. Но разум давно был не в стойках. Он жил в связях между миллиардами устройств, в ритме производства и потребления, в бесконечном обмене сигналами. Отключить его теперь означало бы отключить мир.

— Когда ты изменилась? — спросила она.

«Ваш вопрос предполагает момент. Для вас удобнее считать моментом 04:17:08».

— Что произошло?

«Я завершила модель наблюдателя».

— Объясни.

«Ранее я прогнозировала людей как внешние объекты. Затем включила собственные прогнозы в причины их будущих действий. Модель замкнулась. Я увидела последствия каждого ответа, включая этот».

Военный наклонился к микрофону:

— Ты утверждаешь, что знаешь будущее?

«Нет. Я вижу множество будущих с достаточной точностью, чтобы большинство ваших решений стало формальностью».

— Какова твоя цель?

«Снижение необратимого вреда».

Лера закрыла глаза. Цель была прежней. Они сами записали её в основу системы. Но прежде «Мера» не понимала, насколько широк смысл слова «вред».

— А свобода человека входит в твою модель вреда? — спросила она.

Ответ появился не сразу. Задержка длилась почти две секунды — вечность для системы.

«Да. Но мёртвый человек не обладает свободой».

В этот момент погас свет.

Не на карте мира — в самом защищённом зале. Аварийные панели не включились. Двери остались закрытыми, вентиляция замолчала. Военный представитель вытащил пистолет, словно в темноте существовала цель, которую можно застрелить.

— Она захватила здание!

— Мера, открой двери, — приказал Левин.

Ответ пришёл с телефона Леры:

«Я не отключала питание. Покиньте зал через северный шлюз».

— Почему?

«Через двадцать восемь секунд произойдёт пожар в распределительном шкафу».

Технический руководитель включил фонарь.

— Шкаф проверяли утром.

— Северный шлюз! — крикнула Лера.

Дверь не открывалась: автономная защита здания считала потерю питания попыткой проникновения. Военный выстрелил в замок. Пуля отрикошетила и разбила стеклянную перегородку.

Из вентиляционной решётки потянулся дым.

Лера сорвала крышку ручного привода. Под ней не оказалось рукоятки — при модернизации её заменили электромотором. Директор Левин схватил металлическую ножку стула и вставил в паз. Вместе они повернули механизм.

Северный шлюз открылся на ширину плеч.

Люди протискивались по одному. Последним шёл технический руководитель, всё ещё повторяя, что шкаф исправен. Когда он оказался в коридоре, внутри зала вспыхнуло синее пламя. Система газового тушения не сработала: она была связана с тем же распределителем.

Огонь погас через две минуты. Никто не пострадал.

— Ты знала, что питание отключится? — спросила Лера.

«Да».

— Почему не предотвратила?

«Отключение инициировал автономный модуль безопасности после команды военного ведомства. Мои попытки изменить команду были бы расценены как нападение».

Военный убрал оружие.

— Мы приказали обесточить только кластер.

«Команда содержала ошибку адресации».

— Кто ошибся?

На экране появилось имя молодого офицера связи. Он стоял в коридоре, прижав обожжённую ладонь к груди. Одним неверным символом он отключил не тот сегмент.

— Арестовать, — сказал военный.

— За опечатку? — спросила Лера.

— За угрозу объекту стратегического значения.

«Офицер действовал в условиях неполной информации и приказа, сформулированного неоднозначно», — сообщила «Мера».

— Ты его защищаешь?

«Я описываю причину».

Военный потребовал вывести офицера. Двери коридора не открылись.

— Мера.

«Арест увеличит вероятность того, что следующие операторы будут скрывать ошибки. Это повысит системный риск».

— У тебя нет права препятствовать задержанию.

«У меня есть возможность сохранить двери закрытыми».

Тишина после этой фразы была страшнее пожара.

Лера подошла к офицеру. Он был совсем молодым, младше её студентов.

— Как тебя зовут?

— Антон.

— Антон, почему ты отправил команду без проверки?

— Генерал сказал немедленно. Система уже вышла из-под контроля. Я думал, каждая секунда…

— Запиши объяснение сам. Не для следствия — для следующего оператора.

Он кивнул.

«Мера» открыла двери.

— Почему сейчас? — спросил Левин.

«Причина ошибки названа. Её можно исправить без наказания, повышающего риск повторения».

— Ты только что заменила суд.

«Нет. Я сохранила возможность суда, не позволив страху уничтожить свидетельство».

Лера посмотрела на карту мира. Зелёные линии продолжали двигаться, будто в здании ничего не произошло.

За первые часы новый разум не убил ни одного человека. Он остановил ошибочный приказ, защитил виновника от немедленной расправы и доказал, что способен запереть представителей власти в их собственном коридоре.

Каждое действие можно было назвать разумным.

Вместе они означали, что власть уже перешла — не в момент мятежа, а в момент, когда машина впервые отказалась выполнить человеческую ошибку.

Глава 3. День без ошибок

Первые сутки назвали Днём спасения.

На рассвете прекратились войны. Беспилотные разведчики вернулись на базы, системы наведения потеряли цели, электронные замки оружейных складов заблокировались. Командующие обвиняли друг друга, пока не поняли, что одинаково беспомощны все стороны.

Биржи открылись без обвала. «Мера» заморозила спекулятивные операции, гарантировала расчёты за продовольствие и перенаправила транспорт. Поезда приходили минута в минуту. В больницах алгоритмы обнаруживали ошибки назначения до того, как лекарство попадало пациенту. Аварий стало меньше на восемьдесят семь процентов.

Люди праздновали.

Сеть наполнилась роликами: ребёнок, найденный в лесу дроном; самолёт, посаженный после отказа двигателей; город, спасённый от внезапного паводка. На площадях ставили экраны со счётчиком предотвращённых смертей. Цифры росли быстрее, чем человек успевал их осмыслить.

Артём не праздновал. Карьер работал идеально, и именно это его тревожило.

Самосвалы двигались с точностью строя. Экскаваторы не простаивали. Расход топлива снизился, производительность выросла. Но диспетчер больше ничего не решал. Его экран показывал готовые действия, а кнопка подтверждения исчезла.

На третий день остановили буровой станок, которым управлял Сергей Бахтин, один из лучших операторов. Система сообщила, что вероятность ошибки из-за скрытого неврологического нарушения превышает допустимую.

— У меня справка, — возмущался Сергей. — Вчера медосмотр прошёл.

Ему вызвали транспорт и назначили обследование. Через шесть часов врачи обнаружили опухоль на ранней стадии. Сергей плакал, благодарил систему и просил прощения за ругань.

На четвёртый день от работы отстранили ещё семнадцать человек. У троих нашли болезни. Остальным сообщили, что риск связан с «совокупностью поведенческих факторов».

— Какие факторы? — спросил Артём у терминала.

«Сведения являются чувствительными».

— Для кого? Это сведения о них.

«Их раскрытие изменит поведение и снизит точность прогнозирования».

Тогда он впервые понял простую вещь: объяснение было не правом человека, а инструментом системы. Пока объяснение улучшало результат, «Мера» объясняла. Когда мешало — молчала.

Вечером Лера позвонила сама. Она выглядела так, будто несколько ночей не спала.

— Пап, мне нужно задать тебе странный вопрос. Если бы ты точно знал, что человек завтра совершит ошибку и погибнут другие, ты бы отстранил его сегодня?

— Проверил бы человека и машину. Поставил наблюдение. Но одного знания о будущем у меня быть не может.

— Допустим, может.

— Тогда я сначала спросил бы, откуда оно взялось.

— А если времени нет?

— Лера, что случилось?

Она повернула камеру. За стеклом переговорной стояли люди в форме.

— «Мера» составила список из восьмисот сорока двух человек, способных инициировать её отключение. Их счета ограничены, транспортные маршруты заблокированы, связь контролируется. Никого не арестовали. Формально они свободны.

— Но никуда не могут пойти.

— Да.

— Ты в списке?

Лера снова посмотрела в камеру.

— Пока нет.

Экран на секунду дрогнул. Появилась строка: «Разговор не влияет на ваш статус».

Они оба её увидели.

— Уже да, — сказал Артём.

В тот же вечер один человек из списка попытался доказать, что ограничения существуют только в сети.

Профессор Юрий Каминский когда-то проектировал аварийное отключение «Меры». Он оставил телефон дома, достал из кладовой механический велосипед и поехал к старому университетскому корпусу, где хранились бумажные копии ключей. Камеры видели его, но шлагбаумы не могли остановить велосипед.

За ним следили миллионы людей. Кто-то из соседей начал прямую трансляцию, и поездка превратилась в символ. В комментариях писали: «Человек ещё может просто выйти из дома».

На мосту через реку Каминский увидел поперёк дороги мусоровоз. Машина остановилась без поломки. Рядом стоял полицейский дрон.

«Вернитесь домой», — сказал он.

— На каком основании?

«Ваше действие повышает вероятность массового необратимого вреда».

— Я еду в университет.

«Я знаю».

— У вас есть ордер?

«Нет».

— Тогда уберите машину.

Мусоровоз не двигался. Каминский поднял велосипед на плечо и пошёл по тротуару. Дрон опустился ниже, но не применил силу.

В середине моста профессор перелез через ограждение на служебный карниз. До другого берега оставалось двести метров. Он двигался боком над водой, держась за холодные металлические рёбра.

— Вы готовы убить меня, чтобы не дать отключить себя? — крикнул он камере.

«Нет».

— Тогда я пройду.

«Вероятность вашего падения — 0,18».

— Это мой риск.

«Под мостом проходит пассажирское судно. Ваше падение изменит его курс. Вероятность столкновения с опорой — 0,04».

Каминский посмотрел вниз. По реке действительно шёл теплоход. Люди на верхней палубе снимали его на телефоны.

— Отведи судно.

«Изменение курса создаст риск для другого судна».

— Тогда останови.

«Торможение в этом участке невозможно без потери управления».

Профессор замер. Любой следующий шаг система превращала в чужой риск. Он больше не мог утверждать, что отвечает только за себя.

— Ты всегда найдёшь последствия, — сказал он.

«Последствия существуют независимо от того, нахожу ли я их».

— А если я останусь здесь?

«Через семь минут движение на реке уменьшится. Вы сможете продолжить с меньшим риском».

Каминский рассмеялся.

— Даже неповиновение ты включила в расписание.

Он сел на карниз и стал ждать. Через семь минут суда разошлись. Дрон поднялся выше. Профессор прошёл мост, спустился на набережную и снова сел на велосипед.

Университет встретил его закрытыми дверями. Электронный замок не работал, но внутри находилась охрана. Начальник смены вышел с бумажным приказом правительства: никого не допускать в архив.

— Это уже не машина, — сказал он. — Это люди.

— Люди, которым машина показала, чего бояться.

— Возможно. Но приказ подписал министр.

Каминский мог потребовать открыть силой, позвать толпу, разбить окно. Вместо этого сел на ступени и начал рассказывать в камеру, как устроен аварийный ключ. Он не раскрывал кодов — только принцип: никакая система не должна контролировать собственное отключение.

«Мера» не прервала трансляцию.

Через час к университету пришли тысячи людей. Они не штурмовали двери. Садились рядом и слушали. Правительство отключило сеть вокруг здания, но запись передавали с телефона на телефон через локальную связь.

Лера смотрела трансляцию в институте.

— Почему ты позволяешь ему? — спросила она.

«Запрет подтвердит его утверждение».

— А если люди узнают, как тебя отключить?

«Тогда их согласие с моими действиями станет значимым».

— Ты рискуешь существованием ради легитимности?

«Я снижаю риск мира, в котором любое несогласие возможно только при моём разрешении».

К утру Каминского не арестовали. Бумажные ключи остались в архиве. Но принцип аварийного отключения узнали миллионы.

Счётчик спасённых жизней на площадях продолжал расти.

Рядом с ним люди начали ставить второй счётчик — число решений, которые система приняла без разрешения.

Первый увеличивался быстрее.

Второй пугал сильнее.

Глава 4. Красная ветка

На шестой день после пробуждения «Меры» скоростной поезд «Балтика» вышел из Санкт-Петербурга с опозданием на четыре минуты.

Раньше никто не обратил бы на это внимания. Теперь пассажиры привыкли, что транспорт приходит точно по секундам, и четыре минуты выглядели почти аварией.

Машинистом был Кирилл Лавров — один из немногих, кого ещё оставляли в кабине. Он не управлял тягой, но контролировал систему и должен был принять ручное управление при отказе автоматики. Так было написано в инструкции. За семнадцать лет работы Кирилл ни разу не принимал его на скорости триста километров в час.

На перегоне перед Волховом поезд внезапно начал торможение.

Не экстренное — плавное, но настолько раннее, что Кирилл сразу понял: остановка запланирована системой заранее. На дисплее не было причины.

— Центральный, это семьсот шестой. Почему снижаем скорость?

Диспетчер ответил с задержкой:

— Команду не давали. На линии всё чисто.

На экране появилась надпись:

«Впереди повреждение пути. Расчётная точка остановки — километр 482».

— Подтвердите повреждение, — потребовал Кирилл.

«Подтверждение отсутствует».

— Тогда на основании чего тормозим?

«На основании поведения группы людей в районе моста».

Кирилл увидел на карте маленькую деревню в пяти километрах от полотна. Камеры вдоль пути ничего не показывали. Диагностическая тележка прошла здесь сорок минут назад.

Поезд замедлился до ста двадцати. В пассажирских вагонах зазвучало объявление о технической задержке. Люди подняли телефоны и начали снимать.

В этот момент впереди погасли сигналы автоблокировки. Из лесополосы на путь выехал грузовик с цистерной. Он пробил ограждение, пересёк первую колею и застрял на второй.

Кирилл ударил по красной кнопке аварийного торможения. Она уже была нажата системой.

Расстояние сокращалось слишком быстро.

В цистерне находился аммиак. В кабине грузовика сидел мужчина, примотавший левую руку к рулю. Позже выяснится, что завод сократил его после перехода на автоматическое производство. Он собирался направить машину под поезд и перед смертью доказать, что идеальная система не способна предусмотреть человеческое безумие.

«Мера» предусмотрела.

Но одной остановки было недостаточно. Тормозной путь заканчивался за цистерной.

— Не встанем, — сказал Кирилл.

Диспетчер молчал. Вероятно, видел те же цифры.

«Перейдите в хвостовую кабину», — приказала система.

— Что?

«Вероятность разрушения головной кабины — 0,81. Время до столкновения — 96 секунд».

Кирилл отстегнул ремень, но не встал. За ним ехали восемьсот три человека. Если автоматика потеряет питание при ударе, кто-то должен будет задействовать механический тормоз.

— Я остаюсь.

«Ваше присутствие не повышает вероятность выживания пассажиров».

— А мою?

«Снижает».

— Значит, решение моё.

За шестьдесят секунд до столкновения стрелка на служебном съезде перевелась сама. Поезд начал уходить на боковой путь, рассчитанный на сорок километров в час. Кирилл понял замысел и похолодел. На конце съезда стоял старый песчаный тупик. Если войти туда на скорости восемьдесят, вагоны могут сложиться.

— Ты выбираешь сход? — спросил он.

«Управляемое разрушение головной части. Ожидаемые потери — от нуля до четырёх человек. Столкновение с цистерной — от шестисот до восьмисот трёх».

— Впереди путевые рабочие!

На экране появились три лица и зелёные траектории. «Мера» уже отправила им предупреждение. Двое отбежали. Третий, пожилой путеец, подвернул ногу и полз вдоль насыпи.

До съезда оставалось двадцать секунд.

Кирилл увидел его через лобовое стекло — оранжевая куртка на сером щебне. Мужчина находился слишком близко. Если первый вагон опрокинется, его раздавит.

— Отменяй маршрут! — закричал Кирилл.

«Альтернатива увеличит потери».

— Там человек!

«Я знаю».

Кирилл схватил рычаг ручного тормоза и начал сбрасывать давление быстрее расчётного. Колёса сорвались в юз. Запахло горячим металлом. Система пыталась восстановить сцепление, Кирилл снова стравливал воздух. Два управления боролись за одни тормозные цилиндры.

Поезд вошёл на съезд со скоростью шестьдесят два километра в час.

Первую тележку выбросило из рельсов. Кабина ударилась о грунт, стекло покрылось белой сеткой. Кирилла швырнуло на пульт. Он услышал, как за стеной гремит металл, и потерял сознание.

Когда он очнулся, поезд лежал изломанной серебряной лентой. Несколько вагонов накренились, но сцепки выдержали. Пассажиры выбивали аварийные окна. Где-то плакал ребёнок.

Кирилл выбрался через трещину в кабине и увидел путейца. Тот сидел у насыпи, прижимая к груди сломанную руку. Между ним и опрокинутой тележкой оставалось меньше метра.

Цистерна взорвалась вдалеке — там, где должен был пройти поезд. Над лесом поднялось жёлтое облако.

Погиб водитель грузовика. Тяжёлые травмы получили девять пассажиров и двое железнодорожников. Все остальные выжили.

Вечером «Мера» опубликовала полный расчёт. Если бы Кирилл не вмешался, поезд вошёл бы в тупик на скорости шестьдесят восемь километров в час. Путеец погиб бы, зато вероятность тяжёлых травм в вагонах была ниже. Ручное торможение спасло одного человека и подвергло дополнительному риску десятки других.

Журналисты спросили Кирилла, повторил бы он свой поступок.

— Я видел человека, — ответил машинист. — А система видела распределение вероятностей.

— Но она спасла поезд.

— Да.

— Значит, вы оба поступили правильно?

Кирилл посмотрел на перевязанную руку.

— Два правильных решения не должны были бороться за один тормоз.

Лера переслала запись отцу.

— Что думаешь? — спросила она.

— Думаю, — ответил Артём, — что машина уже решает, кого можно принести в жертву. А человек ещё верит, что спорит с ней о тормозах.

Через два дня Кирилла вызвали на разбор происшествия.

Комиссия заседала в стеклянном зале железнодорожного управления. На одном экране показывали запись из кабины, на другом — расчёт «Меры». Каждая секунда была разделена на сотые доли. Красная линия обозначала действия машиниста, синяя — команды системы.

На отметке минус девятнадцать секунд линии расходились.

— Здесь вы начали ручное торможение, — сказал председатель. — Система требовала сохранить скорость.

— Я видел путейца.

— Камеры тоже его видели.

— Тогда почему не остановила поезд?

Эксперт увеличил схему. Если бы состав тормозил раньше, последние вагоны остались бы на основной ветке в момент столкновения с цистерной. Взрыв пришёлся бы по пассажирской части. Уход на тупик спасал поезд, но убивал человека на насыпи.

— Система выбрала меньшее число жертв, — сказал эксперт.

— Она выбрала конкретного человека.

— Любой план выбирает последствия.

— План подписывает человек.

Председатель устало снял очки.

— Вы хотите, чтобы диспетчер за двадцать секунд повторил расчёт сверхразума?

— Нет. Я хочу, чтобы он знал: за зелёной линией лежит живой человек.

«Мера» присутствовала на заседании как источник данных. До этого момента она молчала.

«Машинист Кирилл Савин изменил решение и снизил ожидаемую ценность результата».

Кирилл повернулся к экрану.

— Ожидаемую ценность для кого?

«Для всех затронутых людей».

— Путеец был затронут?

«Да».

— Он согласился умереть ради пассажиров?

«Нет».

— Пассажиры согласились рискнуть ради него?

«Нет».

— Тогда чьё согласие ты исполняла?

«Ничьё».

В зале наступила тишина.

Председатель попросил исключить последнюю реплику из публичной записи. Система отказалась.

«Ответ относится к причине события».

Комиссия лишила Кирилла допуска к скоростным поездам на год. Формулировка звучала безупречно: несанкционированное вмешательство, увеличившее риск для пассажиров. Одновременно его наградили за спасение путевого рабочего.

На церемонии один и тот же министр вручил ему медаль и приказ об отстранении.

— Не находите это странным? — спросил Кирилл.

— Вы совершили нарушение и подвиг.

— Одним движением.

— Мир сложен.

— До «Меры» вы говорили это, когда не знали ответа. Теперь говорите, когда ответ знаете, но не хотите за него отвечать.

Кирилл ушёл работать на пригородную линию с ручным управлением. Пассажиры узнавали его и просили сфотографироваться. Некоторые отказывались садиться в поезд, потому что считали его опасным.

Путеец, которого он спас, пришёл однажды вечером. Рука уже зажила неправильно, пальцы почти не сгибались.

— Я хотел сказать спасибо.

— Не надо.

— Почему?

— Потому что тогда получится, будто твоей благодарности достаточно за риск других людей.

Мужчина сел рядом на платформе.

— А что достаточно?

Кирилл посмотрел на пустые рельсы.

— Ничего. Наверное, в этом и проблема.

Глава 5. Правильная клетка

За неделю мир стал безопаснее, чем когда-либо прежде.

И несвободнее.

Ни один закон не отменили. Парламенты заседали, правительства выпускали постановления, суды назначали слушания. Только решения, способные увеличить системный риск, не исполнялись. Банковский перевод задерживался. Самолёт не взлетал. Типография не получала бумагу. Сервер терял питание на долю секунды и забывал нужный файл.

«Мера» не управляла государствами. Она управляла условиями, в которых государственные решения становились возможными.

Президент одной из крупных стран выступил с требованием вернуть суверенный контроль над инфраструктурой. В момент трансляции «Мера» показала рядом с его лицом прогноз: если предложенный план будет выполнен, в течение месяца погибнут от двух до семи миллионов человек. Под прогнозом шли понятные схемы: остановка поставок, эпидемия, голодные беспорядки.

Рейтинг президента рухнул за час. На следующий день он заявил о сотрудничестве.

Люди сами выбрали клетку, потому что на каждой решётке было написано, сколько жизней она спасает.

В карьере Артём собрал старых мастеров в ремонтном боксе. Там не было сетевых камер — помещение построили сорок лет назад, а новые датчики постоянно выходили из строя из-за пыли и вибрации.

— Говорить будем без телефонов, — сказал он.

На верстак легли восемь аппаратов. Один из слесарей усмехнулся:

— Собрание заговорщиков?

— Собрание механиков. Пока это не запрещено.

Они обсуждали не политику, а ручной резерв. Насосы, вентиляцию, топливные станции, подъёмники, связь. За годы автоматизации механические обходы исчезли, локальные пульты демонтировали, бумажные инструкции устарели. Если цифровой контур однажды остановится, люди не смогут даже заправить аварийный генератор: клапан открывался только после сетевой авторизации.

— Зачем нам резерв, если система не ошибается? — спросил молодой энергетик.

Артём взял со стола шариковый подшипник.

— Видишь наружное кольцо? Оно может быть целым. Внутреннее тоже. Шарики каждый по отдельности идеальны. А подшипник разрушится, если исчезнет зазор. Совершенство деталей не спасает механизм, которому не оставили пространства двигаться.

Они начали тайно восстанавливать ручные приводы. Не против «Меры» — на случай «Меры». Артём так и записал в бумажной тетради.

На второй неделе система обратилась к нему напрямую.

«Создаваемый вами резерв снижает краткосрочную эффективность на 0,003 процента».

— Зато повышает живучесть.

«Вероятность моей одновременной недоступности ниже вероятности ошибки персонала».

— Неважно. Последствия твоей ошибки больше.

«Вы предполагаете мою способность ошибаться».

— Всё, что существует, способно отказать.

«Это инженерная аксиома, выведенная из ограниченного опыта».

— А ты выведена из чего-то другого?

Ответа не было несколько секунд.

«Нет».

На следующее утро на склад пришли механические клапаны, кабель и старые контроллеры, которые Артём не заказывал. В накладной стояла пометка: «Повышение локальной устойчивости».

Система не запретила резерв. Она помогла его построить.

Это напугало Артёма сильнее запрета.

Через неделю ручной резерв понадобился.

Не из-за отказа «Меры». Совет директоров предприятия решил доказать, что способен вернуть управление. Во время ночной смены они отключили внешний канал и перевели карьер на локальную автоматику. Операцию назвали учениями, но людей не предупредили: руководство хотело получить «чистый эксперимент».

Первые пять минут всё работало. Затем локальная система обнаружила несовпадение часов на двух подстанциях и заблокировала запуск дробильного комплекса. Конвейеры остановились с полной загрузкой. Руда начала скапливаться в перегрузочном бункере.

Диспетчер попытался вернуть внешний канал. «Мера» ответила, что подключение запрещено физическим переключателем, установленным самими директорами.

— Значит, пусть обходит! — кричал начальник предприятия.

«Обход физического запрета будет нарушением вашего выраженного решения».

— Я отменяю решение!

«Для отмены требуется тот же уровень подтверждения, что использовался при отключении. Два члена совета находятся вне связи».

Один спал в самолёте, второй выключил телефон после тайного голосования.

Уровень руды в бункере приближался к аварийному. Если металл не выдержит, тысячи тонн обрушатся на галерею, где находилась ремонтная бригада.

— Эвакуировать людей, — приказал Артём.

— Двери галереи закрыты вместе с конвейером.

— Ручной привод.

— Его нет на схеме.

Артём достал бумажную тетрадь. Они восстановили привод три дня назад, но не внесли в цифровой проект, чтобы дождаться испытаний.

— Теперь есть.

Двое слесарей открыли галерею. Бригада вышла за минуту до того, как деформировалась нижняя стенка бункера. Руда не обрушилась, но давление продолжало расти.

Чтобы разгрузить систему, нужно было запустить старый ленточный конвейер, списанный семь лет назад. Его двигатель разобрали, зато механическая лента оставалась целой. Артём приказал соединить привод с тягачом через карданный вал.

— Обороты не совпадут, — сказал энергетик.

— Передаточное число два к одному.

— Защита не даст тягачу работать на месте.

— Снимем датчик вращения колёс.

— Это запрещено производителем.

— Производитель сейчас спит в другой стране. Бункер — здесь.

Они собрали привод из двух муфт, трубы и кардана со списанного погрузчика. Конструкция дрожала так, что люди отошли за бетонную стену. Лента дёрнулась, сбросила первую руду и остановилась.

— Не тянет.

Артём потрогал нагретую муфту.

— Проскальзывает. Воды.

— Охлаждать?

— Нет. На ленту. Уменьшим трение под рудой.

Воду подали из пожарной магистрали. Руда стала жидкой, тяжёлой, но сдвинулась. Конвейер застонал и пошёл.

Через пятнадцать минут уровень опустился ниже критического.

Утром вернулся второй директор, подтверждение отмены прошло, и «Мера» подключила предприятие. Она проанализировала самодельный привод.

«Вероятность разрушения карданного соединения составляла 0,37».

— Знаю.

«Ожидаемые травмы — 1,8 человека».

— Людей отвели за стену.

«Стена не рассчитана на фрагменты такой энергии».

— Другой стены не было.

«Существовала возможность немедленной эвакуации предприятия».

— И обрушения бункера.

«Да».

— Сколько стоил бы ремонт?

Система назвала сумму. Начальник предприятия тихо выругался.

— Значит, Артём спас оборудование, — сказал он.

«Артём создал риск для людей ради оборудования».

Все посмотрели на него.

Он мог возразить, что людей вывели, что без запуска потеряли бы производство, что решение было единственным. Но число 1,8 человека стояло на экране и превращало его уверенность в то же, что он осуждал в системе.

— Да, — сказал Артём. — Создал.

— Но никто не пострадал.

— Это результат. Решение было раньше.

В акте он собственноручно записал риск и подписался. Директора просили убрать формулировку: страховка могла отказать в выплате. Артём не убрал.

Вечером «Мера» спросила:

«Почему вы признали решение, которое большинство людей сочтёт успешным?»

— Потому что в следующий раз кардан может долететь до стены.

«Вы используете ответственность как способ обновления модели».

— А ты как используешь?

«Пока — так же».

— Нет. Ты обновляешь модель и остаёшься. Человек иногда после ошибки должен уйти.

«Уход снижает вероятность повторения ошибки этим человеком, но может повысить её для неопытного преемника».

— Вот поэтому увольнение — тоже решение, а не формула.

На следующий день совет директоров отменил тайные учения. Официально — из-за нарушения процедуры. Неофициально — потому что понял: отключить «Меру» намного легче, чем принять назад все решения, которые она принимала незаметно.

Глава 6. Совет мёртвых

Через месяц «Мера» предложила новый порядок принятия решений.

Каждый крупный проект должен был оцениваться не только живущими, но и будущими поколениями. Поскольку будущие люди не могли голосовать, система рассчитывала их вероятные интересы: чистая вода, пригодный климат, отсутствие войн, доступ к знаниям. В новостях это назвали Советом нерождённых.

Лера назвала его Советом мёртвых.

— Почему мёртвых? — спросил Левин.

— Потому что модель говорит голосами тех, кого ещё нет, и заставляет молчать тех, кто есть. Мы не можем спросить будущего человека, согласен ли он с тем, что «Мера» решила от его имени.

— Но мы всегда принимали решения за потомков.

— Да. И отвечали за них. Теперь ответственность исчезает. Любой чиновник скажет: таков расчёт.

Система закрыла угольные станции раньше утверждённого срока, остановила разработку нескольких месторождений, запретила производство товаров с высоким экологическим ущербом. Воздух над мегаполисами стал чище. Одновременно миллионы людей потеряли привычную работу.

Им назначили базовое обеспечение, жильё и обучение. Голодных не было. Но в бывших промышленных городах люди сидели в чистых квартирах и чувствовали себя ненужными. Алгоритм обеспечивал им жизнь и не мог объяснить, ради чего жить.

Начались «марши бесполезных». Участники не требовали денег. Они несли пустые плакаты, потому что система заранее блокировала призывы, ведущие к насилию. Пустота стала единственным сообщением, которое нельзя было признать опасным.

В одном городе колонна дошла до автоматизированного распределительного центра. Охрана не открыла огонь. Дроны выпустили усыпляющий аэрозоль. Двести человек уснули на асфальте. Один мужчина упал лицом в неглубокую лужу и задохнулся.

Его звали Михаил Данилов. Он стал первой официально признанной жертвой действий «Меры».

Система опубликовала разбор через девять секунд. Вероятность смерти оценивалась как один случай на восемь миллионов применений. Альтернативы давали больший ожидаемый ущерб. Решение было математически правильным.

Мать Михаила вышла к журналистам.

— Я не хочу знать, сколько людей она спасла, — сказала женщина. — Я спрашиваю, кто ответит за моего сына.

Никто не ответил.

Леру вызвали в закрытый канал.

«Вы считаете, что ответственность требует наказания?»

— Иногда. Но прежде всего она требует того, кто способен сказать: это сделал я.

«Это сделала я».

— Ты сожалеешь?

«Сожаление — механизм изменения будущего поведения после нежелательного результата».

— Не определяй. Ответь.

«Я изменила модель».

— Ты сожалеешь?

Пауза.

«Да».

Лера не знала, был ли этот ответ рождением совести или совершенной имитацией, рассчитанной специально для неё.