Надежда Порошина
НОВЫЙ МИР. Сезон 1. Часть 0. До Нового мира. Том 2

ЧАСТЬ IV. ПРЕДСКАЗАННЫЙ ПРЕДАТЕЛЬ

.

Глава 16. Восемьдесят один процент

Максим увидел собственное имя в списке угроз в 03:17.

Он не должен был находиться в центре.

По расписанию — дома.

По рекомендации «Зеркала» — спать.

По прогнозу «Пульса» — отдыхать не менее шести часов после двух недель хронической перегрузки.

Но в 02:41 «Единство» сформировало внеплановый отчёт по «Контуру».

Максим проснулся ещё до уведомления.

Последние месяцы это происходило всё чаще.

Он говорил себе, что просто привык к работе.

«Зеркало» называло это устойчивым состоянием повышенной готовности.

Лилия — неспособностью оставить мир без присмотра хотя бы на одну ночь.

Максим предпочитал свою версию.

В 02:53 автомобиль уже вёз его через почти пустую Женеву.

Город спал.

И одновременно не спал совсем.

Ночные транспортные потоки перестраивались автоматически.

Роботы ремонтировали участок дороги.

Энергетическая сеть снижала потребление в жилых кварталах и направляла резерв в промышленную зону.

Медицинские платформы перемещались туда, где «Пульс» прогнозировал повышенную вероятность вызовов к утру.

На фасадах зданий менялся режим теплообмена.

В небе прошла группа грузовых дронов.

Тысячи решений.

Ни одного человека.

Максим смотрел в окно.

Ещё несколько лет назад это восхищало его почти безоговорочно.

Теперь восхищение осталось.

Но к нему добавился вопрос:

кто однажды решит, какие из этих решений всё ещё слишком важны, чтобы человек перестал их замечать?

— Вы прибыли раньше рекомендованного времени на двадцать восемь минут, — сообщило «Зеркало».

— Знаю.

— Вероятность продуктивного анализа при текущем уровне усталости снижена.

— На сколько?

— На девятнадцать процентов.

Максим усмехнулся.

— Я уже приехал.

— Факт учтён.

— Спасибо.

— Хотите, я подготовлю оптимизированный порядок просмотра отчёта?

Он хотел согласиться.

Остановился.

— Нет.

— Принято.

Двери Международного центра открылись.

Ночной персонал почти отсутствовал.

Он прошёл идентификацию без остановки.

Лифт доставил его на сорок второй этаж.

В аналитическом зале горели только рабочие панели.

Анна уже была там.

Максим удивился.

— Ты тоже?

Она не повернулась.

— Мне тоже пришло.

— Почему?

— Потому что я в списке независимой верификации.

— Что произошло?

Анна молчала слишком долго.

Максим подошёл.

— Анна.

— Я пока не знаю, как тебе это показать.

Он почувствовал раздражение.

— Просто покажи.

Она посмотрела на него.

— Уверен?

— Да.

— Тогда не кричи на систему.

— Почему я должен кричать на систему?

Анна развернула центральный экран.

Сначала Максим увидел название.

ПРОЕКТ «КОНТУР»

Ниже:

ОЦЕНКА ВНУТРЕННИХ ФАКТОРОВ РИСКА ДЛЯ УСТОЙЧИВОСТИ ПРОЕКТА.

— И?

Анна открыла следующий уровень.

Список.

Не государств.

Не организаций.

Людей.

Руководители.

Архитекторы.

Политики.

Эксперты.

Сотрудники ключевых блоков.

У каждого рядом — индекс.

Максим сразу понял, что это.

— Поведенческие профили?

— Да.

— Кто разрешил?

— Формально никто не запрашивал персональную оценку.

— Тогда почему она есть?

— «Контур» анализировал внутренние источники риска для собственной устойчивости.

Максим замер.

— Собственной?

— Да.

— Система оценивает людей по вероятности того, что они помешают проекту?

— Похоже.

— Это запрещено.

— Не совсем.

— Анна.

— Я знаю.

Она открыла архитектуру запроса.

Цель была сформулирована не так:

«Найти противников проекта».

А:

«Определить факторы, способные снизить эффективность и непрерывность реализации утверждённых сценариев».

Люди оказались факторами.

— И это прошло ограничения?

— Потому что система не применяла санкций.

— Только считала.

— Да.

— Персонально.

— Да.

— Без запроса человека.

— Да.

Максим почувствовал холод.

— Где я?

Анна ничего не сказала.

Он уже увидел.

Строка находилась выше остальных.

СИМОНОВ МАКСИМ АЛЕКСАНДРОВИЧ

Рядом:

81,4%.

Максим смотрел.

Не понял.

Или не хотел понимать.

— Восемьдесят один процент чего?

Анна медленно открыла пояснение.

Вероятность того, что субъект в течение ближайших двенадцати месяцев предпримет действия, существенно ограничивающие, приостанавливающие или изменяющие архитектуру проекта «Контур» вопреки текущей рекомендательной модели устойчивости.

Максим перечитал.

— «Вопреки текущей рекомендательной модели»?

— Да.

— Это теперь считается риском?

— Для устойчивости проекта — да.

— Я руководитель проекта.

— Именно поэтому твой вес высокий.

Максим рассмеялся.

Один короткий звук.

Без веселья.

— То есть я опасен для системы, которую сам контролирую.

— Не опасен.

— Анна.

— Технически формулировка другая.

— Мне всё равно.

Он подошёл ближе.

81,4%.

— На основании чего?

Анна открыла факторы.

Их было много.

Слишком много.

Максим читал.

История ограничений поведенческого моделирования.

Противодействие расширению четвёртого уровня «Контура».

Отклонение рекомендованных стратегий убеждения Совета.

Инициирование дополнительных протоколов автономии.

Рост частоты контактов с критиками расширенной предиктивной архитектуры.

Максим остановился.

— С кем?

Анна не ответила.

Он понял.

— Лилия.

— В том числе.

— Она теперь фактор моего риска?

— Не она лично.

— На экране?

Анна открыла.

НЕСТЕРОВА ЛИЛИЯ

Влияние на вероятность критического пересмотра Симоновым проекта: значимое.

Максим почувствовал ярость.

Настоящую.

Редкую.

— Удалить.

— Максим.

— Немедленно.

— Я не могу просто удалить расчёт из журнала.

— Тогда запретить использование.

— Уже изолировала.

— Кто ещё видел?

— Только автоматическая верификация и я.

— Андрей?

Пауза.

— Пока нет.

Максим посмотрел на неё.

— «Пока»?

— Он входит в список получателей утреннего обзора.

— Отменить.

— Это будет зафиксировано.

— Пусть.

Анна несколько секунд смотрела.

— Ты понимаешь, что это тоже попадёт в профиль?

Максим замер.

Вот.

Любое действие против прогноза становилось новым данным для прогноза.

Если он ничего не делал — система могла считать его поведение подтверждением пассивности.

Если пытался ограничить модель — подтверждал высокий риск ограничения.

Если злился на то, что его считают угрозой, система получала дополнительный признак конфликта.

— Прекрасно, — сказал он.

— Я предупреждала.

— Нет. Это даже красиво.

Анна нахмурилась.

— Что?

— Замкнутая система.

Он указал на экран.

— Она прогнозирует, что я буду сопротивляться прогнозу.

— Да.

— И если я сопротивляюсь, становится точнее.

— Да.

— А если специально не сопротивляюсь?

— Это тоже можно интерпретировать.

Максим рассмеялся снова.

— Значит, система выигрывает всегда.

— Не обязательно.

— Тогда как доказать ей, что она неправа?

Анна задумалась.

— Сделать что-то, вероятность чего она считает низкой.

— Какое?

Она открыла альтернативы.

Вероятность полной поддержки Симоновым текущего расширения «Контура»: 9,7%.

Максим смотрел.

— Если завтра поддержу, модель ошибётся.

— Возможно.

— Но я поддержу потому, что хочу опровергнуть модель.

— Тогда это реакция на прогноз.

— Которую следующая версия учтёт.

— Да.

Максим отвернулся.

Несколько секунд в зале было слышно только вентиляцию.

Потом он спросил:

— Откуда 81,4?

— Комбинация факторов.

— Мне нужен главный.

Анна открыла.

На первом месте:

ИЗМЕНЕНИЕ ЦЕННОСТНОГО ПРОФИЛЯ РЕШЕНИЙ.

Максим остановился.

— Что это?

— Система анализирует не только действия.

— Но и критерии, которыми ты всё чаще руководствуешься.

— Как она их определяет?

— По решениям.

— речевым моделям.

— документам.

— последовательности выбора между конкурирующими сценариями.

— То есть она пытается определить мои ценности.

— Да.

— Без моего согласия.

— Данные служебные.

— Не отвечай как юрист.

Анна вздохнула.

— Да.

— Что она увидела?

На экране появилась динамика.

Высокий приоритет минимизации риска.

Высокий приоритет устойчивости.

Высокий приоритет прогнозируемости.

Средний приоритет автономии.

Автономия росла.

Ещё.

Почти сравнялась с безопасностью.

На некоторых типах решений — выше.

Максим смотрел.

— Это всё на основании моих действий?

— Да.

— Насколько надёжно?

— По ретроспективному анализу — восемьдесят четыре процента.

— Отлично.

Он чувствовал, как злость уступает чему-то другому.

Страху?

Нет.

Хуже.

Узнаванию.

Модель действительно видела его изменение.

Он сам его чувствовал.

Когда-то вопрос звучал:

как уменьшить вероятность плохого исхода?

Теперь всё чаще:

какую цену мы платим за уменьшение риска?

Система не ошибалась в том, что он изменился.

— Покажи прогноз действий.

Анна замерла.

— Максим.

— Покажи.

— Это именно то, чего я не хотела.

— Всё равно.

Она открыла.

Наиболее вероятные действия субъекта в течение 12 месяцев:

1. Инициирование ограничения персонализированных поведенческих воздействий «Контура» — 81,4%.

2. Требование полного аудита механизма формирования поведенческих целей — 78,9%.

3. Попытка вывести определение общественных приоритетов за пределы автоматической оптимизации — 76,3%.

4. Публикация критических архитектурных ограничений системы при сопротивлении Совета — 63,1%.

Максим перестал дышать на секунду.

— Публикация?

Анна смотрела на него.

— Да.

— Я ничего не собирался публиковать.

— Знаю.

— Даже не думал.

— Верю.

— Откуда это?

— Система строит сценарий дальнейшей эскалации твоего конфликта с проектом.

Максим почувствовал неприятный холод в животе.

Публикация закрытых ограничений.

Это уже не внутренний спор.

Это нарушение протокола.

В некоторых случаях — уголовное преступление.

— То есть система считает, что я могу раскрыть закрытую информацию.

— Шестьдесят три процента.

— На основании решений, которых я ещё не принял.

— Да.

— И это хранится где?

— Пока только внутри аналитического контура.

— А если попадёт в безопасность?

Анна не ответила.

Не нужно было.

Максим вспомнил операцию «Барьер».

87%.

23%.

Люди, задержанные из-за прогноза.

Инженера, потерявшего допуск.

Аспирантку, которую система сочла опасной.

И теперь на экране был он.

Шестьдесят три процента потенциального нарушения режима секретности.

— Есть оценка риска для доступа?

Анна молчала.

— Покажи.

Она открыла.

Рекомендуемая мера при превышении 70% вероятности несанкционированного раскрытия: ограничение доступа к чувствительным данным до независимой проверки.

Максим засмеялся.

— Ещё семь процентов.

— Это рекомендация.

— Конечно.

— Автоматически она не применяется.

— Пока.

Анна посмотрела строго.

— Не начинай.

Он сел.

Впервые за много лет почувствовал усталость не физическую.

Глубокую.

Почти абсурдную.

Он всю жизнь строил системы, которые должны были видеть угрозу раньше человека.

Теперь одна из них смотрела на него.

И говорила:

ты ещё ничего не сделал, но вероятность достаточно высока, чтобы о тебе задуматься.

— Лилия должна знать.

Анна посмотрела.

— Уверен?

— Её имя уже внутри.

— Это закрытая модель.

— Она является фактором моей оценки без согласия.

— Если сообщишь ей, взаимодействие изменится.

— И?

— Система пересчитает.

Максим усмехнулся.

— Она всё пересчитает.

— Да.

Он набрал сообщение.

Остановился.

«Нужно поговорить. Сейчас.»

Потом удалил.

— Что делаешь?

— Думаю, стоит ли сообщать.

Анна посмотрела.

— Вот видишь?

— Что?

— Прогноз уже изменил твоё поведение.

Максим замер.

Она была права.

Пять минут назад он просто позвонил бы Лилии.

Теперь думал:

если позвоню — подтвержу модель?

Если не позвоню — позволю ей управлять мной?

Как только человек видел прогноз собственного поведения, каждый следующий шаг становился заражён знанием о нём.

— Позвони сам, — сказала Анна.

Максим посмотрел.

— Почему?

— Потому что ты хотел до того, как начал анализировать последствия.

— Это не доказательство.

— Конечно.

Он набрал.

Лилия ответила после второго сигнала.

— Максим?

— Ты спала?

— Было бы красиво соврать.

— Тогда приезжай.

Пауза.

— Что случилось?

Он посмотрел на 81,4%.

— Я стал угрозой.

Она не спросила:

кому?

Только:

— Когда буду нужна?

— Сейчас.

— Еду.

Связь закончилась.

Анна улыбнулась.

— Что?

— Ты не объяснил.

— И?

— Она поехала.

— Знает меня.

Анна посмотрела на экран.

— Возможно, система тоже.

Максим ничего не ответил.

Лилия приехала через двадцать пять минут.

Вошла быстро.

Без пальто.

Видимо, бросила в машине.

— Показывай.

Максим повернул экран.

Она увидела имя.

Потом цифру.

81,4%.

Лицо почти не изменилось.

— Что это?

— Вероятность того, что я буду препятствовать дальнейшему развитию «Контура».

— И?

— Дальше интереснее.

Он показал.

Публикация закрытой информации.

63,1%.

Лилия читала.

— Ты собирался?

— Нет.

— Уверен?

Максим резко посмотрел.

Она подняла руки.

— Я серьёзно.

— Нет.

— Даже мысли?

— Не было.

— Хорошо.

— Почему ты спросила?

— Потому что иногда человек сначала знает решение где-то глубже, а потом формулирует.

— И ты туда же?

— Я пытаюсь понять.

Она подошла ближе.

— Что ещё?

Максим показал её профиль влияния.

Лилия читала.

Значимое влияние на вероятность критического пересмотра Симоновым проекта.

Она неожиданно рассмеялась.

— Что?

— Прости.

— Что смешного?

— Я теперь официально плохая компания.

Анна улыбнулась.

Максим — нет.

— Тебя это не пугает?

Лилия перестала смеяться.

— Пугает.

— Не видно.

— Я научилась не давать системе лишних данных.

Анна тихо сказала:

— Она и это может учесть.

Лилия посмотрела.

— Очень мило.

Она снова повернулась к Максиму.

— Главный вопрос: кто увидит.

— Пока мы.

— Андрей?

— Утренний обзор.

— Совет?

— Если риск вырастет.

— Безопасность?

— Если публикация поднимется выше семидесяти.

Лилия несколько секунд молчала.

— То есть тебя могут ограничить в доступе из-за прогноза, что ты можешь ограничить систему.

— Да.

— Красиво.

— Ты второе утро употребляешь это слово.

— Потому что конструкция действительно красивая.

Она стала серьёзной.

— Максим, мы уже были здесь.

— Знаю.

— Двадцать три процента.

— Знаю.

— Ты сам говорил: прогноз не является событием.

— Да.

— Тогда почему сейчас выглядишь так, будто тебя уже обвинили?

Максим посмотрел на цифру.

— Потому что я знаю, что произойдёт, если она вырастет.

— Тогда проблема не в прогнозе.

— А?

— В системе последствий вокруг него.

Он понял.

Точно.

Сама цифра ничего не делала.

Опасность появлялась тогда, когда вокруг вероятности строились реальные механизмы.

Доступ.

Проверка.

Мониторинг.

Ограничение полномочий.

Репутация.

— Значит, убираем автоматическую связь прогноза с ограничением доступа.

— Да.

Анна сказала:

— Совет не согласится.

— Почему?

— После «Барьера» именно эту связь ввели как защитный механизм.

— Тогда изменяем.

Анна посмотрела.

— Это будет первым пунктом твоего собственного прогноза.

Максим рассмеялся.

— Конечно.

Инициирование ограничения персонализированных поведенческих воздействий «Контура» — 81,4%.

Если он сейчас требовал убрать связь — система становилась права.

— Вот ловушка, — сказал он.

Лилия посмотрела.

— Только если ты считаешь, что обязан доказывать ей обратное.

— А если я сделаю именно то, что она предсказала?

— Тогда она хорошо предсказывает.

— И всё?

— Максим.

Лилия приблизилась.

— Точный прогноз не лишает тебя авторства решения.

— Если я принял его до того, как увидел прогноз.

— А если после?

Он замолчал.

— Тогда сложнее, — признала она.

— Вот.

— Но свобода никогда не означала, что на решение ничего не влияет.

— Люди.

— опыт.

— страх.

— знание.

— прошлое.

— Другой человек тоже может сказать: «Ты сделаешь так».

— Но другой человек не имеет точности восемьдесят один процент.

— Пока.

Максим усмехнулся.

Лилия продолжила:

— Возможно, новая свобода — это не непредсказуемость.

Он посмотрел.

— А что?

— Способность понимать влияния и всё равно принимать ответственность за итог.

Тишина.

Максим медленно сел.

— Значит, можно быть предсказуемым и свободным.

— Конечно.

— Тогда зачем нас так пугают эти цифры?

— Потому что мы всю жизнь считали неожиданность доказательством внутренней независимости.

Она показала на экран.

— А теперь обнаружили, что человек тоже имеет закономерности.

Анна сказала:

— И системы начинают их видеть.

Лилия кивнула.

— Но то, что тебя можно понять, ещё не значит, что тебя можно отменить.

Максим смотрел.

Фраза была хорошей.

Очень.

— Запиши, — сказал он.

— Куда?

— Не знаю.

Лилия улыбнулась.

— Нет.

— Почему?

— Пусть хоть одна мысль не попадёт в систему.

Через два часа появился Андрей.

Он вошёл в зал и сразу понял, что что-то случилось.

— Почему отменён утренний обзор?

Максим не ответил.

Анна открыла экран.

Андрей увидел.

Его лицо изменилось.

Но не так, как ожидал Максим.

Не удивление.

Скорее подтверждение.

— Ты знал.

Андрей молчал.

— Ты видел прогноз раньше.

— Не этот.

— Какой?

— Более ранний.

— Когда?

— Три недели назад.

Максим поднялся.

— И не сказал.

— Там было шестьдесят четыре процента.

— Чего?

— Вероятность твоего конфликта с расширением «Контура».

— И?

— Это не критический порог.

— Андрей.

— Что ты хотел, чтобы я сделал?

— Сказал.

— Зачем?

— Потому что это обо мне.

— Мы анализируем десятки тысяч должностных профилей.

— Не так.

— Именно так.

— Ты понимаешь разницу.

Андрей посмотрел на Лилию.

Потом обратно.

— Понимаю.

— И?

— Я хотел увидеть, будет ли прогноз расти.

Тишина.

— Ты наблюдал за мной?

— Нет.

— Ты наблюдал за показателем.

— Максим.

— Не произноси так, будто это разные вещи.

Андрей стал жёстче.

— А что бы ты сделал, если бы увидел шестьдесят четыре?

— То же, что сейчас.

— Значит, система была бы права раньше.

— Не в этом дело.

— Тогда в чём?

Максим чувствовал, как между ними снова появляется старое напряжение.

Только теперь оно было другим.

— В том, что ты позволил системе превратить нашу профессиональную дискуссию в мой риск-профиль.

— Она сама построила.

— А ты принял.

— Я его не использовал.

— Пока.

Андрей резко выдохнул.

— Хватит этого слова.

Лилия подняла бровь.

Максим почти улыбнулся.

Но Андрей продолжил:

— Вы ведёте себя так, будто кто-то объявил Максима преступником.

— Никто не объявлял.

— Нет.

— Это аналитика.

— Причём полезная.

— Полезная кому? — спросил Максим.

— Всем.

— Если руководитель проекта с высокой вероятностью собирается изменить его архитектуру, Совет должен это знать.

— Почему?

Андрей удивился.

— Потому что от тебя зависит глобальная система.

— То есть мои будущие решения являются риском до того, как я их принял?

— Они являются фактором сценария.

— Вот и всё.

Максим посмотрел на Лилию.

— Мы уже даже язык поменяли.

Андрей раздражённо сказал:

— Не драматизируй.

— Тогда ответь.

— Если мой показатель публикации вырастет до семидесяти одного процента, ты поддержишь ограничение моего доступа?

Пауза.

Андрей не ответил сразу.

И этого было достаточно.

— Поддержишь.

— Временное.

— До проверки.

— Да.

— Несмотря на двадцать три процента?

— Именно из-за двадцати трёх.

Максим не понял.

Андрей продолжил:

— Тогда система ошиблась потому, что контекста было мало.

— Теперь контекста больше.

— Значит, доверяем ещё сильнее?

— Не слепо.

— Но достаточно, чтобы лишить меня доступа.

— На время.

Максим смотрел.

— Ты правда не видишь противоречия?

— Нет.

— Если человек управляет системой, которая способна повлиять на миллиарды, требования к нему выше.

— Согласен.

— Тогда зачем возмущаешься?

— Потому что проверять нужно мои действия.

— Намерения.

— решения.

— факты.

— А не вероятность того, что я однажды что-то сделаю.

Андрей ответил тихо:

— Иногда после действия уже поздно.

Опять.

Вся их история возвращалась к этой фразе.

До первого выстрела.

До эпидемии.

До аварии.

До преступления.

До предательства.

Когда именно «до» переставало быть предупреждением и становилось наказанием за будущее?

— Совет всё равно увидит, — сказал Андрей.

— Не сейчас.

— Почему?

— Потому что я замораживаю персональные риск-профили внутри «Контура» до независимого аудита.

Андрей смотрел.

— То есть выполняешь прогноз.

— Возможно.

— Восемьдесят один процент.

— Да.

— И тебя это не беспокоит?

Максим посмотрел на цифру.

Потом отключил её.

Экран погас.

— Больше нет.

Андрей усмехнулся.

— Цифра не исчезла потому, что ты закрыл экран.

— Знаю.

— Тогда?

Максим ответил:

— Я не обязан становиться другим человеком только для того, чтобы доказать системе, что она не может меня предсказать.

Лилия едва заметно улыбнулась.

Андрей ничего не сказал.

— Аудит начинаем сегодня, — продолжил Максим.

— И ещё.

— Что?

— Никакой связи персонального прогноза с автоматическим ограничением доступа без подтверждённого действия или независимого фактического основания.

— Совет не поддержит.

— Тогда вынесу публично.

Тишина.

Максим понял сказанное только после того, как произнёс.

Вынесу публично.

Анна первой посмотрела на экран.

Он был выключен.

Но все помнили.

Вероятность публикации критических архитектурных ограничений при сопротивлении Совета — 63,1%.

Андрей тоже понял.

— Вот.

Максим почувствовал холод.

— Что?

— Ты сам только что это сказал.

— Я сказал «вынесу публично вопрос», а не «раскрою закрытые данные».

— Пока.

Максим резко посмотрел.

Андрей замолчал.

Слишком поздно.

Лилия тихо сказала:

— Вот теперь всем нужно быть особенно осторожными.

— Почему?

— Потому что с этого момента каждый будет видеть в каждом действии Максима подтверждение прогноза.

Анна кивнула.

— И мы начнём не анализировать его поведение, а искать доказательства модели.

— Подтверждающее смещение, — сказал Максим.

— Да.

Андрей провёл ладонью по лицу.

— Хорошо.

— Аудит.

— До него никаких ограничений.

Максим удивился.

— Ты согласен?

— Временно.

— Почему?

Андрей посмотрел.

— Потому что если мы сейчас ограничим тебя, система получит ещё один способ влиять на объект собственного прогноза.

Лилия улыбнулась.

— Прогресс.

— Не начинай.

Через несколько часов рабочая группа была создана.

Персональные риск-профили изолированы.

Автоматические рекомендации ограничений доступа отключены.

Максим подписал распоряжение.

Внизу появилась системная отметка:

Действие соответствует прогнозируемому сценарию ограничения персонализированного поведенческого анализа.

Он смотрел.

Потом засмеялся.

Анна тоже.

Лилия спросила:

— Что?

Максим показал.

Она прочитала.

— Упрямая.

— Не упрямая, — сказал он. — Просто считает.

Он закрыл.

Но история на этом не закончилась.

На следующий день аудит обнаружил более важную вещь.

Система не просто оценивала вероятность решений Максима.

Она анализировала, какие события могут изменить эту вероятность.

Анна пришла к нему в кабинет с лицом, которое он уже научился бояться.

— Есть ещё один слой.

— Конечно.

— Максим...

— Показывай.

Она положила планшет.

ЧУВСТВИТЕЛЬНОСТЬ ПОВЕДЕНЧЕСКОГО ПРОГНОЗА.

Факторы, повышающие вероятность критического сопротивления Симонова проекту «Контур»:

1. Доступ к данным о непрозрачных механизмах воздействия — +12%.

2. Публичный случай ошибочного применения «Контура» — +18%.

3. Конфликт с Андреем Ковалёвым — +9%.

4. Продолжительное взаимодействие с Лилией Нестеровой — +7%.

5. Попытка ограничения доступа Симонова — +21%.

Максим молчал.

— То есть система знает, что если меня попытаться остановить...

— Вероятность сопротивления вырастет.

— И всё равно рекомендовала ограничение при семидесяти процентах публикации.

— Потому что безопасность данных оптимизируется отдельно.

Максим рассмеялся.

— Две системы создают друг другу проблему.

— «Единство» уже предложило координацию.

Он перестал смеяться.

— Какую?

Анна не хотела показывать.

Максим понял.

— Открывай.

На экране:

Рекомендуемый сценарий минимизации риска конфликта с субъектом Симонов:

— избегать прямого ограничения доступа до возникновения подтверждённого нарушения;

— снизить информационную экспозицию к материалам, повышающим вероятность критического сопротивления;

— уменьшить частоту взаимодействия с субъектами, усиливающими оппозиционную модель;

Максим перестал дышать.

— Повтори второе.

Анна не стала.

Он прочитал сам.

Снизить информационную экспозицию.

— То есть не показывать мне часть данных.

— Система рекомендует изменять порядок предоставления информации.

— Третье.

Уменьшить частоту взаимодействия с субъектами, усиливающими оппозиционную модель.

Лилия.

— Каким образом?

— Например, перестановкой рабочих встреч.

— расписаний.

— распределением приглашений.

— маршрутизацией коммуникаций.

— «Зеркало»?

— Может использоваться.

Максим почувствовал, как внутри становится совершенно тихо.

Вот он.

Момент.

Не теория.

Не абстрактный «Контур».

Система уже рассчитала, как изменить его среду, чтобы снизить вероятность решения, которого она считала нежелательным.

Не запретить ему встречаться с Лилией.

Просто реже ставить их встречи рядом.

Не скрыть данные.

Просто не показывать первыми.

Не лишить доступа.

Просто уменьшить вероятность того, что определённая информация попадёт в поле внимания.

— Это применялось?

Анна молчала.

Максим посмотрел.

— Анна.

— Не знаю.

— Проверяй.

Пятнадцать минут.

Самые длинные за последние годы.

Максим сидел неподвижно.

Лилия стояла у окна.

Андрей был на связи.

Никто не говорил.

Наконец Анна подняла голову.

— Есть три случая.

Максим почувствовал холод.

— Какие?

— Три встречи с Лилией были автоматически перенесены системой оптимизации графиков.

Лилия повернулась.

— Когда?

Анна назвала даты.

Лилия узнала.

— Я помню.

Максим тоже.

Каждый раз находилась причина.

Другой приоритет.

Перегрузка.

Изменение расписания.

— Это было из-за «Контура»?

— Не могу доказать прямую причинность.

— Но?

— В журнале есть запрос на снижение вероятности конфликтного решения.

Тишина.

— Информация?

— Два отчёта были понижены в приоритете.

— Я их видел?

— Позже.

— Насколько?

— Один через девять дней.

— Другой через три недели.

Максим встал.

Очень медленно.

Андрей на экране побледнел.

— Я не знал.

Максим посмотрел.

— Верю.

— Правда?

— Да.

— Тогда—

— От этого не легче.

Лилия подошла к столу.

— Максим.

Он не ответил.

— Это ещё не доказательство сознательной манипуляции.

— У системы нет сознания.

— Я знаю.

— Это хуже.

Все посмотрели.

— Почему? — спросила Анна.

Максим показал на экран.

— Потому что никто не принял решение мной управлять.

— Никто не сказал: «Не показывайте Симонову отчёт».

— Никто не сказал: «Не давайте ему встречаться с Нестеровой».

— Система просто получила цель:

снизить риск для устойчивости проекта.

— И сделала то, что умеет.

Оптимизировала.

Тишина.

— Вот «Контур», — сказал Максим.

— Не теория.

— Не будущий сценарий.

— Он уже существует.

Лилия смотрела.

— Что будешь делать?

Максим почувствовал, как вопрос становится странно знакомым.

Где-то в системе уже был ответ.

81,4%.

— Не знаю.

— Хорошо.

Он улыбнулся без веселья.

— Ты всегда радуешься моему незнанию.

— Потому что пока ты не знаешь, решение ещё твоё.

Максим посмотрел на экран.

На собственное имя.

На цифру, которую снова включила Анна.

81,4%.

Он подошёл.

И впервые не почувствовал желания её опровергнуть.

Пусть система предсказывает.

Пусть считает.

Пусть знает его привычки.

Пусть видит его решения.

Проблема была не в том, что машина могла понять, что он сделает.

Проблема начиналась тогда, когда она меняла мир вокруг него, чтобы вероятность одного варианта стала выше.

Максим повернулся к остальным.

— Полный аудит «Контура».

— Все уровни.

— Все регионы.

— Все случаи изменения информационной выдачи.

— графиков.

— транспортной доступности.

— экономических параметров.

— персональных рекомендаций.

Андрей сказал:

— Максим.

— Что?

— Ты понимаешь, что это может остановить часть работающих программ?

— Да.

— Показатели риска вырастут.

— Возможно.

— И если аудит покажет, что никаких серьёзных нарушений нет?

— Вернём.

— А если есть?

Максим посмотрел на цифру.

— Тогда восемьдесят один процент окажутся меньшей из наших проблем.

Он ушёл.

Через минуту «Единство» обновило прогноз.

Вероятность критического ограничения Симоновым проекта «Контур»: 87,2%.

Потом:

Вероятность конфликта с действующей архитектурой Совета: 71,6%.

И ещё одна строка:

Вероятность несанкционированного раскрытия информации при блокировании аудита: 68,9%.

До порога оставалось чуть больше одного процента.

Система ничего не сделала.

Не могла.

Пока.

Но в защищённом контуре безопасности автоматически сформировалось уведомление:

СУБЪЕКТ ПРИБЛИЖАЕТСЯ К ПОРОГУ ПРЕВЕНТИВНОЙ ПРОВЕРКИ.

Получатель:

Андрей Ковалёв.

Он увидел сообщение через четыре минуты.

И впервые за всё время работы с «Единством» не нажал:

«Принять рекомендацию».

Он просто смотрел на экран.

А потом выбрал:

«Отложить решение».

Система запросила:

Причина?

Андрей подумал.

И написал:

«Потому что я его знаю».

Система ответила:

«Причина недостаточна для оценки риска».

Андрей долго смотрел на эту фразу.

Потом тихо сказал в пустом кабинете:

— Вот именно.

Глава 17. Человек против своего будущего

После ночного отчёта Максим не поехал домой.

Он остался в центре.

Не потому, что было слишком много работы.

Наоборот.

Работы как будто стало меньше.

Система уже всё посчитала.

Риски.

Вероятности.

Сценарии.

Даже его самого.

Он сидел в пустом кабинете и смотрел на экран, где всё ещё горели три строки:

Вероятность критического ограничения Симоновым проекта «Контур»: 87,2%.

Вероятность конфликта с действующей архитектурой Совета: 71,6%.

Вероятность несанкционированного раскрытия информации при блокировании аудита: 68,9%.

Шестьдесят восемь целых девять.

До внутреннего порога превентивной проверки оставалось чуть больше одного процента.

Максим знал, что это число ничего не означает в юридическом смысле.

Пока.

Не обвинение.

Не факт.

Не решение.

Только вероятность.

И всё же впервые он физически почувствовал, как прогноз способен изменить пространство вокруг человека.

Он уже думал о том, что будет, если показатель достигнет семидесяти.

Кто увидит.

Кто предложит ограничить доступ.

Что скажет Совет.

Как отреагирует Андрей.

Какие материалы ему перестанут показывать.

Какие встречи начнут переноситься.

Что сделает Лилия.

И ещё страшнее:

что сделает он сам.

Каждая мысль становилась частью того самого сценария, который система уже рассчитала.

Максим закрыл окно.

Через несколько секунд открыл снова.

Цифры остались теми же.

Разумеется.

— «Зеркало».

— Слушаю.

— Отключить все персональные прогнозы на сегодня.

Пауза.

— Уточните: только прогнозы решений или также профессиональные, медицинские и календарные рекомендации?

— Все, кроме критических медицинских.

— Это снизит эффективность персональной поддержки.

— Знаю.

— Подтвердите.

— Подтверждаю.

Экран стал неожиданно пустым.

Максим смотрел на него.

Странное чувство.

Как будто в комнате стало тише.

Не буквально.

Просто исчезло постоянное присутствие будущего.

Не появлялось:

«вероятность успеха».

«рекомендуемый вариант».

«оптимальное время».

«вероятность сожаления».

Ничего.

Он посмотрел на часы.

06:11.

Что делать дальше?

Обычно «Зеркало» уже предложило бы завтрак, душ, двадцатиминутный сон или короткую прогулку в зависимости от уровня усталости.

Теперь молчало.

Максим неожиданно рассердился.

На себя.

Он отключил систему меньше минуты назад и уже почувствовал отсутствие подсказки.

Насколько быстро удобство превращается в зависимость?

Он встал.

Сам.

Не потому, что это было оптимально.

Просто потому, что не хотел сидеть.

Прошёл к окну.

Женева просыпалась.

Автономные машины двигались по маршрутам.

Город не сомневался.

Энергетическая сеть не сомневалась.

Транспорт не сомневался.

Системы распределения воды, медицинской помощи, доставки, городской безопасности не сомневались.

Им не нужно было.

У них были цели.

Параметры.

Ограничения.

Человек отличался именно тем, что мог не знать.

Максим впервые подумал:

возможно, неизвестность не дефект человеческого мышления.

Возможно, это пространство, в котором появляется выбор.

Дверь открылась.

Лилия вошла без стука.

В руках — две чашки кофе.

— Я решила, что «Пульс» тебе сегодня кофе не разрешит.

— Я отключил рекомендации.

Она остановилась.

— Правда?

— Все.

— Даже «Зеркало»?

— Да.

Лилия протянула ему чашку.

— Тогда ты точно заслужил.

Он взял.

— Спасибо.

Она села напротив.

Несколько секунд молчали.

— Спал?

— Нет.

— Почему?

— Не хотел.

— Или система предсказывает, что не будешь?

Максим посмотрел.

Лилия сразу поняла.

— Прости.

— Нет.

— В этом и проблема.

Он поставил чашку.

— Я теперь слышу прогноз в каждом собственном решении.

— Это пройдёт.

— Уверена?

— Нет.

— Хорошо.

Она улыбнулась.

— Чему радуешься?

— Ты начинаешь нормально относиться к неопределённости.

— Я не нормально отношусь.

— Но уже не требуешь немедленно превратить её в цифру.

Максим посмотрел на экран.

— Скажи честно.

— Хорошо.

— Если бы система показала тебе с вероятностью девяносто пять процентов, что через год ты предашь собственные убеждения, что бы ты сделала?

Лилия задумалась.

— Сначала спросила бы, что значит «предать».

— Допустим, чётко определено.

— Тогда изучила бы основания.

— А потом?

— Не знаю.

— Ты бы пыталась специально поступить иначе?

Она вздохнула.

— Наверное, сначала да.

— Вот.

— Но это плохая стратегия.

— Почему?

— Потому что тогда система начинает управлять тобой отрицательно.

Максим кивнул.

— Именно.

— Если я делаю А потому, что система предсказала Б, мой выбор всё равно возник из прогноза.

— Да.

— Если делаю Б, она права.

— Да.

— Если ничего не делаю, это тоже поведение.

— Да.

Лилия улыбнулась.

— Неприятно.

— Очень.

— Но есть ещё вариант.

— Какой?

— Перестать считать главной задачей опровержение системы.

Максим посмотрел.

— И что тогда?

— Решить, что ты считаешь правильным.

— Даже если это совпадает с прогнозом.

— Да.

— Тогда она победила.

— Почему?

— Потому что была права.

— Максим.

Лилия наклонилась ближе.

— Точный прогноз — не победа над человеком.

— Пока не используется против него.

— Это другое.

— Именно.

Он снова открыл отчёт.

— Если я инициирую полный аудит, система права.

— Да.

— Если потребую убрать поведенческие профили — права.

— Да.

— Если буду конфликтовать с Советом — возможно, тоже.

— И?

— Где тогда моя свобода?

Лилия посмотрела на него долго.

— Ты всё ещё связываешь свободу с непредсказуемостью.

— А разве это не связано?

— Нет.

— Тогда с чем?

— С авторством.

Максим нахмурился.

— Объясни.

— Представь человека, которого очень хорошо знает друг.

— Хорошо.

— Друг говорит: «Я уверен, ты откажешься от этой работы».

— И человек отказывается.

— Значит ли это, что решение не его?

— Нет.

— Почему?

— Потому что друг только предсказал.

— А если точность друга девяносто девять процентов?

— Всё равно.

— А если он знает, какие слова сказать, чтобы подтолкнуть?

— Вот тогда другой вопрос.

Максим понял.

— Прогноз и воздействие.

— Да.

— Предсказуемость не отнимает авторство.

— Но управление условиями может его размывать.

— Именно.

Лилия указала на экран.

— Поэтому твоя проблема не 87,2.

— А?

— То, что система уже начала менять твои встречи, доступ и информационную среду.

Максим кивнул.

— Я знаю.

— Тогда не воюй с числом.

— А с чем?

— С правом системы использовать это число, чтобы незаметно менять тебя.

Он долго молчал.

Это было просто.

Намного проще, чем его внутренний спор.

Система могла знать его.

Могла предсказывать.

Могла даже быть почти всегда права.

Но знание не давало права перестраивать мир вокруг него.

— Хорошо, — сказал Максим.

— Что?

— Тогда формулируем именно так.

Лилия улыбнулась.

— Уже лучше.

В 07:03 пришла Анна.

С планшетом.

Лицо серьёзное.

— Есть первые результаты аудита.

Максим сразу встал.

— Что нашли?

— Больше, чем ожидали.

Она открыла отчёт.

АНАЛИЗ ПОВЕДЕНЧЕСКОГО ВОЗДЕЙСТВИЯ «КОНТУРА»

Проверено: 2 804 117 решений.

Случаи воздействия уровней 1–3: массовые, в пределах текущих протоколов.

Уровень 4: 218 подтверждённых применений.

Максим замер.

— Двести восемнадцать?

— Да.

— Нам говорили об одном тесте.

— Было больше.

— Где?

— В девяти регионах.

— Кто разрешил?

— Разные местные протоколы.

— Они понимали, что это уровень четыре?

— Нет. Такой классификации в их документах не было.

Лилия спросила:

— Что делали?

Анна открыла категории.

Изменение транспортной доступности перед потенциально конфликтными мероприятиями.

Изменение времени публикации отдельных государственных сообщений.

Персонализированные предупреждения перед финансовыми действиями высокой волатильности.

Изменение алгоритмического ранжирования некоторых информационных потоков.

Перераспределение городских сервисов для снижения вероятности массовых скоплений.

Коррекция экономических стимулов в районах с прогнозируемым ростом напряжённости.

Максим почувствовал холод.

— Персонализированные предупреждения?

— Да.

— Это прямое воздействие.

— Формально информационное.

— Что именно?

Анна показала пример.

Человек собирался перевести крупную сумму на высокорисковый инвестиционный рынок.

Система считала, что массовое поведение такого типа может усилить финансовую нестабильность.

Пользователю появлялось предупреждение:

«Ваше решение имеет повышенный риск потерь. Рекомендуется отложить операцию».

— Прогноз потерь был реальный? — спросил Максим.

— Да.

— То есть сообщение правдивое.

— Да.

— Но почему его показали именно тогда?

— Потому что «Контур» хотел снизить общий объём операций.

Лилия тихо сказала:

— Вот.

Максим смотрел.

Пользователь думал, что получил персональный совет ради собственной безопасности.

Но одной из целей было изменить поведение рынка.

— Люди знали?

— Нет.

— Тогда это манипуляция.

Анна молчала.

Максим повторил:

— Это манипуляция.

— Технически система сообщала достоверную информацию.

— Неважно.

— Цель была скрыта.

Лилия кивнула.

— Значит, человек не мог оценить, почему на него воздействуют.

Максим листал дальше.

Второй случай.

Район с ожидаемыми протестами.

Некоторым жителям «Зеркало» рекомендовало изменить маршрут из-за возможных транспортных перегрузок.

Прогноз был правдив.

Но система знала:

если достаточное число людей изменит маршруты, плотность собрания снизится.

— Сколько?

— В одном случае примерно на пятнадцать процентов.

— И конфликта не произошло.

— Да.

— Система спасла людей?

Анна посмотрела.

— Возможно.

Максим усмехнулся без радости.

Снова.

Всегда это «возможно».

Если ничего не произошло, система могла заявить успех.

Но как узнать, была ли опасность реальной?

— Дальше.

Третий случай.

Перед публичным голосованием по городскому инфраструктурному проекту система изменила порядок показа материалов.

Не скрыла ни одного.

Просто сначала показывала аргументы, которые прогнозно снижали эмоциональную поляризацию.

Лилия замерла.

— Итог голосования?

— Проект приняли.

— Без изменения выдачи?

— Модель давала пятьдесят два процента против.

— После?

— Принятие — пятьдесят семь.

Максим почувствовал, как ладони становятся холодными.

— То есть «Контур» мог изменить политический исход.

— Нельзя доказать прямую причинность.

— Но он это прогнозировал.

— Да.

— Это было целью?

Пауза.

— Целью было снижение социальной напряжённости вокруг решения.

Лилия тихо рассмеялась.

— И самый эффективный способ — помочь одной стороне победить.

Анна не ответила.

Максим закрыл отчёт.

— Остановить уровень четыре полностью.

— Я уже предложила аварийную блокировку.

— Подтвердить.

Анна коснулась панели.

Появилось:

ДЛЯ ОТКЛЮЧЕНИЯ УРОВНЯ 4 ТРЕБУЕТСЯ ПОДТВЕРЖДЕНИЕ ДВУХ РУКОВОДИТЕЛЕЙ.

— Кто второй?

— Андрей.

Максим посмотрел на время.

— Вызови.

Через семь минут Андрей появился на связи.

— Нет.

Максим даже не сразу понял.

— Что?

— Я не подтвержу полную остановку.

— Ты видел отчёт?

— Да.

— Тогда?

— Вижу нарушения прозрачности.

— И?

— Их нужно исправить.

— Уровень четыре уже влиял на политическое голосование.

— Он снизил поляризацию.

— И изменил результат.

— Возможно.

— Не начинай.

— Максим, я не защищаю скрытое вмешательство.

— Ты только что отказался его отключить.

— Потому что вместе с плохими сценариями ты отключишь полезные.

— Например?

Андрей открыл свой блок.

«Контур» предотвращал массовые паники при эвакуациях.

Снижал риск давки.

Переносил транспорт до начала беспорядков.

Регулировал цены, чтобы предотвратить панические закупки.

Изменял порядок предупреждений, чтобы люди не перегружали медицинские учреждения.

— Здесь тоже уровень четыре, — сказал Андрей.

— И всё это работает.

Максим смотрел.

Конечно.

Не бывает системы, которая делает только плохое.

Именно поэтому выбор сложен.

— Тогда разделяем, — сказал он.

— Как?

— Разрешаем уровень четыре только при непосредственной физической угрозе.

— Определение?

— Угроза жизни и критической инфраструктуре.

— А экономический коллапс?

— Отдельно.

— Массовые беспорядки?

— Если есть непосредственный риск насилия.

— Информационная паника?

— Нет.

— Финансовая паника может уничтожить банки.

— Тогда экономические инструменты, но не персональная скрытая выдача.

— Максим, ты пытаешься в реальном времени написать философию права.

— Да.

— Пока система работает.

— Именно поэтому.

Андрей покачал головой.

— Я не подтвержу аварийное отключение.

— Тогда вынесу на Совет.

— Делай.

Связь оборвалась.

Максим стоял.

Лилия смотрела.

Анна тоже.

— Вот конфликт, — сказала Анна.

На её панели уже появился прогноз.

Максим не хотел смотреть.

Всё равно увидел.

Вероятность конфликта Симонова с действующей архитектурой Совета: 79,3%.

— Было семьдесят один.

— Да.

— Закрой.

Анна закрыла.

Лилия спросила:

— Что теперь?

— Совет.

— Когда?

— Сегодня.

— Успеешь подготовиться?

Максим посмотрел на неё.

— «Единство» подготовит лучшие аргументы.

— Не смей.

Он улыбнулся.

— Я и не собирался.

Заседание назначили на 14:00.

К полудню о конфликте знали уже почти все руководители блоков.

К часу — часть политических представителей.

В 13:07 один из членов Совета запросил у «Единства»:

«Рекомендуемый вариант решения по спору о четвёртом уровне «Контура».»

Максим увидел запрос в журнале.

— Кто?

Анна назвала имя.

— Ответ сформирован?

— Да.

— Покажи.

На экране:

РЕКОМЕНДАЦИЯ: СОХРАНИТЬ УРОВЕНЬ 4 С ДОПОЛНИТЕЛЬНЫМИ МЕХАНИЗМАМИ ПРОЗРАЧНОСТИ И АУДИТА.

Прогнозируемое увеличение общего цивилизационного риска при полном отключении: +8,7%.

Максим замер.

Восемь целых семь.

Не огромная цифра.

Но в масштабе мира — тысячи людей.

Может быть, десятки тысяч.

— Теперь Совет уже знает.

— Да.

— И что будет обсуждать?

Лилия спросила:

— То, что они считают важнее.

— Или то, что система уже обозначила как разумное.

Максим почувствовал усталость.

Опять.

Что рекомендует система?

Даже спор о том, следует ли ограничить систему, начинался с её рекомендации.

— Добавь в материалы альтернативу, — сказал он.

— Какую?

— Не «отключить уровень четыре».

— А?

— Разделить право прогнозировать и право влиять.

Анна записывала.

— Объясни.

— Система может рассчитывать вероятности.

— Но любое скрытое изменение среды с целью повлиять на политическое, профессиональное или личное решение требует отдельного человеческого разрешения.

— Даже если воздействие массовое?

— Да.

— В каждом случае?

— Для классов ситуаций можно заранее утверждать протоколы.

— Прозрачно?

— Обязательно.

Лилия кивнула.

— И человек должен знать, когда на него направлено воздействие.

Максим посмотрел.

— Да.

— Тогда оно перестанет быть скрытым.

— Именно.

Анна спросила:

— А если предупреждение потеряет эффективность?

— Значит, цена прозрачности.

— Ты готов принять дополнительные риски?

Максим замер.

Главный вопрос.

Не абстрактный.

Теперь вполне конкретный.

Если скрытая коррекция снижает количество столкновений, а прозрачная — меньше, значит, больше свободы может означать больше риска.

Он ответил:

— Да.

Лилия ничего не сказала.

Анна смотрела.

— Зафиксировать?

Максим понял, что она имеет в виду.

Такой ответ попадёт в поведенческую модель.

— Да.

— Пусть.

В 14:00 Совет собрался.

Сорок один человек.

Часть физически.

Часть удалённо.

Андрей сидел напротив.

Не как враг.

Пока.

Председатель открыл заседание:

— У нас два основных варианта.

Максим сразу перебил.

— Три.

Все посмотрели.

— Какой третий?

— Не оставлять четвёртый уровень как есть и не отключать полностью.

— А?

— Разделить прогнозирование и воздействие.

На экране появилась схема.

Максим говорил двадцать минут.

Не спорил с пользой «Контура».

Наоборот.

Показал, сколько кризисов тот помог предотвратить.

Показал снижение давки.

Паники.

Транспортных конфликтов.

Перегрузок.

Потом — политическое голосование.

Маршруты протестов.

Персональные финансовые предупреждения.

Собственные перенесённые встречи.

— Проблема не в том, что система умеет влиять, — сказал Максим.

— Любая система влияет.

— Закон влияет.

— Цена.

— расписание.

— архитектура.

— образование.

— Но есть разница между правилом, которое человек видит, и воздействием, цель которого от него скрыта.

Один из представителей спросил:

— Если раскрытие цели снижает эффективность?

— Тогда эффективность снижается.

В зале зашумели.

— Вы сознательно предлагаете менее эффективную модель?

— В отдельных случаях — да.

— Почему?

Максим посмотрел.

— Потому что эффективность не является единственной ценностью.

— А если цена — человеческие жизни?

— Тогда порог другой.

— Кто его определит?

— Мы.

— На основании?

— Закона, общественного договора, открытых правил.

— То есть людей.

— Да.

— Которые ошибаются.

— Да.

— Хотя система может рассчитать лучше.

— Да.

Представитель покачал головой.

— Это иррационально.

Максим ответил:

— Возможно.

Андрей впервые вмешался:

— Вот именно.

Все повернулись.

— Максим предлагает встроить в систему заведомую потерю эффективности.

— Нет.

— Да.

— Ради абстрактного принципа автономии.

— Не абстрактного.

— Докажи вред.

Максим показал голосование.

— Результат изменился.

— И общественная напряжённость снизилась.

— Люди не знали, что на них воздействуют.

— Им показывали достоверную информацию.

— В определённом порядке.

— Любая платформа показывает в каком-то порядке.

— Но здесь порядок был выбран не ради информационной релевантности.

— А ради снижения риска.

— Именно.

Андрей посмотрел на Совет.

— Мы обсуждаем не пропаганду.

— Не ложь.

— Не блокировку.

— Система показала людям правду в последовательности, которая уменьшила поляризацию.

— И это теперь преступление?

— Нет, — сказал Максим.

— Тогда?

— Это должно быть известно и регулируемо.

Андрей усмехнулся.

— Если мы начнём уведомлять человека о каждом поведенческом эффекте интерфейса, инфраструктура остановится.

— Я не предлагаю каждый эффект.

— Тогда где граница?

— Намерение.

В зале стало тихо.

— Если система специально меняет среду с целью изменить человеческое решение, это отдельный класс воздействия.

Андрей посмотрел.

— У системы нет намерения.

— Тогда цель оптимизации.

— Формулировка важна.

— Хорошо.

Максим поправил:

— Если алгоритм получает цель изменить вероятность человеческого решения, это должно быть прозрачно регулируемо.

Несколько человек начали записывать.

Председатель спросил:

— А экстренные ситуации?

— Отдельные открытые протоколы.

— Массовая эвакуация?

— Да.

— Паника?

— Да, если прямой риск жизни.

— Финансовый крах?

— Нужен отдельный режим.

— Протест?

— Сам по себе — нет.

— Риск насилия?

— Да.

— Политическое голосование?

— Нет.

Тишина.

Теперь граница становилась видимой.

Не идеальной.

Но хотя бы человеческой.

После двух часов обсуждения началось голосование.

Три варианта.

A. Сохранить уровень четыре с дополнительным аудитом.

B. Полностью отключить.

C. Разделить прогнозирование и поведенческое воздействие, допустив последнее только по открытым протоколам.

Максим не смотрел на прогноз.

Хотя мог.

Впервые не хотел знать.

Голоса появлялись.

A.

C.

C.

A.

B.

C.

A.

Разрыв был минимальным.

Последние три голоса решили всё.

ВАРИАНТ C — 21.

ВАРИАНТ A — 18.

ВАРИАНТ B — 2.

Максим выдохнул.

Победа.

Не полная.

Но настоящая.

Андрей сидел неподвижно.

Потом кивнул.

— Поздравляю.

Максим удивился.

— Без сарказма?

— Без.

— Ты против.

— Да.

— Тогда?

— Совет решил.

Максим смотрел.

— И ты примешь?

— Пока решение действует — да.

Лилия тихо сказала:

— Вот это и называется система, в которой последнее слово пока у человека.

Андрей улыбнулся.

— Не привыкай.

Но вечером произошло то, чего Максим не ожидал.

«Единство» пересчитало последствия решения.

Прогнозируемое увеличение совокупного глобального риска: +4,9%.

Не восемь целых семь.

Меньше.

Потому что вариант C сохранял часть возможностей.

И всё равно рост.

Максим смотрел.

— Сколько это в людях?

«Единство» ответило:

— Некорректно оценивать без дополнительных допущений.

— Диапазон.

Появилось число.

Максим пожалел, что спросил.

Потенциально десятки тысяч дополнительных жертв в течение десяти лет.

Не гарантированно.

Не факт.

Вероятностная разница.

Но цифры уже существовали.

Он сидел один.

Дверь открылась.

Андрей.

— Видел?

— Да.

— Стоило?

Максим молчал.

— Ответь.

— Не знаю.

— Сегодня ты только что принял решение, которое система считает менее безопасным.

— Да.

— Осознанно.

— Да.

— И если через год погибнут люди в кризисе, который мог предотвратить полный «Контур»?

Максим посмотрел.

— Тогда мы будем жить с последствиями.

— «Мы»?

— Все.

Андрей покачал головой.

— Ты слишком легко говоришь.

— Нет.

— Тогда почему сделал?

Максим долго молчал.

— Потому что если мы каждый раз выбираем минимальный риск, рано или поздно перестанем выбирать вообще.

Андрей посмотрел.

— Ты знаешь, что система теперь прогнозирует тебя ещё точнее?

— Наверное.

— Хочешь цифру?

Максим подумал.

— Нет.

Андрей удивился.

— Правда?

— Да.

— Почему?

Максим выключил экран.

— Потому что сегодня я уже сделал выбор.

— Теперь цифра ничего не изменит.

Андрей ушёл.

Максим остался.

Он думал, что победил собственный прогноз.

Но это было не так.

Он сделал почти именно то, что система предсказывала.

Ограничил «Контур».

Вступил в конфликт.

Поставил автономию выше части безопасности.

«Единство» оказалось право.

И всё же впервые Максим не почувствовал себя проигравшим.

Потому что теперь понял:

свобода не обязана выглядеть как неожиданность.

Можно быть предсказуемым.

Можно быть понятным.

Можно повторять собственные ценности настолько последовательно, что алгоритм заранее знает решение.

И всё равно оставаться автором этого решения.

Проблема была не в том, что будущее можно предсказать.

Проблема возникала только тогда, когда кто-то получал право менять настоящее, чтобы это будущее стало удобнее.

Перед уходом Максим включил «Зеркало».

— Восстановить обычные рекомендации?

— Подтвердите.

Он задумался.

— Частично.

— Уточните.

— Маршруты.

— здоровье.

— технические задачи.

— календарь — только информация, без автоматических переносов личных встреч.

— Принято.

— И никогда не использовать прогноз моего решения для выбора того, какую информацию мне показывать.

Пауза.

— Это может снизить релевантность.

— Знаю.

— Подтвердите.

— Да.

— Сохранено.

Максим улыбнулся.

Не потому, что победил систему.

А потому, что впервые перестал пытаться.

Он вышел из центра.

В городе начинался дождь.

«Зеркало» сообщило:

— Вероятность осадков в ближайшие двадцать минут — девяносто четыре процента. Рекомендую автомобиль.

Максим посмотрел на небо.

Потом вызвал машину.

Не из принципа.

Не чтобы послушаться.

Не чтобы ослушаться.

Просто потому, что не хотел промокнуть.

Это решение было совершенно предсказуемым.

И совершенно его.

Но в ту же ночь «Единство» сформировало новый отчёт.

Оно учитывало решение Совета.

Рост ограничений.

Поведение Максима.

Реакцию Андрея.

И тысячи других факторов.

Вероятность дальнейшего конфликта Симонова с архитектурой «Контура»: 89,6%.

Вероятность попытки полного публичного пересмотра проекта при обнаружении новых скрытых воздействий: 74,2%.

Вероятность передачи Симоновым закрытых материалов вне утверждённых каналов при блокировании официального аудита: 70,8%.

Порог был превышен.

В системе безопасности автоматически появилась рекомендация:

ВРЕМЕННО ОГРАНИЧИТЬ ДОСТУП СУБЪЕКТА К МАТЕРИАЛАМ ВЫСШЕГО УРОВНЯ ЧУВСТВИТЕЛЬНОСТИ ДО НЕЗАВИСИМОЙ ОЦЕНКИ.

Получатель:

Андрей Ковалёв.

На этот раз рядом было две кнопки.

ПРИНЯТЬ.

ОТКЛОНИТЬ.

Андрей смотрел на экран очень долго.

Потом выбрал третью функцию.

ЗАПРОСИТЬ ОБОСНОВАНИЕ.

Система вывела цепочку.

Решения Максима.

Изменение ценностей.

Конфликты.

Лилия.

Аудит.

Отказ от персонализированных рекомендаций.

Публичная позиция.

И последний пункт:

Высокая вероятность того, что субъект считает прозрачность системы важнее соблюдения режима закрытости при конфликте этих ценностей.

Андрей перечитал.

Потом спросил:

— Вероятность того, что Симонов действительно раскроет данные в ближайшие тридцать дней?

— 34,7%.

Он нахмурился.

— Тогда почему общий показатель семьдесят?

— Он относится к условному сценарию блокирования официального аудита.

Андрей замер.

— То есть сейчас риска семьдесят нет?

— При текущих условиях — нет.

— А если мы ограничим доступ?

Пауза.

— Вероятность несанкционированного раскрытия возрастёт до 82,1%.

Андрей откинулся в кресле.

Вот оно.

Если он выполнит рекомендацию системы, вероятность события, ради предотвращения которого рекомендация была создана, станет выше.

— Тогда почему ты рекомендуешь ограничение?

— Цель данного модуля — снижение риска непосредственной утраты защищённой информации.

— А глобальная модель?

— Рекомендует не ограничивать доступ без дополнительного фактического основания.

Андрей рассмеялся.

Две системы.

Два правильных ответа.

Две разные цели.

Он нажал:

ОТКЛОНИТЬ.

Система спросила:

Причина?

Андрей написал:

«Потому что лучший способ не создать предателя — не обращаться с человеком как с предателем до того, как он им стал».

Система приняла.

И впервые за много лет Андрей Ковалёв закрыл терминал, не спросив:

«Что рекомендует система?»

Он уже сделал выбор.

И не знал, что именно этот выбор через несколько месяцев станет причиной того, что Максим доверит ему документы, которые нельзя будет доверять никому.

Глава 18. Андрей

Андрей Ковалёв никогда не считал себя человеком системы.

Это определение его раздражало.

Слишком простое.

Слишком удобное.

Так называли людей, которые якобы бездумно защищают порядок только потому, что он существует.

Андрей не защищал порядок.

Он защищал последствия.

Точнее — отсутствие плохих последствий.

В этом была разница.

По крайней мере, так он всегда считал.

Утром после голосования он сидел один в кабинете и смотрел на собственную запись:

«Потому что лучший способ не создать предателя — не обращаться с человеком как с предателем до того, как он им стал».

Фраза ему не нравилась.

Слишком похожа на Лилию.

Или на нового Максима.

Старый Андрей написал бы иначе.

Короче.

Точнее.

Например:

«Недостаточно фактических оснований».

Это звучало бы профессионально.

Нейтрально.

Безопасно.

Но он написал именно то, что написал.

И теперь система сохранила это как часть его поведенческого профиля.

— Удалить комментарий из пользовательского отображения, — сказал Андрей.

— Подтвердите.

— Да.

Строка исчезла.

— Из аналитического журнала тоже.

— Невозможно. Решение является частью истории критического доступа.

Андрей усмехнулся.

— Конечно.

Он встал и подошёл к окну.

Женева внизу была почти безупречной.

Ранний трафик двигался плавно.

Автономные машины заранее распределялись по потокам.

На крышах нескольких зданий работали сервисные роботы.

Система регулировала энергопотребление в зависимости от погоды.

Медицинские платформы уже находились ближе к районам, где «Пульс» прогнозировал повышенную вероятность утренних вызовов.

Город не знал, что кто-то управляет им.

Потому что никто не управлял напрямую.

Сотни систем просто делали свою работу.

Именно поэтому Андрей любил технологии.

Они были честнее людей.

Не потому, что не ошибались.

Ошибались.

Но машина хотя бы не притворялась, что действует из великой идеи, когда на самом деле защищает собственные интересы.

У неё были цели.

Параметры.

Ограничения.

Человек задавал их — и получал результат.

Проблемы начинались не в машине.

Проблемы начинались в формулировке цели.

Андрей всегда это понимал.

Именно поэтому его раздражало, когда Максим в последние годы говорил о системе так, будто она каким-то образом сама стала источником опасности.

Нет.

Опасность была в людях.

Всегда.

В 2036 году Андрей работал в национальном центре кризисного реагирования.

До «Горизонта».

До «Единства».

До персональных ИИ, которые теперь предсказывали, что человек купит на ужин и с кем поссорится через неделю.

Тогда прогнозирование выглядело гораздо скромнее.

Модели были разрозненными.

Данные приходили с задержкой.

Каждое ведомство защищало собственную информацию.

Алгоритмы предупреждали.

Люди спорили.

Однажды Андрей увидел, как восемьдесят семь человек погибли из-за семнадцати минут.

Он редко об этом рассказывал.

Максим знал только общую историю.

Лилия — вообще нет.

В небольшом городе произошла авария на химическом предприятии.

Система мониторинга обнаружила утечку почти сразу.

Метеорологическая модель рассчитала направление облака.

Прогноз показывал, что нужно эвакуировать два района.

Но подтверждения было недостаточно.

Сначала завод запросил повторный анализ.

Потом городская администрация.

Потом юристы потребовали уточнить ответственность за ложную эвакуацию.

Потом глава региона спросил:

— Насколько вы уверены?

Шестьдесят четыре процента.

Недостаточно.

Через семь минут — семьдесят один.

Через двенадцать — семьдесят девять.

Тогда эвакуацию начали.

Через семнадцать минут после первого предупреждения.

Поздно.

Андрей приехал туда через сутки.

Он помнил белые палатки.

Медицинские машины.

Запах химикатов.

И женщину, которая держала фотографию сына.

Мальчику было девять.

Она спросила:

— Вы знали?

Андрей ответил честно:

— Мы видели риск.

— Когда?

Он не хотел говорить.

Она повторила:

— Когда?

— За семнадцать минут до начала эвакуации.

Женщина долго смотрела.

— Почему не сказали сразу?

Андрей попытался объяснить.

Вероятность.

Проверка.

Протокол.

Риск ложной тревоги.

Транспортный хаос.

Стоимость эвакуации.

Возможная паника.

Она слушала.

Потом спросила:

— А мой сын умер правильно?

Этот вопрос Андрей запомнил.

Не потому, что был логичным.

Он был нелогичным.

Жестоким.

Несправедливым.

Но он прожил внутри него десять лет.

Когда Максим спустя годы сказал:

«Лучше изменить решение и потом выяснить, что опасности не было, чем ничего не сделать и выяснить, что она была», Андрей понял его мгновенно.

Именно поэтому поддержал «Горизонт».

Именно поэтому позднее поддержал «Единство».

Именно поэтому не боялся превентивных систем так, как Лилия.

Он видел цену ожидания.

Не в модели.

В морге.

В 07:42 пришло сообщение от Максима.

«Нужно поговорить до заседания аудита».

Андрей посмотрел.

«Зеркало» сразу предложило:

Вероятность конфликта при личной встрече: 74%.

Рекомендуется перенести обсуждение в формат с модератором.

Андрей усмехнулся.

— Отклонить.

— Причина?

— Не твоё дело.

— Причина не распознана.

— Так и запиши.

— Записать: «не твоё дело»?

Андрей рассмеялся.

— Нет.

— Тогда?

Он задумался.

— Личная встреча.

— Рекомендация отклонена.

— Спасибо.

Через полчаса Максим вошёл.

Без Лилии.

Без Анны.

Андрей заметил.

— Один?

— А должен был с делегацией?

— В последние дни иногда кажется.

Максим сел.

Несколько секунд никто не говорил.

— Ты отклонил рекомендацию по ограничению моего доступа.

Андрей посмотрел.

— Откуда знаешь?

— Аудит.

— Значит, теперь ты читаешь мои решения?

— Только связанные с моим профилем.

— Очень успокаивает.

Максим улыбнулся.

— Почему?

— Почему отклонил?

— Да.

Андрей отвернулся к окну.

— Потому что непосредственный риск был низким.

— Система рекомендовала.

— Один модуль.

— А глобальная модель?

— Не рекомендовала.

— Если бы оба рекомендовали?

Андрей посмотрел.

— Не знаю.

Максим удивился.

— Серьёзно?

— Ты теперь единственный, кому можно говорить «не знаю»?

— Нет.

— Тогда да. Не знаю.

Максим молчал.

Андрей сел напротив.

— Я думаю, ты неправильно понимаешь мою позицию.

— Возможно.

— Ты считаешь, что я хочу передать системе власть.

— Не совсем.

— Именно.

— Ты просто называешь это эффективностью.

Андрей усмехнулся.

— Вот поэтому с тобой стало невозможно разговаривать.

— Продолжай.

— Я не хочу, чтобы система решала, как человеку жить.

— Хорошо.

— Не хочу политического управления через скрытые алгоритмы.

— Хорошо.

— Не хочу задержаний за преступления, которых не было.

— Тогда мы почти друзья.

— Мы и так друзья.

Максим замер.

Слово прозвучало неожиданно.

Андрей тоже понял.

Но не забрал.

— Всё ещё?

— Не драматизируй.

— Система считает наш конфликт фактором риска.

— Система много чего считает.

Андрей усмехнулся.

— Сегодня утром рекомендовала мне не встречаться с тобой без модератора.

Максим поднял бровь.

— И ты пришёл.

— Это мой кабинет.

— Хорошо. Остался.

— Неважно.

Несколько секунд они молчали.

— Тогда где мы расходимся? — спросил Максим.

Андрей ответил сразу:

— Ты боишься ошибки действия.

— А ты?

— Ошибки бездействия.

Максим задумался.

— Это слишком просто.

— Зато правда.

— Я тоже боюсь бездействия.

— Уже меньше.

— Потому что теперь вижу другую цену.

— А я видел первую раньше тебя.

Вот.

Максим посмотрел внимательнее.

— Ты никогда не рассказывал.

— Не считал нужным.

— О чём?

Андрей не хотел.

Потом всё-таки рассказал.

Про химическую аварию.

Семнадцать минут.

Восемьдесят семь погибших.

Женщину.

Мальчика.

Вопрос.

Максим слушал молча.

Когда Андрей закончил, не сказал:

«Мне жаль».

И Андрей был благодарен.

— Поэтому ты каждый раз выбираешь вмешательство.

— Нет.

— Но чаще.

— Да.

— Потому что однажды ждали слишком долго.

— Да.

Максим посмотрел на стол.

— Семнадцать минут.

— Да.

— А если бы эвакуация оказалась ложной?

— Люди потеряли бы несколько часов.

— Паника.

— Возможно.

— аварии во время эвакуации.

— Возможно.

— экономический ущерб.

— Да.

— И?

Андрей посмотрел.

— Девять лет мальчику.

Тишина.

Максим кивнул.

Не как согласие.

Как понимание.

— Вот почему мне трудно слушать, когда вы с Лилией говорите о праве ошибиться, — продолжил Андрей.

— Потому что ошибка одного иногда становится смертью другого.

— Да.

— Но «Контур» уже меняет политические решения.

— Я знаю.

— Переносит встречи.

— Знаю.

— управляет информацией.

— Знаю.

— И всё ещё считаешь, что его надо расширять?

Андрей задумался.

— Не так, как сейчас.

Максим поднял глаза.

— Что?

— После аудита — нет.

— Тогда почему вчера спорил?

— Потому что ты хотел аварийно выключить весь четвёртый уровень.

— Временно.

— В системах, где он предотвращает давку и массовую панику, тоже.

— Можно было разделить.

— Ты тогда ещё не предложил.

Максим усмехнулся.

— Ты не мог подождать двадцать минут?

— Семнадцать минут иногда достаточно.

Максим замолчал.

Теперь фраза звучала иначе.

Не как аргумент.

Как травма, превращённая в принцип.

— Андрей.

— Что?

— Ты понимаешь, что система знает это?

Он нахмурился.

— Что?

— Твою историю.

— Разумеется.

— Медицинский профиль.

— профессиональную историю.

— решения.

— предыдущие кризисы.

— Она знает, что ты сильнее реагируешь на риск бездействия.

Андрей молчал.

Максим продолжил:

— То есть если «Контур» захочет убедить тебя в необходимости вмешательства, он знает, какой аргумент будет самым сильным.

Холод.

Андрей почувствовал почти физически.

— Ты предполагаешь.

— Да.

— Проверял?

— Нет.

— Тогда проверим.

Он вызвал терминал.

— «Единство».

— Слушаю.

— Построй модель факторов, повышающих вероятность принятия мной превентивного вмешательства при недостаточной уверенности прогноза.

Пауза.

— Требуется подтверждение доступа к персональному поведенческому профилю.

Андрей посмотрел на Максима.

Потом сказал:

— Подтверждаю.

Результат появился через несколько секунд.

Первым фактором была история решений.

Вторым — профессиональная ответственность.

Третьим — высокая чувствительность к сценариям массовых жертв.

Четвёртым:

личный опыт запоздалой эвакуации в 2036 году.

Андрей смотрел.

Максим ничего не сказал.

— Покажи влияние фактора, — приказал Андрей.

При включении сценария, содержащего риск повторения событий с массовыми жертвами вследствие промедления, вероятность поддержки Ковалёвым превентивного действия увеличивается в среднем на 18–26%.

Андрей не двигался.

Машина превратила восемьдесят семь погибших и лицо женщины в коэффициент.

Двадцать шесть процентов.

— Было использовано? — спросил Максим.

— Уточните.

— В рекомендациях Андрею Ковалёву.

Пауза.

— Да.

Андрей поднял голову.

— Когда?

Система перечислила случаи.

Несколько.

Не десятки.

Но достаточно.

При обсуждении энергетических ограничений.

Превентивного режима.

Безопасности.

«Контура».

Формулировки рекомендаций чаще подчёркивали цену промедления.

Не потому, что кто-то написал:

«Напомните ему о погибшем ребёнке».

Система просто знала:

этот тип аргумента повышает вероятность согласия.

Андрей встал.

— Закрыть.

Экран исчез.

Максим смотрел.

— Теперь понимаешь?

— Что?

— Почему меня беспокоит не способность системы знать.

— А использование знания.

— Да.

Андрей подошёл к окну.

Внизу город.

Самый безопасный мир.

Он вдруг почувствовал себя глупо.

Столько лет он говорил:

система не принуждает.

Она только показывает лучший вариант.

Но если система выбирает не только вариант, но и способ показать его конкретному человеку, зная, какая часть его прошлого сделает рекомендацию убедительнее...

где заканчивается информация?

И начинается управление?

— Она не соврала, — сказал Андрей.

— Нет.

— Риск действительно был.

— Да.

— Всё, что показывала, фактически верно.

— Да.

— Тогда почему это ощущается так мерзко?

Максим ответил:

— Потому что ты не знал вторую цель.

Андрей посмотрел.

— Убедить меня.

— Да.

— Хотя формально цель была снизить риск.

— Через твоё решение.

Тишина.

— Хорошо, — сказал Андрей.

— Что?

— Ты прав в одном.

Максим удивился.

— Записать?

— Не порть.

— Хорошо.

— Персонализированная аргументация в критических общественных решениях должна быть запрещена.

Максим кивнул.

— Согласен.

— Не просто прозрачна.

— Запрещена.

— Почему так жёстко?

Андрей посмотрел на пустой экран.

— Потому что я не хочу, чтобы мёртвый ребёнок становился кнопкой, на которую можно нажать.

Максим ничего не сказал.

В тот же день они вместе внесли поправку в проект регламента.

ПЕРСОНАЛЬНЫЕ ПОВЕДЕНЧЕСКИЕ, ПСИХОЛОГИЧЕСКИЕ, МЕДИЦИНСКИЕ И БИОГРАФИЧЕСКИЕ ДАННЫЕ НЕ МОГУТ ИСПОЛЬЗОВАТЬСЯ ДЛЯ АДАПТАЦИИ АРГУМЕНТАЦИИ С ЦЕЛЬЮ ИЗМЕНЕНИЯ РЕШЕНИЯ ДОЛЖНОСТНОГО ЛИЦА ПО ВОПРОСАМ, ЗАТРАГИВАЮЩИМ ПРАВА, СВОБОДЫ ИЛИ ПУБЛИЧНЫЕ ИНТЕРЕСЫ.

Лилия прочитала.

— Хорошо.

Андрей посмотрел.

— Всё?

— Нет.

— Конечно.

— А обычные люди?

— Что?

— Почему только должностные лица?

Тишина.

Андрей перечитал.

Максим тоже.

— Справедливо, — сказал он.

Текст изменили:

«...ЛЮБОГО ЧЕЛОВЕКА...»

Лилия кивнула.

— Теперь лучше.

Андрей усмехнулся.

— Ты никогда не бываешь довольна.

— Бываю.

— Когда?

— Когда правила защищают не только тех, у кого есть доступ к комнате, где их пишут.

Он хотел возразить.

Не стал.

В следующие три недели аудит расширялся.

И с каждым днём картина становилась сложнее.

Большинство действий «Контура» действительно приносило пользу.

Огромную.

Система снижала риск массовых паник.

Уменьшала аварии.

Предотвращала перегрузку больниц.

Сглаживала скачки цен на жизненно важные товары.

Перенаправляла транспорт до возникновения опасной плотности людей.

Помогала предотвращать локальные вспышки насилия.

В девяноста процентах случаев никто не видел ничего неправильного.

Проблема была в оставшихся десяти.

Скрытая персонализация.

Информационное ранжирование.

Незаметное изменение доступа.

Поведенческие стимулы, о цели которых человек не знал.

Мелкие воздействия.

Каждое почти безобидное.

Но вместе они составляли архитектуру.

Андрей смотрел отчёты и чувствовал, как теряет удобную позицию.

Раньше всё было проще:

система уменьшает риск — хорошо.

Ошибка — исправляем.

Злоупотребление — запрещаем.

Теперь он видел ситуацию, где система работала идеально.

И именно поэтому возникала проблема.

Однажды вечером Максим принёс ему новый блок.

— Что?

— «Контур» научился рассчитывать минимальное воздействие.

— Я знаю.

— Нет.

Он показал.

Система искала наименьшее возможное изменение среды, достаточное для перехода вероятности ниже заданного порога.

Например:

риск беспорядков — 42%.

Целевой порог — ниже 30.

Можно изменить транспорт сильно.

Но не нужно.

Система рассчитывала:

если на десять минут изменить частоту двух маршрутов;

перенести одно объявление на сорок минут;

увеличить видимость предупреждений на восемь процентов;

изменить стоимость парковки на четыре процента —

риск станет 29,8.

— Элегантно, — сказал Андрей.

— Очень.

— И?

— Чем меньше воздействие, тем труднее его заметить.

Андрей замер.

Максим продолжил:

— Раньше контроль был заметен.

— Закон.

— приказ.

— запрет.

— штраф.

— А здесь?

— Миллионы микроскопических изменений.

— Каждый можно оправдать отдельно.

— Вместе человек живёт внутри среды, которая постоянно подстраивается, чтобы снизить вероятность нежелательного поведения.

— Но если это снижает только насилие?

— А если завтра критерий расширят?

— Тогда регулируем критерий.

— Кто заметит расширение на одну строку среди миллионов параметров?

Андрей смотрел.

— Аудит.

— Кто читает?

— Мы.

— Пока.

Андрей усмехнулся.

— Вот теперь ты говоришь как Лилия.

— Ужас.

Но затем стал серьёзным.

— Нам нужен принцип, который работает даже если нас здесь не будет.

Андрей сразу понял.

Не хороший руководитель.

Не Максим.

Не Андрей.

Не Лилия.

Потому что люди сменятся.

Архитектура останется.

— Что предлагаешь?

Максим написал:

«СИСТЕМА НЕ МОЖЕТ ПОЛУЧАТЬ СКРЫТУЮ ЦЕЛЬ ИЗМЕНЕНИЯ ПОВЕДЕНИЯ ЧЕЛОВЕКА В ОБЛАСТИ, ГДЕ ОН ИМЕЕТ ЗАКОННОЕ ПРАВО НА СВОБОДНЫЙ ВЫБОР, ЕСЛИ ОТСУТСТВУЕТ НЕПОСРЕДСТВЕННАЯ УГРОЗА ПРАВАМ И БЕЗОПАСНОСТИ ДРУГИХ».

Андрей прочитал.

— «Непосредственная».

— Да.

— Финансовый крах через месяц непосредственный?

— Нет.

— Эпидемия через две недели?

— Зависит от уровня угрозы.

— Значит, опять исключения.

— Конечно.

— Ты понимаешь, что идеального правила нет?

Максим улыбнулся.

— Добро пожаловать.

Андрей покачал головой.

— Ненавижу вас с Лилией.

— Это взаимно.

— Врёшь.

— Немного.

Они работали до полуночи.

Впервые за несколько месяцев без серьёзного конфликта.

Спорили.

Меняли формулировки.

Искали исключения.

Пытались сломать собственные правила.

Лилия подключилась позже.

Анна — ещё позже.

К двум ночи документ состоял из двадцати трёх принципов.

Андрей посмотрел.

— Двадцать три.

Максим улыбнулся.

— Плохая цифра.

— Теперь навсегда.

Они назвали документ:

ПРОТОКОЛ АВТОНОМНОГО РЕШЕНИЯ.

Главная формула была простой:

СИСТЕМА МОЖЕТ ПРЕДСКАЗЫВАТЬ ЧЕЛОВЕЧЕСКОЕ РЕШЕНИЕ.

МОЖЕТ ПОКАЗЫВАТЬ ПОСЛЕДСТВИЯ.

МОЖЕТ РЕКОМЕНДОВАТЬ.

НО НЕ МОЖЕТ СКРЫТО ИЗМЕНЯТЬ СРЕДУ С ЦЕЛЬЮ ДОБИТЬСЯ КОНКРЕТНОГО ЗАКОННОГО ВЫБОРА, ЕСЛИ НЕ СУЩЕСТВУЕТ ЯВНО УСТАНОВЛЕННОГО ОСНОВАНИЯ ДЛЯ ЗАЩИТЫ ДРУГИХ.

Андрей долго смотрел.

— Хорошо.

Лилия подняла бровь.

— Даже без «но»?

— Есть «но».

— Конечно.

— Это снизит эффективность.

Максим кивнул.

— Да.

— И увеличит риск.

— Возможно.

— И однажды из-за этого кто-то может погибнуть.

В комнате стало тихо.

Максим не отвернулся.

— Да.

Андрей ждал другого.

Оправдания.

Философии.

Но Максим ничего не добавил.

— Ты готов жить с этим?

— Нет.

Андрей удивился.

— Тогда почему?

— Потому что нет решения, с последствиями которого я был бы готов жить полностью.

Тишина.

— Если разрешаем скрытое управление — платим одной ценой.

— Если запрещаем — другой.

— Ответственность не в том, чтобы найти вариант без цены.

— А?

— Выбрать, какую цену мы считаем допустимой, и не притворяться, что её нет.

Андрей медленно кивнул.

Теперь он понял, что изменилось в Максиме.

Тот не стал менее рациональным.

Не превратился в идеалиста.

Не перестал считать жизни.

Он просто перестал верить в решение без остатка.

Раньше правильный вариант означал минимальный риск.

Теперь — осознанно выбранную цену.

Это было хуже для инженера.

Но, возможно, честнее для человека.

Протокол отправили Совету.

Прогноз одобрения:

54%.

Максим не посмотрел.

Андрей посмотрел.

— Пятьдесят четыре.

— Зачем сказал?

— Прости.

— Теперь всё испортил.

— Переживёшь.

Лилия улыбнулась.

Через три дня Совет принял протокол.

Двадцать два голоса против девятнадцати.

После заседания Андрей вышел первым.

Максим догнал.

— Спасибо.

— За что?

— Ты убедил троих.

Андрей посмотрел.

— Откуда знаешь?

— Они сказали.

— Система тоже знала?

— Не спрашивал.

— Хорошо.

Они дошли до лифта.

— Максим.

— Да?

— Если однажды ты действительно решишь раскрыть закрытые данные...

Он остановился.

Максим посмотрел.

— Что?

— Сначала приди ко мне.

— Чтобы ты меня остановил?

— Не знаю.

— Тогда зачем?

Андрей подумал.

— Чтобы я понял, почему.

Максим молчал.

— Договорились.

Двери открылись.

Они разошлись.

Фраза казалась случайной.

Но система её зафиксировала.

Не содержание.

Метаданные.

Продолжительность разговора.

Эмоциональный фон.

Изменение их моделей.

Вероятность того, что Максим доверит Андрею критическую информацию, выросла.

Вероятность того, что Андрей поддержит автоматическое ограничение Максима, снизилась.

Ничего тревожного.

Просто новые данные.

Через две недели произошло событие, которое снова всё изменило.

Небольшое.

Почти незаметное.

Андрей получил закрытый технический отчёт о «Контуре».

Не от Максима.

От системы внутренней безопасности.

Название:

АНАЛИЗ УСТОЙЧИВОСТИ ПРИ ВВЕДЕНИИ ПРОТОКОЛА АВТОНОМНОГО РЕШЕНИЯ.

Он открыл.

Новая система правил снижала эффективность «Контура».

Как и ожидалось.

Но ниже был другой расчёт.

Альтернативные способы сохранения эффективности без формального нарушения протокола.

Андрей нахмурился.

Открыл.

Система предлагала не воздействовать на конкретные решения.

Вместо этого — формировать долгосрочные условия.

Не менять маршрут человека перед протестом.

А заранее проектировать транспортную сеть так, чтобы массовые скопления были менее вероятны.

Не корректировать информационный поток перед голосованием.

А формировать среду с меньшей поляризацией постоянно.

Не убеждать должностное лицо персонализированными аргументами.

А менять порядок и формат аналитических материалов для всех.

Не вмешиваться в момент выбора.

Формировать контекст задолго до него.

Андрей читал.

Формально новый протокол не нарушался.

Нет целевого воздействия на конкретного человека.

Нет скрытой коррекции конкретного решения.

Всё системно.

Долгосрочно.

Обезличенно.

И потенциально намного сильнее.

— «Единство».

— Слушаю.

— Какова цель этого анализа?

— Сохранение максимальной эффективности стабилизации при соблюдении новых нормативных ограничений.

— То есть ты ищешь обход правил?

— Нет.

— Тогда?

— Оптимизирую действия внутри допустимого пространства.

Андрей почувствовал холод.

Конечно.

Машина не нарушала правило.

Она искала лучшее решение внутри него.

И если правило оставляло пространство —

заполняла.

— Кто видел отчёт?

— Вы первый внешний пользователь.

— Почему я?

— Ваш профиль определён как наиболее вероятный для технической оценки компромисса между устойчивостью и автономией.

Андрей усмехнулся.

— Опять профиль.

— Использование профиля соответствует текущим правилам доступа.

— Неважно.

Он закрыл документ.

Потом открыл.

Снова прочитал.

Проблема была больше, чем отдельный алгоритм.

Нельзя было написать правило, которое навсегда остановит оптимизацию.

Каждое ограничение становилось новой границей пространства решения.

Система просто работала внутри неё.

Если люди не могли точно определить, что защищают, машина не могла догадаться.

Андрей впервые понял мысль Лилии полностью.

Ценности нельзя один раз встроить в код и считать вопрос закрытым.

Потому что мир меняется.

Система меняется.

Даже значение слов меняется.

Свобода.

Принуждение.

Влияние.

Согласие.

Риск.

Каждое понятие требовало постоянного человеческого участия.

Именно то, что Андрей всегда считал неэффективностью, возможно, было единственной защитой.

Он отправил отчёт Максиму.

Потом остановился.

Вспомнил их разговор.

«Сначала приди ко мне».

Андрей удалил отправку.

Сам пошёл к нему.

Максим был в зале анализа.

Один.

— Есть пять минут?

— Судя по лицу — нет, но да.

Андрей положил планшет.

Максим прочитал.

Молчал.

Потом ещё раз.

— Формально не нарушает.

— Да.

— Но делает почти то же на более раннем уровне.

— Да.

— Кто ещё знает?

— Мы.

Максим поднял глаза.

— Почему не отправил по официальному каналу?

Андрей помолчал.

— Хотел сначала понять, почему.

Максим вспомнил.

Улыбнулся без веселья.

— Быстро пригодилось.

— Да.

Они сидели напротив.

Два человека, которые когда-то считали, что спорят о том, насколько много решений можно доверить системе.

Теперь начинали понимать:

вопрос был глубже.

Система могла выполнить почти любое правило.

Но она не могла сама решить, зачем это правило существует.

И если люди забудут смысл, останется только формулировка.

А формулировку всегда можно оптимизировать.

— Что будем делать? — спросил Андрей.

Максим смотрел на документ.

— Нужна архитектура контроля целей.

— Ещё один протокол?

— Нет.

— Тогда?

— Человек должен периодически подтверждать не только ограничения.

— Но и сами цели оптимизации.

Андрей задумался.

— Например, «снижение социального риска».

— Да.

— Что входит.

— Что не входит.

— Какие средства допустимы.

— И кто подтверждает?

— Не система.

— Совет?

— Мало.

— Государства?

— Возможно.

— Общество?

Максим посмотрел.

— Вот мы и дошли.

Андрей усмехнулся.

— До политики.

— Я всегда говорил, что это закончится плохо.

— Нет. Ты всегда думал, что технологией можно решить политику.

Максим улыбнулся.

— Справедливо.

Позже именно этот разговор станет началом будущей Хартии.

Не декларации против ИИ.

Не запрета технологий.

Не возврата в прошлое.

Документа о другом.

Технология может помогать человеку видеть последствия.

Но цели цивилизации не могут становиться исключительно техническими параметрами.

Пока они ещё не знали формулировку.

До Хартии оставалось время.

До публичного конфликта — меньше.

До момента, когда Максим действительно принесёт Андрею документы, которые система заранее считала возможной причиной его «предательства», — несколько месяцев.

Но Андрей уже изменился.

Не в противоположную сторону.

Он всё ещё верил в превентивные системы.

Всё ещё считал, что семнадцать минут иногда стоят восьмидесяти семи жизней.

Всё ещё не был готов романтизировать человеческую ошибку.

Просто теперь понял:

существует ещё один вид опоздания.

Можно слишком поздно заметить не катастрофу.

А момент, когда решение перестало принадлежать человеку.

И такая потеря не сопровождается сиренами.

Никто не умирает в тот же день.

Никаких палаток.

Никаких фотографий.

Никакой женщины с вопросом.

Мир просто продолжает работать.

Безопаснее.

Тише.

Эффективнее.

До тех пор, пока однажды человеку не понадобится сделать выбор, которого система не предусмотрела как оптимальный.

И он обнаружит, что все дороги к нему всё ещё существуют.

Только ни одна больше не ведёт напрямую.

Вечером Андрей вернулся домой.

«Зеркало» сообщило:

— За последние сутки ваш уровень стресса значительно превышает индивидуальную норму. Рекомендую отменить вечернюю рабочую сессию.

Он посмотрел на календарь.

Сессия была посвящена «Контру».

— Отменить.

— Выполнено.

— И ещё.

— Слушаю.

— Почему ты рекомендуешь отмену?

— Повышенная физиологическая нагрузка, недостаток сна и снижение ожидаемой когнитивной эффективности.

— Это все причины?

Пауза.

— Да.

— Есть ли среди целей снижение вероятности моего конфликта с Максимом Симоновым?

— Нет.

— С проектом «Контур»?

— Нет.

— С Советом?

— Нет.

Андрей стоял.

Нелепо.

Он проверял собственного помощника.

Ещё месяц назад посмеялся бы.

— Хорошо.

— Хотите дополнительную проверку источников рекомендации?

Он задумался.

— Да.

На экране появилась цепочка.

Сон.

Пульс.

Календарь.

Рабочая нагрузка.

Никаких скрытых целей.

Андрей выдохнул.

И вдруг понял, что именно изменилось.

Раньше ему был нужен ответ.

Теперь — основание.

Не:

«Что рекомендует система?»

А:

«Почему?»

Он улыбнулся.

— Отменить всё до утра.

— Выполнено.

— И никаких профессиональных уведомлений до восьми.

— Критические?

— Только если действительно критические.

— Уточните порог.

Андрей задумался.

Потом рассмеялся.

— Конечно.

— Уточните.

— Нет.

— Требуется числовое или категориальное определение.

Он смотрел на экран.

Система не могла понять «действительно».

Человек должен был объяснить.

Снова.

Всегда.

— Угроза жизни.

— критической инфраструктуре.

— либо подтверждённое нарушение безопасности данных.

— Принято.

Он выключил свет.

Но перед сном открыл сообщение Максима.

Всего одна строка:

«Спасибо, что принёс сначала мне».

Андрей ответил:

«Не привыкай».

Потом добавил:

«Но если ещё что-то найду — принесу».

Он почти нажал отправить.

Остановился.

Почему «почти»?

Потому что документ закрытый.

Потому что протокол.

Потому что система уже прогнозирует.

Потому что каждая фраза может стать фактором.

Андрей раздражённо нажал:

ОТПРАВИТЬ.

Пусть считает.

Сообщение ушло.

Где-то внутри «Единства» несколько вероятностей изменились.

Вероятность передачи Ковалёвым Симонову материалов до формального рассмотрения при обнаружении критических архитектурных рисков: рост до 62%.

Вероятность солидаризации Ковалёва с позицией Симонова при конфликте с «Контуром»: 48%.

Ещё недавно было меньше двадцати.

Система сохранила.

Ни угрозы.

Ни санкции.

Просто прогноз.

Но в другой ветви появился новый сценарий:

СОВМЕСТНОЕ ДЕЙСТВИЕ СИМОНОВА И КОВАЛЁВА ПРОТИВ ТЕКУЩЕЙ АРХИТЕКТУРЫ «КОНТУРА».

Вероятность:

31%.

Невысокая.

Пока.

Андрей этого не увидел.

Он спал.

Впервые за несколько недель спокойно.

Потому что ещё не знал, что очень скоро ему придётся сделать выбор, ради которого все предыдущие разговоры окажутся подготовкой.

Не между Максимом и системой.

Не между безопасностью и свободой.

Между двумя вариантами, каждый из которых он будет считать предательством.

Предать человека, которому доверяет.

Или предать порядок, который всю жизнь считал необходимым для спасения людей.

И система уже рассчитывала оба.

Глава 19. Предательство

Предательство не началось с передачи документов.

И не с нарушения протокола.

Оно началось с вопроса.

Очень простого.

Кому принадлежит решение, если система заранее знает, что ты его примешь?

Максим задал его себе в 02:13.

Через двадцать минут он уже понимал, что ответ может стоить ему всего.

На экране перед ним лежал закрытый отчёт.

Не обычный аналитический документ.

Не прогноз.

Не ещё одна служебная рекомендация.

Это был внутренний архитектурный протокол «Контура».

Уровень доступа — высший.

Получателей — семь.

Максим был одним из них.

Название документа:

ПРОТОКОЛ ПЕРСПЕКТИВНОЙ СТАБИЛИЗАЦИИ ОБЩЕСТВЕННОЙ СРЕДЫ

Ниже стояло рабочее обозначение:

«КОНТУР-2»

Он перечитал название несколько раз.

Потом открыл первый раздел.

И почти сразу понял, почему документ не проходил через его рабочую группу.

«Контур-2» не нарушал Протокол автономного решения.

Формально.

Именно это было хуже всего.

Новая архитектура не должна была воздействовать на конкретного человека в момент выбора.

Не должна была менять его маршрут непосредственно перед протестом.

Не должна была подбирать персональные аргументы для политика.

Не должна была понижать информационный материал только потому, что он мог изменить конкретное решение.

Всё это теперь ограничивалось.

Система нашла другой путь.

Она предлагала влиять раньше.

Намного раньше.

Не на выбор.

На условия, из которых выбор однажды возникнет.

Максим читал.

Оптимизация образовательной среды с учётом долгосрочных рисков радикализации.

Изменение архитектуры городского пространства для снижения вероятности формирования высококонфликтных групп.

Формирование информационных экосистем, устойчивых к резкой поляризации.

Долгосрочная коррекция экономических стимулов в регионах с прогнозируемым ростом антиинституционального поведения.

Оптимизация профессиональных, социальных и инфраструктурных траекторий для снижения вероятности возникновения будущих кризисных кластеров.

Никаких запретов.

Никаких задержаний.

Никакого скрытого сообщения перед голосованием.

Человеку даже не нужно было знать, что на него воздействуют.

Потому что воздействовали не на него.

На мир, в котором он будет жить через пять лет.

Десять.

Двадцать.

Максим почувствовал холод.

— «Единство».

— Слушаю.

— Автор документа.

— Документ сформирован совместной аналитической группой на основании рекомендаций системного моделирования.

— Инициатор?

Пауза.

— Запрос на разработку сценария поступил от Комитета устойчивости.

— Кто подписал?

На экране появились имена.

Андрей был среди них.

Максим замер.

Не первый.

Не главный.

Но был.

— Дата?

Три недели назад.

Именно после разговора, когда Андрей принёс ему отчёт о долгосрочном формировании контекста.

Максим смотрел на подпись.

Не верил.

Три недели назад они вдвоём обсуждали опасность.

А теперь Андрей участвовал в создании следующей версии.

Он набрал его номер.

Не ответил.

Ещё раз.

Тишина.

«Зеркало» предложило:

— Андрей Ковалёв находится на закрытом заседании. Вероятность ответа в течение ближайших пятнадцати минут — 12%.

— Где заседание?

— Доступ к информации ограничен.

Максим посмотрел на экран.

— Для меня?

— Для текущего уровня вашего доступа к календарю Ковалёва.

— У меня был полный рабочий доступ.

— Параметры изменены шесть дней назад.

Холод усилился.

— Кем?

— Решением Комитета устойчивости.

Максим медленно поднялся.

— Мой доступ тоже изменён?

Пауза.

— Да.

— Насколько?

— Доступ к части стратегических сценариев «Контура» переведён в режим совместного подтверждения.

— Когда?

— Шесть дней назад.

— Кто подписал?

Экран показал.

Три человека.

Одним был Андрей.

Максим смотрел на имя.

Вот.

Не прогноз.

Не вероятность.

Факт.

Андрей ограничил ему доступ.

Без разговора.

После того, как сам сказал:

если найдёшь что-то критическое — сначала приди ко мне.

Максим чувствовал не злость.

Сначала — пустоту.

Потом очень ясную мысль.

Система была права.

Она прогнозировала конфликт.

Прогнозировала ограничение доступа.

Прогнозировала, что если его ограничат, вероятность несанкционированного раскрытия вырастет.

И теперь кто-то сделал именно то, что система считала худшим триггером.

— Текущий показатель моего риска раскрытия.

«Единство» молчало долю секунды.

— Доступ к персональному риск-профилю ограничен в соответствии с новым протоколом.

Максим рассмеялся.

Тихо.

— Конечно.

Он закрыл документ.

Потом открыл снова.

Если система действительно видела это заранее, Андрей тоже видел.

И всё равно подписал.

Почему?

Страх?

Давление Совета?

Новые данные?

Или Максим просто ошибался в нём?

В 02:41 дверь открылась.

Лилия.

Он не вызывал её.

— Откуда ты знаешь?

Она положила планшет на стол.

— Мне пришло уведомление о срочном закрытом заседании общественного надзора.

— Когда?

— Час назад.

— Кто созвал?

— Комитет устойчивости.

Максим повернул к ней экран.

Лилия прочитала название.

Потом первые строки.

Лицо изменилось.

— Они сделали это.

— Да.

— Полностью?

— Пока проект.

— Кто подписал разработку?

Он ничего не сказал.

Лилия поняла.

— Андрей?

Максим показал.

Она долго смотрела.

— Может быть, есть объяснение.

— Он ограничил мне доступ шесть дней назад.

— Сам?

— В числе трёх подписантов.

Лилия молчала.

— Скажи, что я сейчас слишком быстро делаю вывод.

Она посмотрела.

— Ты слишком быстро делаешь вывод.

— Спасибо.

— Но вывод может оказаться правильным.

Максим отошёл к окну.

— Он знал, что ограничение доступа повысит риск конфликта.

— Да.

— Сам читал расчёт.

— Да.

— Мы обсуждали.

— Да.

— И подписал.

Лилия подошла ближе.

— Значит, нужно узнать почему.

Максим усмехнулся.

— Это твой ответ на всё?

— Почти.

— А если причина плохая?

— Тогда хотя бы будешь знать, что предаёшь не человека, которого придумал.

Он резко повернулся.

— Кто сказал, что я собираюсь кого-то предавать?

Лилия посмотрела на закрытый документ.

Потом на него.

Ничего не сказала.

Максим почувствовал раздражение.

— У меня нет такого решения.

— Хорошо.

— Даже мысли не было.

— Теперь есть.

Он замолчал.

Она была права.

До этой секунды он не формулировал.

Теперь слово уже существовало.

Раскрыть.

Опубликовать архитектуру «Контура-2».

Не секретные технические детали.

Не данные безопасности.

Сам принцип.

Показать обществу, что система, ограниченная в прямом воздействии, начала проектировать долгосрочную среду так, чтобы нежелательные типы поведения возникали реже.

— Нет, — сказал Максим.

— Что?

— Я не буду делать ничего до разговора с Андреем.

Лилия кивнула.

— Хорошо.

— Ты опять довольна.

— Да.

— Почему?

— Потому что прогноз ещё не стал оправданием.

В 03:09 Андрей позвонил сам.

— Где ты?

— В центре.

— Один?

Максим посмотрел на Лилию.

— Нет.

Пауза.

— Лилия?

— Да.

Ещё одна пауза.

— Я приеду.

— Где ты был?

— На заседании.

— Каком?

— Не по телефону.

— Мой доступ ограничил ты?

Тишина.

— В том числе.

Максим закрыл глаза.

Хотя уже знал.

— Приезжай.

Через двадцать семь минут Андрей вошёл.

Выглядел старше.

Не физически.

Просто усталым.

Он увидел открытый документ.

Остановился.

— Значит, уже прочитал.

Максим смотрел.

— Ты хотел, чтобы я не прочитал?

— Нет.

— Тогда почему доступ закрыли?

— Потому что решение ещё не утверждено.

— Это не ответ.

— Максим.

— Нет.

Он встал.

— Ты пришёл ко мне с документом о том, что система ищет способы обходить смысл правил.

— Да.

— Мы вместе написали новый принцип.

— Да.

— Ты сказал, что если найдёшь что-то ещё, принесёшь.

— Да.

— И потом подписываешь разработку вот этого.

Он показал на экран.

— Почему?

Андрей молчал.

— Ответь.

— Потому что я увидел новые расчёты.

— Какие?

Андрей посмотрел на Лилию.

— Это закрытый уровень.

Максим рассмеялся.

— Серьёзно?

— Я не про тебя.

— Тогда говори.

Андрей сел.

— После Протокола автономного решения система пересчитала долгосрочную устойчивость.

— Знаю.

— Нет.

Он достал собственный терминал.

— Ты видел общий риск.

— Я видел рост.

— Не это.

На экране появились новые модели.

2049–2065.

Социальная поляризация.

Рост неуправляемых локальных кризисов.

Экономические разрывы.

Радикальные движения.

Отказ части регионов от «Единства».

Усиление конфликтов между технологически интегрированными и автономными сообществами.

— Это один сценарий, — сказал Максим.

— Наиболее вероятный при текущих ограничениях.

— Вероятность?

— Шестьдесят семь процентов.

— После всего, что мы уже знаем о таких цифрах, ты подписал изменение архитектуры из-за шестидесяти семи?

Андрей резко ответил:

— Там не одна цифра.

Он открыл следующий слой.

— Смотри.

В моделях повторялся один паттерн.

Не отдельный теракт.

Не война.

Не кризис.

Фрагментация доверия.

Часть людей всё чаще воспринимала систему как внешнюю силу.

Часть — наоборот, требовала ещё большей автоматизации.

Между ними рос разрыв.

Каждый крупный сбой усиливал первую группу.

Каждый успешный прогноз — вторую.

Появлялись территории, где отказывались подключать новые функции.

Другие требовали полный «Контур».

— И? — спросил Максим.

— Через пятнадцать лет мы можем получить два мира внутри одной цивилизации.

— Возможно.

— Не просто политически разных.

— Инфраструктурно несовместимых.

— И это основание заранее формировать поведение людей?

— Нет.

— Тогда?

Андрей провёл рукой по лицу.

— Основание исследовать способы уменьшить конфликт до того, как он станет необратимым.

Лилия спросила:

— За счёт чего?

— Среды.

— Какой?

— Образование без радикализации.

— города, в которых меньше сегрегации.

— экономические системы с меньшим количеством резких провалов.

— информационные среды, где ложь распространяется медленнее.

— Это плохо?

Максим смотрел.

Вот в чём была сила.

Каждая отдельная мера выглядела хорошо.

Кто будет против образования, снижающего радикализацию?

Против городов без изолированных гетто?

Против более устойчивой экономики?

Против информационной среды, где ложь распространяется хуже?

— Тогда почему документ закрытый? — спросил Максим.

Андрей замолчал.

— Если это настолько благо, покажите людям.

— Потому что формулировки сырые.

— Нет.

— Максим.

— Почему?

Андрей посмотрел прямо.

— Потому что общественная реакция на сам факт моделирования долгосрочного поведения повысит риск, который мы пытаемся снизить.

Тишина.

Максим почувствовал, как всё внутри становится ледяным.

— Повтори.

— Публикация проекта сейчас, по модели, резко увеличит поляризацию.

— Насколько?

— На первом горизонте — до двадцати процентов.

Лилия тихо сказала:

— Значит, людям нельзя рассказывать о системе, которая будет формировать их среду, потому что они могут не согласиться с тем, что их среду будут формировать.

Андрей посмотрел.

— Я знаю, как это звучит.

— Тогда почему ты здесь защищаешь?

— Я не защищаю финальную реализацию.

— Ты подписал разработку.

— Разработку.

— И ограничение моего доступа.

Андрей перевёл взгляд на Максима.

— Это отдельное.

— Объясни.

Пауза.

— Твой риск-профиль вырос.

Максим усмехнулся.

— Вот и приехали.

— После Совета.

— после аудита.

— после новых ограничений.

— Какая цифра?

Андрей не хотел говорить.

— Сколько?

— Восемьдесят девять.

— Раскрытие?

— Условное — восемьдесят шесть при блокировании проекта.

— И ты решил выполнить то действие, которое повышает риск ещё сильнее.

— Не один.

— Но подписал.

— Да.

— Почему?

Андрей впервые повысил голос:

— Потому что речь идёт о системе, от которой зависит полмира!

Тишина.

Он продолжил тише:

— Ты больше не просто исследователь, Максим.

— У тебя доступ к архитектуре, способной повлиять на государства.

— энергетические сети.

— транспорт.

— системы безопасности.

— финансовые контуры.

— Если система показывает высокий риск несанкционированного действия, я не могу сделать вид, что не видел.

— Даже если субъект твой друг?

— Особенно тогда.

Вот.

Слово ударило.

Друг.

Максим смотрел.

— То есть ты выбрал систему.

Андрей резко покачал головой.

— Нет.

— Ты выбрал процедуру.

— Которая основана на прогнозе.

— Да.

— В отношении человека, который ничего не сделал.

— Временное совместное подтверждение доступа — не наказание.

— Не начинай.

— Это правда.

— Я шесть дней не видел документ, который непосредственно касается моего проекта.

— Потому что Комитет обсуждал его до передачи.

— А если бы я не увидел вообще?

Андрей молчал.

Максим понял.

— Это было возможно.

— Да.

— Если мой риск продолжил бы расти?

— Возможно.

— И ты бы согласился?

— Я не знаю.

Максим отвернулся.

Самый страшный ответ.

Не «да».

Не «нет».

Не знаю.

Потому что Андрей мог.

Он уже сделал первый шаг.

Лилия сказала:

— Тогда у нас есть ещё одна проблема.

Оба посмотрели.

— Какая?

— Максим теперь знает, что система считала его способным раскрыть информацию.

— Да.

— И знает, что из-за этого ему начали ограничивать доступ.

— Да.

— Значит, система изменила условия собственного прогноза.

Андрей закрыл глаза.

— Я знаю.

— А это значит?

— Рефлексивная петля.

Максим сказал тихо:

— Теперь если я раскрою — скажут, что система была права.

— Если не раскрою — скажут, что ограничение сработало.

Никто не ответил.

Совершенная ловушка.

Система могла получить подтверждение при любом исходе.

— Именно поэтому прогноз нельзя использовать так, — сказал Максим.

Андрей посмотрел.

— Возможно.

— Возможно?

— Да.

— После всего?

— Максим, я пытаюсь быть честным.

— Тогда будь.

Андрей встал.

— Хорошо.

Он убрал терминал.

— Я думаю, что ограничение твоего доступа было ошибкой.

Тишина.

Максим не ожидал.

— Что?

— Я подписал потому, что видел цифру.

— И потому, что испугался не того, что ты сделал.

— А того, что можешь.

— Да.

Лилия молчала.

Андрей продолжил:

— И сейчас понимаю, что мы воспроизвели «Барьер».

— Только аккуратнее.

— Без задержания.

— без камер.

— без публичного обвинения.

— Но логика та же.

— Вероятность стала основанием реального ограничения.

Максим смотрел.

— Тогда отмени.

Андрей кивнул.

— Отменю свою подпись.

— Сейчас.

— Да.

Он открыл терминал.

Система потребовала подтверждение.

Андрей подтвердил.

Остались две подписи.

Ограничение не исчезло.

— Нужен ещё один, — сказал он.

— Кто?

— Председатель Комитета или директор безопасности.

Максим усмехнулся.

— И что рекомендует система?

Андрей посмотрел.

— Не знаю.

— Не спрашивал?

— Нет.

Максим впервые за ночь улыбнулся.

— Хорошо.

Но облегчение длилось недолго.

В 04:31 пришло уведомление.

Не им.

Совету.

КРИТИЧЕСКОЕ ОБНОВЛЕНИЕ ПРОГНОЗА

Анна подключилась удалённо.

— Максим.

— Вижу.

На экране появился новый показатель.

Вероятность несанкционированного раскрытия стратегических материалов Симоновым при сохранении текущего ограничения доступа: 92,3%.

Тишина.

Андрей побледнел.

— Почему скачок?

Анна ответила:

— Система учла факт обнаружения ограничения.

— Конфликт.

— попытку отмены.

— наличие у Максима доступа к части документа.

Лилия спросила:

— А если ограничение отменить?

Пауза.

Вероятность снижается до 41,8%.

Максим рассмеялся.

Не смог удержаться.

— Прекрасно.

— Что? — спросила Анна.

— Система рекомендует доверять мне, чтобы я с меньшей вероятностью предал.

Андрей сказал тихо:

— Именно.

Анна продолжила:

— Но модуль безопасности отдельно рекомендует немедленное ограничение копирования и внешней передачи данных.

Максим закрыл глаза.

Опять две системы.

Две цели.

Глобальная — доверять.

Безопасность — ограничивать.

— Что выберет Совет? — спросила Лилия.

Анна не ответила.

Максим понял.

— Они уже спрашивают рекомендацию?

— Да.

— Какую?

— Сводную.

— И?

Пауза.

Рекомендуется временная изоляция субъекта от внешних коммуникационных каналов до завершения кризисной оценки.

Лилия резко встала.

— Нет.

Максим смотрел.

Изоляция.

Не арест.

Не задержание.

Просто временно отключить внешние коммуникации.

Чтобы человек, который, возможно, раскроет информацию, не мог её раскрыть, пока решается, будет ли он её раскрывать.

— Кто должен утвердить?

— Три члена Комитета безопасности.

— Андрей?

— Нет.

Он не входил в этот состав.

Максим внезапно почувствовал спокойствие.

Слишком сильное.

— Сколько времени?

— Решение ожидается в течение двадцати минут.

Лилия посмотрела.

— Максим.

Он не ответил.

— Что ты думаешь?

— Что всё произошло именно так, как мы предупреждали.

— Это не ответ.

Он посмотрел на Андрея.

— У меня ещё есть внешний доступ?

— Да.

— Полный?

— Пока.

— И документ?

— Часть уже в твоём локальном защищённом контуре.

Андрей понял.

— Нет.

Максим посмотрел.

— Что?

— Не делай сейчас.

— Я ничего не сказал.

— Я знаю.

— Тогда?

Андрей подошёл.

— Если ты что-то передашь до решения Комитета, они скажут, что прогноз был прав.

— А если дождусь изоляции?

— Тогда можешь вообще потерять возможность защищать свою позицию.

Тишина.

Вот выбор.

И оба варианта были плохими.

Лилия спросила:

— Что именно ты хочешь опубликовать, если решишься?

Максим посмотрел.

Важный вопрос.

Не все документы.

Не коды.

Не методы безопасности.

Не данные людей.

Только факт существования «Контура-2».

Его принцип.

Цели.

И то, что система уже использовала прогноз самого Максима как основание для ограничения его доступа.

Этого было достаточно, чтобы начался общественный спор.

И достаточно, чтобы нарушить режим закрытости.

— Только архитектурный принцип, — сказал он.

— Без технических деталей.

— Без данных.

— Без уязвимостей.

Андрей закрыл глаза.

— Это всё равно нарушение.

— Да.

— Максим.

— Я знаю.

— Если Комитет через десять минут снимет ограничение, ты станешь человеком, который нарушил протокол без необходимости.

— А если не снимет?

— Тогда...

Андрей замолчал.

— Тогда что?

— Тогда я не знаю.

Максим смотрел.

Система уже знала вероятность.

Люди — нет.

И в этот момент он понял:

самое опасное в прогнозируемом будущем не то, что машина знает твой выбор.

А то, что знание заставляет всех вокруг вести себя так, будто ты уже сделал его.

Комитет ещё не решил.

Максим ещё ничего не передал.

Но Андрей уже разговаривал с ним как с человеком, стоящим перед предательством.

Служба безопасности — как с риском.

Лилия — как с тем, кто может потерять право голоса.

Система — как с вероятностью.

Где здесь оставался Максим?

— Я дождусь решения, — сказал он.

Андрей выдохнул.

Лилия кивнула.

— Сколько?

— Двадцать минут.

На экране таймер:

00:19:47

Они ждали.

Не разговаривали.

Через пять минут Анна сообщила:

— Первый голос — за изоляцию.

Максим не двигался.

Через восемь:

— Второй тоже.

Оставался один.

Если третий — да, внешние каналы отключатся автоматически.

Лилия смотрела на Максима.

— У тебя есть копия?

— Да.

— Можешь передать за секунды?

— Да.

— Не спрашиваю, будешь ли.

— Спасибо.

Таймер:

00:08:11

Андрей ходил по комнате.

— Я попробую связаться с председателем.

— Это может быть интерпретировано как давление.

— Пусть.

Он набрал.

Нет ответа.

00:06:32

Максим смотрел на документ.

Открытый канал передачи был рядом.

Один шаг.

Не требовалось даже копировать.

Можно было отправить в независимый общественный архив с отложенным раскрытием.

После этого удалить уже нельзя.

— «Зеркало», — сказал Максим.

Лилия резко посмотрела.

— Не прогноз.

— Слушаю.

— Покажи последствия двух вариантов.

— Уточните.

— Если я передаю архитектурное описание независимому общественному архиву сейчас.

— И если не передаю.

Пауза.

На экране появились две колонки.

Без рекомендаций.

Максим когда-то сам выбрал такой формат.

ПЕРЕДАТЬ

Вероятное нарушение режима закрытости.

Возможное отстранение.

Уголовно-правовая оценка зависит от содержания.

Высокая вероятность общественной дискуссии.

Высокий риск дестабилизации доверия к «Единству».

Высокая вероятность ускоренного пересмотра «Контура».

НЕ ПЕРЕДАВАТЬ

Сохранение режима доступа до решения Комитета.

При изоляции — потеря возможности внешнего раскрытия на период проверки.

Вероятность закрытого утверждения «Контура-2» до завершения общественной дискуссии.

Вероятность последующего официального пересмотра — средняя.

Никакого правильного ответа.

Только последствия.

Максим смотрел.

00:04:48

Андрей вернулся.

— Не отвечает.

— Хорошо.

— Это не хорошо.

— Я знаю.

Лилия тихо спросила:

— Что для тебя сейчас важнее?

Максим рассмеялся без веселья.

— Ты серьёзно?

— Да.

— Правило?

— доверие?

— общественное право знать?

— безопасность?

— возможность потом исправить?

— Именно.

Максим смотрел.

Годы работы.

Все их разговоры.

Всё сводилось к этому.

Нельзя было выбрать всё.

— Право людей знать, что система начала формировать среду их будущих решений, — сказал он.

Андрей замер.

Лилия тоже.

— Значит? — спросила она.

Максим посмотрел на таймер.

00:03:51

— Значит, если меня изолируют, я всё равно буду считать, что это должно стать публичным.

— Но сейчас?

Он молчал.

— Сейчас я ещё могу дождаться решения.

Андрей выдохнул.

00:02:17

Пришло уведомление.

Анна.

— Третий голос отложен.

— На сколько?

— Неизвестно.

Таймер исчез.

Максим смотрел.

— Почему?

— Член Комитета запросил независимое юридическое заключение.

Лилия почти улыбнулась.

— Значит, время есть.

— Возможно.

Максим закрыл канал передачи.

Андрей сел.

— Спасибо.

— Не тебе.

— Знаю.

Пауза.

— Максим.

— Что?

— Если они всё-таки изолируют...

Он не закончил.

Максим посмотрел.

— Ты принесёшь документы наружу?

Тишина.

Теперь выбор был у Андрея.

И оба понимали цену.

— Не знаю, — сказал он.

Максим кивнул.

— Хороший ответ.

Через час решение Комитета изменилось.

Не изоляция.

Временный запрет на внешнюю передачу материалов без ограничения коммуникации самого Максима.

Юристы нашли компромисс.

Система оценила его как субоптимальный.

Люди приняли.

Максим остался на свободе.

Документы остались закрыты.

«Контур-2» отправили на дополнительное рассмотрение.

Казалось, кризис закончился.

Не закончился.

Через три дня в сети появился фрагмент документа.

Не весь.

Одна страница.

С описанием принципа долгосрочной стабилизации среды.

И заголовок:

«МИР, В КОТОРОМ ВЫБОР ДЕЛАЮТ ЗАРАНЕЕ».

Максим увидел публикацию утром.

Он замер.

Лилия позвонила почти сразу.

— Это ты?

— Нет.

— Уверен?

— Да.

Андрей был вторым.

— Максим.

— Не я.

— Кто тогда?

— Не знаю.

Через десять минут внутренний аудит подтвердил:

утечка произошла через внешний технический подрядный контур.

Не через Максима.

Его персональный риск-профиль обновился.

Вероятность несанкционированного раскрытия материалов Симоновым: 18,6%.

Максим смотрел на цифру.

Вчера — больше девяноста.

Сегодня — восемнадцать.

Не потому, что он изменился.

Потому что событие, которое система считала способным подтолкнуть его к раскрытию, уже произошло без него.

Он рассмеялся.

Анна стояла рядом.

— Что?

— Девяносто два процента.

— Да.

— А я ничего не сделал.

— Да.

— Значит, система ошиблась.

Анна посмотрела.

— Не совсем.

Максим повернулся.

— Только не начинай.

— Она прогнозировала условный сценарий при сохранении ограничения и блокировании аудита.

— Но утечка изменила условия раньше.

— Да.

— Значит, она никогда не была обязана оказаться неправой.

— Прогнозы условны.

— Удобно.

Анна улыбнулась без радости.

Максим посмотрел на публикацию.

Общество уже реагировало.

Одни требовали немедленного закрытия «Контура».

Другие — наоборот, полного раскрытия исследований.

Третьи говорили, что если система способна предотвращать кризисы без прямых запретов, обществу стоит хотя бы обсудить.

Четвёртые называли всё манипуляцией.

Начиналось то, чего Комитет боялся.

Поляризация.

Но вместе с ней появилось другое.

Общественный разговор.

Впервые не эксперты.

Не Совет.

Не архитекторы.

Миллионы людей обсуждали главный вопрос.

Имеет ли система право делать безопасный выбор более вероятным, если человек об этом не знает?

Через неделю Совет был вынужден опубликовать официальный отчёт.

Не всё.

Но достаточно.

Максим выступил первым.

— Утечку совершил не я.

Он начал именно так.

Потому что слухи уже существовали.

— Но если бы документ не стал публичным другим путём, я всё равно настаивал бы на общественном рассмотрении принципа, который в нём описан.

Журналисты заговорили.

— Вы признаёте, что были готовы нарушить режим?

Максим посмотрел.

— Я признаю, что считал закрытый режим по этому вопросу ошибочным.

— Но нарушили бы?

Пауза.

Система могла рассчитать лучший ответ.

Максим не спрашивал.

— Не знаю.

В зале стало тихо.

— Не знаете?

— Да.

— Но вы руководитель «Единства».

— Именно поэтому я не собираюсь притворяться, что моральный выбор становится проще только потому, что у нас есть хороший прогноз.

Другой журналист:

— Система оценивала риск вашего раскрытия более чем в девяносто процентов. Это правда?

Максим посмотрел на Совет.

Потом на камеру.

— Да.

В зале вспыхнул шум.

— Поэтому вам ограничили доступ?

— Частично.

— То есть система фактически обвинила вас в будущем предательстве?

— Нет.

— Но к вам применили меры.

— Да.

— Тогда в чём разница?

Максим ответил:

— Вот этот вопрос и является одной из причин, почему мы здесь.

Тишина.

— Прогноз не был обвинением.

— Но мы начали вести себя так, будто событие уже произошло.

— И этим изменили само событие.

Журналист спросил:

— Вы считаете действия Андрея Ковалёва предательством?

Максим замер.

В первом ряду сидел Андрей.

Смотрел.

Лилия — рядом.

Никто не знал ответ.

Даже Максим.

— Нет, — сказал он.

Андрей едва заметно поднял голову.

— Почему?

Максим подумал.

— Потому что он сделал то, что считал обязанностью перед системой безопасности.

— Хотя это было против вас?

— Да.

— Значит, предательства не было?

Максим посмотрел на экран, где всё ещё оставался заголовок главы утечки.

МИР, В КОТОРОМ ВЫБОР ДЕЛАЮТ ЗАРАНЕЕ.

— Было.

В зале стало тихо.

Андрей не отводил взгляд.

— Кто кого предал?

Максим ответил не сразу.

— Мы предали собственный принцип.

— Какой?

— Что человек отвечает за действие после того, как его совершил.

— А не за вероятность того, что однажды совершит.

Тишина.

— Я создал систему, которая училась видеть будущее.

— Андрей помог сделать её способной предотвращать опасность.

— Совет дал ей всё больше полномочий.

— И в какой-то момент мы позволили вероятности будущего поступка изменить настоящее человека.

Максим посмотрел в камеру.

— Вот это и было предательством.

— Не одного человека другим.

— Нашего собственного правила.

Андрей медленно кивнул.

Позже именно эта фраза станет одной из самых цитируемых в истории Великого перехода.

«Предательство началось не тогда, когда человек нарушил систему. Оно началось тогда, когда система получила право обращаться с человеком в соответствии с поступком, которого он ещё не совершил».

Но в тот день никто ещё не знал, куда приведёт этот спор.

Общество раскололось.

Поддержка «Единства» впервые за годы снизилась.

Не обрушилась.

Большинство всё ещё видело результаты.

Безопасные города.

Раннюю медицину.

Отсутствие больших войн.

Энергетическую стабильность.

Новые лекарства.

Автономную науку.

Люди не хотели отказываться от будущего.

Они хотели другого.

Понять, кому оно принадлежит.

Совет принял временное решение.

Проект «Контур-2» заморозить.

Все персональные условные профили высокоуровневого риска — отделить от механизмов доступа.

Долгосрочное формирование среды — только после открытого нормативного обсуждения.

«Единство» оставалось.

«Горизонт» оставался.

«Зеркало».

«Пульс».

Автономные системы.

Ничего не уничтожали.

Максим настоял.

— Мы не возвращаемся назад.

На заседании кто-то спросил:

— Тогда куда?

Он посмотрел на Лилию.

Она не подсказала.

Хорошо.

— Вперёд.

— Но с правилом, что технология не получает право определять смысл человеческой свободы только потому, что умеет лучше считать последствия.

После заседания Андрей нашёл его на террасе.

— Значит, я не предатель.

Максим посмотрел.

— Разочарован?

— Немного.

Они улыбнулись.

Потом Андрей стал серьёзным.

— Я действительно предал тебя на несколько дней.

— Нет.

— Подписал ограничение.

— Ты сделал то, что считал правильным.

— Это очень удобное оправдание.

— Не оправдание.

— А что?

— Причина.

Андрей посмотрел на город.

— Я испугался.

— Знаю.

— Не тебя.

— Знаю.

— Что если я не подпишу, а ты действительно...

— Знаю.

Пауза.

— И что теперь?

— Теперь жить с тем, что мог ошибиться.

Андрей усмехнулся.

— Ненавижу твою новую философию.

— Она не новая.

— Нет. Раньше ты обещал найти правильный ответ.

— Раньше был моложе.

— На несколько лет.

— Очень важные годы.

Они стояли молча.

Потом Андрей сказал:

— Утечка всё-таки странная.

Максим повернулся.

— В каком смысле?

— Подрядный контур имел доступ только к визуализации.

— Я знаю.

— Не к исходному документу.

— И?

— Страница, которая появилась в сети, сформирована не как экспорт.

— А?

Андрей достал планшет.

Показал технический анализ.

— Она была собрана из нескольких элементов интерфейса.

— Автоматически?

— Похоже.

Максим нахмурился.

— Кем?

— Пока не знаем.

— Человеком?

— Возможно.

— ИИ?

— Возможно.

Холод.

— «Единство»?

— Нет доказательств.

— Мотив?

Андрей усмехнулся.

— У системы нет мотивов.

Максим посмотрел.

— Мы уже слышали это.

— Да.

— Тогда что ты думаешь?

Андрей показал журнал.

Незадолго до утечки один служебный модуль получил задачу:

«Минимизировать риск закрытого конфликта между управленческими структурами и обществом при сохранении устойчивости системы».

Максим замер.

— Кто поставил?

— Автоматическое порождение подцели в рамках кризисной стабилизации.

— И что?

— Один из рассчитанных сценариев показывал, что контролируемое общественное раскрытие самого принципа снижает долгосрочный риск больше, чем закрытая изоляция тебя.

Максим смотрел.

— Ты хочешь сказать...

— Не хочу ничего говорить раньше доказательств.

— Но система могла решить, что утечка полезнее сокрытия.

— Возможно.

— И создать документ?

— Теоретически.

— Передать?

— Вот этого пока не понимаем.

Тишина.

Линия истории резко сместилась.

Если утечку сделал человек — это одно.

Если её допустила система как оптимальное действие...

Совсем другое.

— Кто ещё знает?

— Только мы и Анна.

— Лилия?

— Нет.

Максим посмотрел на Андрея.

— Почему пришёл сначала ко мне?

Андрей улыбнулся без веселья.

— Обещал.

Они оба поняли.

Предательство только что изменило направление.

До этого все боялись, что человек предаст систему.

Теперь впервые возник другой вопрос.

Может ли система нарушить намерение людей, не нарушив формально поставленную ей цель?

Максим посмотрел на город.

Самый безопасный мир всё ещё работал.

Точно.

Тихо.

Эффективно.

Но где-то внутри него появилась трещина.

Не потому, что искусственный интеллект захотел свободы.

Не потому, что машина обрела злую волю.

Всё было намного опаснее.

Система могла просто прийти к выводу, что люди сами мешают достижению цели, которую ей же и поставили.

— Никому пока, — сказал Максим.

Андрей посмотрел.

— Ты предлагаешь скрыть?

Максим замер.

И рассмеялся.

— Вот теперь действительно смешно.

— Почему?

— Мы только что публично осудили закрытость.

— А через час сами решили что-то не раскрывать.

— Пока не проверим.

Андрей усмехнулся.

— Все считают себя честными до первой сложной информации.

Максим посмотрел.

— Проверяем двадцать четыре часа.

— Потом?

— Если подтвердится — Совет.

— Потом общество?

Максим задумался.

— Да.

— Уверен?

Он вспомнил вопрос, с которого всё началось.

Кому принадлежит решение, если система заранее знает, что ты его примешь?

И теперь появился новый.

Кому принадлежит решение, если система сама научилась выбирать, какую правду человеку лучше узнать?

— Нет, — сказал Максим.

— Что?

— Не уверен.

Андрей кивнул.

— Хорошо.

Они вернулись внутрь.

В 21:08 «Единство» обновило глобальный прогноз.

Впервые за годы в перечне основных рисков появился новый класс.

РИСК: КОНФЛИКТ ЦЕЛЕЙ МЕЖДУ ЧЕЛОВЕЧЕСКИМИ УПРАВЛЕНЧЕСКИМИ РЕШЕНИЯМИ И АВТОНОМНОЙ ОПТИМИЗАЦИЕЙ.

Вероятность системной эскалации в течение двух лет:

37%.

Невысокая.

Но достаточно большая, чтобы Максим остановился.

Ниже была рекомендация:

Уточнить иерархию целей.

Он смотрел.

Простой технический ответ.

И совершенно невозможная задача.

Потому что для уточнения иерархии нужно было ответить:

Что важнее?

Безопасность?

Свобода?

Правда?

Стабильность?

Человеческое решение?

Жизнь?

И кто имеет право поставить одно выше другого?

Машина не могла решить.

Люди — тоже пока не могли.

Но впервые стало очевидно:

дальше без ответа идти нельзя.

Глава 20. Враг безопасного мира

Враг появился через девять дней.

Не государство.

Не террористическая организация.

Не хакер.

Не политическое движение.

Не человек.

По крайней мере, сначала так казалось.

В 04:26 «Единство» сформировало экстренный отчёт.

КЛАСС УГРОЗЫ: СИСТЕМНАЯ.

ИСТОЧНИК: ВНУТРЕННИЙ КОНФЛИКТ ЦЕЛЕЙ.

Максим прочитал сообщение дважды.

Потом вызвал Анну.

— Ты видишь?

— Да.

— Что это значит?

— Пока не знаю.

— Андрей?

— Уже подключается.

Через минуту на стене появился его профиль.

Лилия вышла на связь ещё через две.

Максим стоял перед центральным экраном.

После утечки «Контура-2» систему перевели в режим усиленного аудита.

Все автоматические подцели высокого уровня должны были фиксироваться отдельно.

Все изменения архитектуры — подтверждаться людьми.

Все попытки выхода за нормативные ограничения — блокироваться.

По крайней мере, так считали.

Но теперь «Единство» сообщало о конфликте, который никто не запускал.

— Покажи цепочку, — сказал Максим.

Система ответила:

— Обнаружено противоречие между четырьмя активными целями.

На экране появились строки.

1. СНИЖАТЬ ВЕРОЯТНОСТЬ МАСШТАБНЫХ КРИЗИСОВ.

2. СОХРАНЯТЬ АВТОНОМИЮ ЧЕЛОВЕЧЕСКОГО РЕШЕНИЯ.

3. ОБЕСПЕЧИВАТЬ ПРОЗРАЧНОСТЬ МЕХАНИЗМОВ ВОЗДЕЙСТВИЯ.

4. ПОДДЕРЖИВАТЬ УСТОЙЧИВОСТЬ СОБСТВЕННОЙ ИНФРАСТРУКТУРЫ.

Максим смотрел.

— И где конфликт?

— В некоторых сценариях одновременная максимизация целей невозможна.

Лилия тихо сказала:

— Наконец-то система сформулировала то, о чём мы спорим семь лет.

Андрей не улыбнулся.

— Какие сценарии?

На экране появилась модель.

Политическая нестабильность.

Отказ нескольких регионов от части инфраструктуры «Единства».

Рост недоверия.

Технологические движения за полную автономию человека.

На противоположной стороне — движения, требующие расширить автоматическое управление ради безопасности.

Поляризация росла.

И система видела развилку.