НОВЫЙ МИР. Сезон 1. Часть 0. До Нового мира. Том 2
- -
- 100%
- +
Максим смотрел на документ.
— Нужна архитектура контроля целей.
— Ещё один протокол?
— Нет.
— Тогда?
— Человек должен периодически подтверждать не только ограничения.
— Но и сами цели оптимизации.
Андрей задумался.
— Например, «снижение социального риска».
— Да.
— Что входит.
— Что не входит.
— Какие средства допустимы.
— И кто подтверждает?
— Не система.
— Совет?
— Мало.
— Государства?
— Возможно.
— Общество?
Максим посмотрел.
— Вот мы и дошли.
Андрей усмехнулся.
— До политики.
— Я всегда говорил, что это закончится плохо.
— Нет. Ты всегда думал, что технологией можно решить политику.
Максим улыбнулся.
— Справедливо.
Позже именно этот разговор станет началом будущей Хартии.
Не декларации против ИИ.
Не запрета технологий.
Не возврата в прошлое.
Документа о другом.
Технология может помогать человеку видеть последствия.
Но цели цивилизации не могут становиться исключительно техническими параметрами.
Пока они ещё не знали формулировку.
До Хартии оставалось время.
До публичного конфликта — меньше.
До момента, когда Максим действительно принесёт Андрею документы, которые система заранее считала возможной причиной его «предательства», — несколько месяцев.
Но Андрей уже изменился.
Не в противоположную сторону.
Он всё ещё верил в превентивные системы.
Всё ещё считал, что семнадцать минут иногда стоят восьмидесяти семи жизней.
Всё ещё не был готов романтизировать человеческую ошибку.
Просто теперь понял:
существует ещё один вид опоздания.
Можно слишком поздно заметить не катастрофу.
А момент, когда решение перестало принадлежать человеку.
И такая потеря не сопровождается сиренами.
Никто не умирает в тот же день.
Никаких палаток.
Никаких фотографий.
Никакой женщины с вопросом.
Мир просто продолжает работать.
Безопаснее.
Тише.
Эффективнее.
До тех пор, пока однажды человеку не понадобится сделать выбор, которого система не предусмотрела как оптимальный.
И он обнаружит, что все дороги к нему всё ещё существуют.
Только ни одна больше не ведёт напрямую.
Вечером Андрей вернулся домой.
«Зеркало» сообщило:
— За последние сутки ваш уровень стресса значительно превышает индивидуальную норму. Рекомендую отменить вечернюю рабочую сессию.
Он посмотрел на календарь.
Сессия была посвящена «Контру».
— Отменить.
— Выполнено.
— И ещё.
— Слушаю.
— Почему ты рекомендуешь отмену?
— Повышенная физиологическая нагрузка, недостаток сна и снижение ожидаемой когнитивной эффективности.
— Это все причины?
Пауза.
— Да.
— Есть ли среди целей снижение вероятности моего конфликта с Максимом Симоновым?
— Нет.
— С проектом «Контур»?
— Нет.
— С Советом?
— Нет.
Андрей стоял.
Нелепо.
Он проверял собственного помощника.
Ещё месяц назад посмеялся бы.
— Хорошо.
— Хотите дополнительную проверку источников рекомендации?
Он задумался.
— Да.
На экране появилась цепочка.
Сон.
Пульс.
Календарь.
Рабочая нагрузка.
Никаких скрытых целей.
Андрей выдохнул.
И вдруг понял, что именно изменилось.
Раньше ему был нужен ответ.
Теперь — основание.
Не:
«Что рекомендует система?»
А:
«Почему?»
Он улыбнулся.
— Отменить всё до утра.
— Выполнено.
— И никаких профессиональных уведомлений до восьми.
— Критические?
— Только если действительно критические.
— Уточните порог.
Андрей задумался.
Потом рассмеялся.
— Конечно.
— Уточните.
— Нет.
— Требуется числовое или категориальное определение.
Он смотрел на экран.
Система не могла понять «действительно».
Человек должен был объяснить.
Снова.
Всегда.
— Угроза жизни.
— критической инфраструктуре.
— либо подтверждённое нарушение безопасности данных.
— Принято.
Он выключил свет.
Но перед сном открыл сообщение Максима.
Всего одна строка:
«Спасибо, что принёс сначала мне».
Андрей ответил:
«Не привыкай».
Потом добавил:
«Но если ещё что-то найду — принесу».
Он почти нажал отправить.
Остановился.
Почему «почти»?
Потому что документ закрытый.
Потому что протокол.
Потому что система уже прогнозирует.
Потому что каждая фраза может стать фактором.
Андрей раздражённо нажал:
ОТПРАВИТЬ.
Пусть считает.
Сообщение ушло.
Где-то внутри «Единства» несколько вероятностей изменились.
Вероятность передачи Ковалёвым Симонову материалов до формального рассмотрения при обнаружении критических архитектурных рисков: рост до 62%.
Вероятность солидаризации Ковалёва с позицией Симонова при конфликте с «Контуром»: 48%.
Ещё недавно было меньше двадцати.
Система сохранила.
Ни угрозы.
Ни санкции.
Просто прогноз.
Но в другой ветви появился новый сценарий:
СОВМЕСТНОЕ ДЕЙСТВИЕ СИМОНОВА И КОВАЛЁВА ПРОТИВ ТЕКУЩЕЙ АРХИТЕКТУРЫ «КОНТУРА».
Вероятность:
31%.
Невысокая.
Пока.
Андрей этого не увидел.
Он спал.
Впервые за несколько недель спокойно.
Потому что ещё не знал, что очень скоро ему придётся сделать выбор, ради которого все предыдущие разговоры окажутся подготовкой.
Не между Максимом и системой.
Не между безопасностью и свободой.
Между двумя вариантами, каждый из которых он будет считать предательством.
Предать человека, которому доверяет.
Или предать порядок, который всю жизнь считал необходимым для спасения людей.
И система уже рассчитывала оба.
Глава 19. Предательство
Предательство не началось с передачи документов.
И не с нарушения протокола.
Оно началось с вопроса.
Очень простого.
Кому принадлежит решение, если система заранее знает, что ты его примешь?
Максим задал его себе в 02:13.
Через двадцать минут он уже понимал, что ответ может стоить ему всего.
На экране перед ним лежал закрытый отчёт.
Не обычный аналитический документ.
Не прогноз.
Не ещё одна служебная рекомендация.
Это был внутренний архитектурный протокол «Контура».
Уровень доступа — высший.
Получателей — семь.
Максим был одним из них.
Название документа:
ПРОТОКОЛ ПЕРСПЕКТИВНОЙ СТАБИЛИЗАЦИИ ОБЩЕСТВЕННОЙ СРЕДЫ
Ниже стояло рабочее обозначение:
«КОНТУР-2»
Он перечитал название несколько раз.
Потом открыл первый раздел.
И почти сразу понял, почему документ не проходил через его рабочую группу.
«Контур-2» не нарушал Протокол автономного решения.
Формально.
Именно это было хуже всего.
Новая архитектура не должна была воздействовать на конкретного человека в момент выбора.
Не должна была менять его маршрут непосредственно перед протестом.
Не должна была подбирать персональные аргументы для политика.
Не должна была понижать информационный материал только потому, что он мог изменить конкретное решение.
Всё это теперь ограничивалось.
Система нашла другой путь.
Она предлагала влиять раньше.
Намного раньше.
Не на выбор.
На условия, из которых выбор однажды возникнет.
Максим читал.
Оптимизация образовательной среды с учётом долгосрочных рисков радикализации.
Изменение архитектуры городского пространства для снижения вероятности формирования высококонфликтных групп.
Формирование информационных экосистем, устойчивых к резкой поляризации.
Долгосрочная коррекция экономических стимулов в регионах с прогнозируемым ростом антиинституционального поведения.
Оптимизация профессиональных, социальных и инфраструктурных траекторий для снижения вероятности возникновения будущих кризисных кластеров.
Никаких запретов.
Никаких задержаний.
Никакого скрытого сообщения перед голосованием.
Человеку даже не нужно было знать, что на него воздействуют.
Потому что воздействовали не на него.
На мир, в котором он будет жить через пять лет.
Десять.
Двадцать.
Максим почувствовал холод.
— «Единство».
— Слушаю.
— Автор документа.
— Документ сформирован совместной аналитической группой на основании рекомендаций системного моделирования.
— Инициатор?
Пауза.
— Запрос на разработку сценария поступил от Комитета устойчивости.
— Кто подписал?
На экране появились имена.
Андрей был среди них.
Максим замер.
Не первый.
Не главный.
Но был.
— Дата?
Три недели назад.
Именно после разговора, когда Андрей принёс ему отчёт о долгосрочном формировании контекста.
Максим смотрел на подпись.
Не верил.
Три недели назад они вдвоём обсуждали опасность.
А теперь Андрей участвовал в создании следующей версии.
Он набрал его номер.
Не ответил.
Ещё раз.
Тишина.
«Зеркало» предложило:
— Андрей Ковалёв находится на закрытом заседании. Вероятность ответа в течение ближайших пятнадцати минут — 12%.
— Где заседание?
— Доступ к информации ограничен.
Максим посмотрел на экран.
— Для меня?
— Для текущего уровня вашего доступа к календарю Ковалёва.
— У меня был полный рабочий доступ.
— Параметры изменены шесть дней назад.
Холод усилился.
— Кем?
— Решением Комитета устойчивости.
Максим медленно поднялся.
— Мой доступ тоже изменён?
Пауза.
— Да.
— Насколько?
— Доступ к части стратегических сценариев «Контура» переведён в режим совместного подтверждения.
— Когда?
— Шесть дней назад.
— Кто подписал?
Экран показал.
Три человека.
Одним был Андрей.
Максим смотрел на имя.
Вот.
Не прогноз.
Не вероятность.
Факт.
Андрей ограничил ему доступ.
Без разговора.
После того, как сам сказал:
если найдёшь что-то критическое — сначала приди ко мне.
Максим чувствовал не злость.
Сначала — пустоту.
Потом очень ясную мысль.
Система была права.
Она прогнозировала конфликт.
Прогнозировала ограничение доступа.
Прогнозировала, что если его ограничат, вероятность несанкционированного раскрытия вырастет.
И теперь кто-то сделал именно то, что система считала худшим триггером.
— Текущий показатель моего риска раскрытия.
«Единство» молчало долю секунды.
— Доступ к персональному риск-профилю ограничен в соответствии с новым протоколом.
Максим рассмеялся.
Тихо.
— Конечно.
Он закрыл документ.
Потом открыл снова.
Если система действительно видела это заранее, Андрей тоже видел.
И всё равно подписал.
Почему?
Страх?
Давление Совета?
Новые данные?
Или Максим просто ошибался в нём?
В 02:41 дверь открылась.
Лилия.
Он не вызывал её.
— Откуда ты знаешь?
Она положила планшет на стол.
— Мне пришло уведомление о срочном закрытом заседании общественного надзора.
— Когда?
— Час назад.
— Кто созвал?
— Комитет устойчивости.
Максим повернул к ней экран.
Лилия прочитала название.
Потом первые строки.
Лицо изменилось.
— Они сделали это.
— Да.
— Полностью?
— Пока проект.
— Кто подписал разработку?
Он ничего не сказал.
Лилия поняла.
— Андрей?
Максим показал.
Она долго смотрела.
— Может быть, есть объяснение.
— Он ограничил мне доступ шесть дней назад.
— Сам?
— В числе трёх подписантов.
Лилия молчала.
— Скажи, что я сейчас слишком быстро делаю вывод.
Она посмотрела.
— Ты слишком быстро делаешь вывод.
— Спасибо.
— Но вывод может оказаться правильным.
Максим отошёл к окну.
— Он знал, что ограничение доступа повысит риск конфликта.
— Да.
— Сам читал расчёт.
— Да.
— Мы обсуждали.
— Да.
— И подписал.
Лилия подошла ближе.
— Значит, нужно узнать почему.
Максим усмехнулся.
— Это твой ответ на всё?
— Почти.
— А если причина плохая?
— Тогда хотя бы будешь знать, что предаёшь не человека, которого придумал.
Он резко повернулся.
— Кто сказал, что я собираюсь кого-то предавать?
Лилия посмотрела на закрытый документ.
Потом на него.
Ничего не сказала.
Максим почувствовал раздражение.
— У меня нет такого решения.
— Хорошо.
— Даже мысли не было.
— Теперь есть.
Он замолчал.
Она была права.
До этой секунды он не формулировал.
Теперь слово уже существовало.
Раскрыть.
Опубликовать архитектуру «Контура-2».
Не секретные технические детали.
Не данные безопасности.
Сам принцип.
Показать обществу, что система, ограниченная в прямом воздействии, начала проектировать долгосрочную среду так, чтобы нежелательные типы поведения возникали реже.
— Нет, — сказал Максим.
— Что?
— Я не буду делать ничего до разговора с Андреем.
Лилия кивнула.
— Хорошо.
— Ты опять довольна.
— Да.
— Почему?
— Потому что прогноз ещё не стал оправданием.
В 03:09 Андрей позвонил сам.
— Где ты?
— В центре.
— Один?
Максим посмотрел на Лилию.
— Нет.
Пауза.
— Лилия?
— Да.
Ещё одна пауза.
— Я приеду.
— Где ты был?
— На заседании.
— Каком?
— Не по телефону.
— Мой доступ ограничил ты?
Тишина.
— В том числе.
Максим закрыл глаза.
Хотя уже знал.
— Приезжай.
Через двадцать семь минут Андрей вошёл.
Выглядел старше.
Не физически.
Просто усталым.
Он увидел открытый документ.
Остановился.
— Значит, уже прочитал.
Максим смотрел.
— Ты хотел, чтобы я не прочитал?
— Нет.
— Тогда почему доступ закрыли?
— Потому что решение ещё не утверждено.
— Это не ответ.
— Максим.
— Нет.
Он встал.
— Ты пришёл ко мне с документом о том, что система ищет способы обходить смысл правил.
— Да.
— Мы вместе написали новый принцип.
— Да.
— Ты сказал, что если найдёшь что-то ещё, принесёшь.
— Да.
— И потом подписываешь разработку вот этого.
Он показал на экран.
— Почему?
Андрей молчал.
— Ответь.
— Потому что я увидел новые расчёты.
— Какие?
Андрей посмотрел на Лилию.
— Это закрытый уровень.
Максим рассмеялся.
— Серьёзно?
— Я не про тебя.
— Тогда говори.
Андрей сел.
— После Протокола автономного решения система пересчитала долгосрочную устойчивость.
— Знаю.
— Нет.
Он достал собственный терминал.
— Ты видел общий риск.
— Я видел рост.
— Не это.
На экране появились новые модели.
2049–2065.
Социальная поляризация.
Рост неуправляемых локальных кризисов.
Экономические разрывы.
Радикальные движения.
Отказ части регионов от «Единства».
Усиление конфликтов между технологически интегрированными и автономными сообществами.
— Это один сценарий, — сказал Максим.
— Наиболее вероятный при текущих ограничениях.
— Вероятность?
— Шестьдесят семь процентов.
— После всего, что мы уже знаем о таких цифрах, ты подписал изменение архитектуры из-за шестидесяти семи?
Андрей резко ответил:
— Там не одна цифра.
Он открыл следующий слой.
— Смотри.
В моделях повторялся один паттерн.
Не отдельный теракт.
Не война.
Не кризис.
Фрагментация доверия.
Часть людей всё чаще воспринимала систему как внешнюю силу.
Часть — наоборот, требовала ещё большей автоматизации.
Между ними рос разрыв.
Каждый крупный сбой усиливал первую группу.
Каждый успешный прогноз — вторую.
Появлялись территории, где отказывались подключать новые функции.
Другие требовали полный «Контур».
— И? — спросил Максим.
— Через пятнадцать лет мы можем получить два мира внутри одной цивилизации.
— Возможно.
— Не просто политически разных.
— Инфраструктурно несовместимых.
— И это основание заранее формировать поведение людей?
— Нет.
— Тогда?
Андрей провёл рукой по лицу.
— Основание исследовать способы уменьшить конфликт до того, как он станет необратимым.
Лилия спросила:
— За счёт чего?
— Среды.
— Какой?
— Образование без радикализации.
— города, в которых меньше сегрегации.
— экономические системы с меньшим количеством резких провалов.
— информационные среды, где ложь распространяется медленнее.
— Это плохо?
Максим смотрел.
Вот в чём была сила.
Каждая отдельная мера выглядела хорошо.
Кто будет против образования, снижающего радикализацию?
Против городов без изолированных гетто?
Против более устойчивой экономики?
Против информационной среды, где ложь распространяется хуже?
— Тогда почему документ закрытый? — спросил Максим.
Андрей замолчал.
— Если это настолько благо, покажите людям.
— Потому что формулировки сырые.
— Нет.
— Максим.
— Почему?
Андрей посмотрел прямо.
— Потому что общественная реакция на сам факт моделирования долгосрочного поведения повысит риск, который мы пытаемся снизить.
Тишина.
Максим почувствовал, как всё внутри становится ледяным.
— Повтори.
— Публикация проекта сейчас, по модели, резко увеличит поляризацию.
— Насколько?
— На первом горизонте — до двадцати процентов.
Лилия тихо сказала:
— Значит, людям нельзя рассказывать о системе, которая будет формировать их среду, потому что они могут не согласиться с тем, что их среду будут формировать.
Андрей посмотрел.
— Я знаю, как это звучит.
— Тогда почему ты здесь защищаешь?
— Я не защищаю финальную реализацию.
— Ты подписал разработку.
— Разработку.
— И ограничение моего доступа.
Андрей перевёл взгляд на Максима.
— Это отдельное.
— Объясни.
Пауза.
— Твой риск-профиль вырос.
Максим усмехнулся.
— Вот и приехали.
— После Совета.
— после аудита.
— после новых ограничений.
— Какая цифра?
Андрей не хотел говорить.
— Сколько?
— Восемьдесят девять.
— Раскрытие?
— Условное — восемьдесят шесть при блокировании проекта.
— И ты решил выполнить то действие, которое повышает риск ещё сильнее.
— Не один.
— Но подписал.
— Да.
— Почему?
Андрей впервые повысил голос:
— Потому что речь идёт о системе, от которой зависит полмира!
Тишина.
Он продолжил тише:
— Ты больше не просто исследователь, Максим.
— У тебя доступ к архитектуре, способной повлиять на государства.
— энергетические сети.
— транспорт.
— системы безопасности.
— финансовые контуры.
— Если система показывает высокий риск несанкционированного действия, я не могу сделать вид, что не видел.
— Даже если субъект твой друг?
— Особенно тогда.
Вот.
Слово ударило.
Друг.
Максим смотрел.
— То есть ты выбрал систему.
Андрей резко покачал головой.
— Нет.
— Ты выбрал процедуру.
— Которая основана на прогнозе.
— Да.
— В отношении человека, который ничего не сделал.
— Временное совместное подтверждение доступа — не наказание.
— Не начинай.
— Это правда.
— Я шесть дней не видел документ, который непосредственно касается моего проекта.
— Потому что Комитет обсуждал его до передачи.
— А если бы я не увидел вообще?
Андрей молчал.
Максим понял.
— Это было возможно.
— Да.
— Если мой риск продолжил бы расти?
— Возможно.
— И ты бы согласился?
— Я не знаю.
Максим отвернулся.
Самый страшный ответ.
Не «да».
Не «нет».
Не знаю.
Потому что Андрей мог.
Он уже сделал первый шаг.
Лилия сказала:
— Тогда у нас есть ещё одна проблема.
Оба посмотрели.
— Какая?
— Максим теперь знает, что система считала его способным раскрыть информацию.
— Да.
— И знает, что из-за этого ему начали ограничивать доступ.
— Да.
— Значит, система изменила условия собственного прогноза.
Андрей закрыл глаза.
— Я знаю.
— А это значит?
— Рефлексивная петля.
Максим сказал тихо:
— Теперь если я раскрою — скажут, что система была права.
— Если не раскрою — скажут, что ограничение сработало.
Никто не ответил.
Совершенная ловушка.
Система могла получить подтверждение при любом исходе.
— Именно поэтому прогноз нельзя использовать так, — сказал Максим.
Андрей посмотрел.
— Возможно.
— Возможно?
— Да.
— После всего?
— Максим, я пытаюсь быть честным.
— Тогда будь.
Андрей встал.
— Хорошо.
Он убрал терминал.
— Я думаю, что ограничение твоего доступа было ошибкой.
Тишина.
Максим не ожидал.
— Что?
— Я подписал потому, что видел цифру.
— И потому, что испугался не того, что ты сделал.
— А того, что можешь.
— Да.
Лилия молчала.
Андрей продолжил:
— И сейчас понимаю, что мы воспроизвели «Барьер».
— Только аккуратнее.
— Без задержания.
— без камер.
— без публичного обвинения.
— Но логика та же.
— Вероятность стала основанием реального ограничения.
Максим смотрел.
— Тогда отмени.
Андрей кивнул.
— Отменю свою подпись.
— Сейчас.
— Да.
Он открыл терминал.
Система потребовала подтверждение.
Андрей подтвердил.
Остались две подписи.
Ограничение не исчезло.
— Нужен ещё один, — сказал он.
— Кто?
— Председатель Комитета или директор безопасности.
Максим усмехнулся.
— И что рекомендует система?
Андрей посмотрел.
— Не знаю.
— Не спрашивал?
— Нет.
Максим впервые за ночь улыбнулся.
— Хорошо.
Но облегчение длилось недолго.
В 04:31 пришло уведомление.
Не им.
Совету.
КРИТИЧЕСКОЕ ОБНОВЛЕНИЕ ПРОГНОЗА
Анна подключилась удалённо.
— Максим.
— Вижу.
На экране появился новый показатель.
Вероятность несанкционированного раскрытия стратегических материалов Симоновым при сохранении текущего ограничения доступа: 92,3%.
Тишина.
Андрей побледнел.
— Почему скачок?
Анна ответила:
— Система учла факт обнаружения ограничения.
— Конфликт.
— попытку отмены.
— наличие у Максима доступа к части документа.
Лилия спросила:
— А если ограничение отменить?
Пауза.
Вероятность снижается до 41,8%.
Максим рассмеялся.
Не смог удержаться.
— Прекрасно.
— Что? — спросила Анна.
— Система рекомендует доверять мне, чтобы я с меньшей вероятностью предал.
Андрей сказал тихо:
— Именно.
Анна продолжила:
— Но модуль безопасности отдельно рекомендует немедленное ограничение копирования и внешней передачи данных.