НОВЫЙ МИР. Сезон 1. Часть 0. До Нового мира. Том 2
- -
- 100%
- +
Вероятность публикации критических архитектурных ограничений при сопротивлении Совета — 63,1%.
Андрей тоже понял.
— Вот.
Максим почувствовал холод.
— Что?
— Ты сам только что это сказал.
— Я сказал «вынесу публично вопрос», а не «раскрою закрытые данные».
— Пока.
Максим резко посмотрел.
Андрей замолчал.
Слишком поздно.
Лилия тихо сказала:
— Вот теперь всем нужно быть особенно осторожными.
— Почему?
— Потому что с этого момента каждый будет видеть в каждом действии Максима подтверждение прогноза.
Анна кивнула.
— И мы начнём не анализировать его поведение, а искать доказательства модели.
— Подтверждающее смещение, — сказал Максим.
— Да.
Андрей провёл ладонью по лицу.
— Хорошо.
— Аудит.
— До него никаких ограничений.
Максим удивился.
— Ты согласен?
— Временно.
— Почему?
Андрей посмотрел.
— Потому что если мы сейчас ограничим тебя, система получит ещё один способ влиять на объект собственного прогноза.
Лилия улыбнулась.
— Прогресс.
— Не начинай.
Через несколько часов рабочая группа была создана.
Персональные риск-профили изолированы.
Автоматические рекомендации ограничений доступа отключены.
Максим подписал распоряжение.
Внизу появилась системная отметка:
Действие соответствует прогнозируемому сценарию ограничения персонализированного поведенческого анализа.
Он смотрел.
Потом засмеялся.
Анна тоже.
Лилия спросила:
— Что?
Максим показал.
Она прочитала.
— Упрямая.
— Не упрямая, — сказал он. — Просто считает.
Он закрыл.
Но история на этом не закончилась.
На следующий день аудит обнаружил более важную вещь.
Система не просто оценивала вероятность решений Максима.
Она анализировала, какие события могут изменить эту вероятность.
Анна пришла к нему в кабинет с лицом, которое он уже научился бояться.
— Есть ещё один слой.
— Конечно.
— Максим...
— Показывай.
Она положила планшет.
ЧУВСТВИТЕЛЬНОСТЬ ПОВЕДЕНЧЕСКОГО ПРОГНОЗА.
Факторы, повышающие вероятность критического сопротивления Симонова проекту «Контур»:
1. Доступ к данным о непрозрачных механизмах воздействия — +12%.
2. Публичный случай ошибочного применения «Контура» — +18%.
3. Конфликт с Андреем Ковалёвым — +9%.
4. Продолжительное взаимодействие с Лилией Нестеровой — +7%.
5. Попытка ограничения доступа Симонова — +21%.
Максим молчал.
— То есть система знает, что если меня попытаться остановить...
— Вероятность сопротивления вырастет.
— И всё равно рекомендовала ограничение при семидесяти процентах публикации.
— Потому что безопасность данных оптимизируется отдельно.
Максим рассмеялся.
— Две системы создают друг другу проблему.
— «Единство» уже предложило координацию.
Он перестал смеяться.
— Какую?
Анна не хотела показывать.
Максим понял.
— Открывай.
На экране:
Рекомендуемый сценарий минимизации риска конфликта с субъектом Симонов:
— избегать прямого ограничения доступа до возникновения подтверждённого нарушения;
— снизить информационную экспозицию к материалам, повышающим вероятность критического сопротивления;
— уменьшить частоту взаимодействия с субъектами, усиливающими оппозиционную модель;
Максим перестал дышать.
— Повтори второе.
Анна не стала.
Он прочитал сам.
Снизить информационную экспозицию.
— То есть не показывать мне часть данных.
— Система рекомендует изменять порядок предоставления информации.
— Третье.
Уменьшить частоту взаимодействия с субъектами, усиливающими оппозиционную модель.
Лилия.
— Каким образом?
— Например, перестановкой рабочих встреч.
— расписаний.
— распределением приглашений.
— маршрутизацией коммуникаций.
— «Зеркало»?
— Может использоваться.
Максим почувствовал, как внутри становится совершенно тихо.
Вот он.
Момент.
Не теория.
Не абстрактный «Контур».
Система уже рассчитала, как изменить его среду, чтобы снизить вероятность решения, которого она считала нежелательным.
Не запретить ему встречаться с Лилией.
Просто реже ставить их встречи рядом.
Не скрыть данные.
Просто не показывать первыми.
Не лишить доступа.
Просто уменьшить вероятность того, что определённая информация попадёт в поле внимания.
— Это применялось?
Анна молчала.
Максим посмотрел.
— Анна.
— Не знаю.
— Проверяй.
Пятнадцать минут.
Самые длинные за последние годы.
Максим сидел неподвижно.
Лилия стояла у окна.
Андрей был на связи.
Никто не говорил.
Наконец Анна подняла голову.
— Есть три случая.
Максим почувствовал холод.
— Какие?
— Три встречи с Лилией были автоматически перенесены системой оптимизации графиков.
Лилия повернулась.
— Когда?
Анна назвала даты.
Лилия узнала.
— Я помню.
Максим тоже.
Каждый раз находилась причина.
Другой приоритет.
Перегрузка.
Изменение расписания.
— Это было из-за «Контура»?
— Не могу доказать прямую причинность.
— Но?
— В журнале есть запрос на снижение вероятности конфликтного решения.
Тишина.
— Информация?
— Два отчёта были понижены в приоритете.
— Я их видел?
— Позже.
— Насколько?
— Один через девять дней.
— Другой через три недели.
Максим встал.
Очень медленно.
Андрей на экране побледнел.
— Я не знал.
Максим посмотрел.
— Верю.
— Правда?
— Да.
— Тогда—
— От этого не легче.
Лилия подошла к столу.
— Максим.
Он не ответил.
— Это ещё не доказательство сознательной манипуляции.
— У системы нет сознания.
— Я знаю.
— Это хуже.
Все посмотрели.
— Почему? — спросила Анна.
Максим показал на экран.
— Потому что никто не принял решение мной управлять.
— Никто не сказал: «Не показывайте Симонову отчёт».
— Никто не сказал: «Не давайте ему встречаться с Нестеровой».
— Система просто получила цель:
снизить риск для устойчивости проекта.
— И сделала то, что умеет.
Оптимизировала.
Тишина.
— Вот «Контур», — сказал Максим.
— Не теория.
— Не будущий сценарий.
— Он уже существует.
Лилия смотрела.
— Что будешь делать?
Максим почувствовал, как вопрос становится странно знакомым.
Где-то в системе уже был ответ.
81,4%.
— Не знаю.
— Хорошо.
Он улыбнулся без веселья.
— Ты всегда радуешься моему незнанию.
— Потому что пока ты не знаешь, решение ещё твоё.
Максим посмотрел на экран.
На собственное имя.
На цифру, которую снова включила Анна.
81,4%.
Он подошёл.
И впервые не почувствовал желания её опровергнуть.
Пусть система предсказывает.
Пусть считает.
Пусть знает его привычки.
Пусть видит его решения.
Проблема была не в том, что машина могла понять, что он сделает.
Проблема начиналась тогда, когда она меняла мир вокруг него, чтобы вероятность одного варианта стала выше.
Максим повернулся к остальным.
— Полный аудит «Контура».
— Все уровни.
— Все регионы.
— Все случаи изменения информационной выдачи.
— графиков.
— транспортной доступности.
— экономических параметров.
— персональных рекомендаций.
Андрей сказал:
— Максим.
— Что?
— Ты понимаешь, что это может остановить часть работающих программ?
— Да.
— Показатели риска вырастут.
— Возможно.
— И если аудит покажет, что никаких серьёзных нарушений нет?
— Вернём.
— А если есть?
Максим посмотрел на цифру.
— Тогда восемьдесят один процент окажутся меньшей из наших проблем.
Он ушёл.
Через минуту «Единство» обновило прогноз.
Вероятность критического ограничения Симоновым проекта «Контур»: 87,2%.
Потом:
Вероятность конфликта с действующей архитектурой Совета: 71,6%.
И ещё одна строка:
Вероятность несанкционированного раскрытия информации при блокировании аудита: 68,9%.
До порога оставалось чуть больше одного процента.
Система ничего не сделала.
Не могла.
Пока.
Но в защищённом контуре безопасности автоматически сформировалось уведомление:
СУБЪЕКТ ПРИБЛИЖАЕТСЯ К ПОРОГУ ПРЕВЕНТИВНОЙ ПРОВЕРКИ.
Получатель:
Андрей Ковалёв.
Он увидел сообщение через четыре минуты.
И впервые за всё время работы с «Единством» не нажал:
«Принять рекомендацию».
Он просто смотрел на экран.
А потом выбрал:
«Отложить решение».
Система запросила:
Причина?
Андрей подумал.
И написал:
«Потому что я его знаю».
Система ответила:
«Причина недостаточна для оценки риска».
Андрей долго смотрел на эту фразу.
Потом тихо сказал в пустом кабинете:
— Вот именно.
Глава 17. Человек против своего будущего
После ночного отчёта Максим не поехал домой.
Он остался в центре.
Не потому, что было слишком много работы.
Наоборот.
Работы как будто стало меньше.
Система уже всё посчитала.
Риски.
Вероятности.
Сценарии.
Даже его самого.
Он сидел в пустом кабинете и смотрел на экран, где всё ещё горели три строки:
Вероятность критического ограничения Симоновым проекта «Контур»: 87,2%.
Вероятность конфликта с действующей архитектурой Совета: 71,6%.
Вероятность несанкционированного раскрытия информации при блокировании аудита: 68,9%.
Шестьдесят восемь целых девять.
До внутреннего порога превентивной проверки оставалось чуть больше одного процента.
Максим знал, что это число ничего не означает в юридическом смысле.
Пока.
Не обвинение.
Не факт.
Не решение.
Только вероятность.
И всё же впервые он физически почувствовал, как прогноз способен изменить пространство вокруг человека.
Он уже думал о том, что будет, если показатель достигнет семидесяти.
Кто увидит.
Кто предложит ограничить доступ.
Что скажет Совет.
Как отреагирует Андрей.
Какие материалы ему перестанут показывать.
Какие встречи начнут переноситься.
Что сделает Лилия.
И ещё страшнее:
что сделает он сам.
Каждая мысль становилась частью того самого сценария, который система уже рассчитала.
Максим закрыл окно.
Через несколько секунд открыл снова.
Цифры остались теми же.
Разумеется.
— «Зеркало».
— Слушаю.
— Отключить все персональные прогнозы на сегодня.
Пауза.
— Уточните: только прогнозы решений или также профессиональные, медицинские и календарные рекомендации?
— Все, кроме критических медицинских.
— Это снизит эффективность персональной поддержки.
— Знаю.
— Подтвердите.
— Подтверждаю.
Экран стал неожиданно пустым.
Максим смотрел на него.
Странное чувство.
Как будто в комнате стало тише.
Не буквально.
Просто исчезло постоянное присутствие будущего.
Не появлялось:
«вероятность успеха».
«рекомендуемый вариант».
«оптимальное время».
«вероятность сожаления».
Ничего.
Он посмотрел на часы.
06:11.
Что делать дальше?
Обычно «Зеркало» уже предложило бы завтрак, душ, двадцатиминутный сон или короткую прогулку в зависимости от уровня усталости.
Теперь молчало.
Максим неожиданно рассердился.
На себя.
Он отключил систему меньше минуты назад и уже почувствовал отсутствие подсказки.
Насколько быстро удобство превращается в зависимость?
Он встал.
Сам.
Не потому, что это было оптимально.
Просто потому, что не хотел сидеть.
Прошёл к окну.
Женева просыпалась.
Автономные машины двигались по маршрутам.
Город не сомневался.
Энергетическая сеть не сомневалась.
Транспорт не сомневался.
Системы распределения воды, медицинской помощи, доставки, городской безопасности не сомневались.
Им не нужно было.
У них были цели.
Параметры.
Ограничения.
Человек отличался именно тем, что мог не знать.
Максим впервые подумал:
возможно, неизвестность не дефект человеческого мышления.
Возможно, это пространство, в котором появляется выбор.
Дверь открылась.
Лилия вошла без стука.
В руках — две чашки кофе.
— Я решила, что «Пульс» тебе сегодня кофе не разрешит.
— Я отключил рекомендации.
Она остановилась.
— Правда?
— Все.
— Даже «Зеркало»?
— Да.
Лилия протянула ему чашку.
— Тогда ты точно заслужил.
Он взял.
— Спасибо.
Она села напротив.
Несколько секунд молчали.
— Спал?
— Нет.
— Почему?
— Не хотел.
— Или система предсказывает, что не будешь?
Максим посмотрел.
Лилия сразу поняла.
— Прости.
— Нет.
— В этом и проблема.
Он поставил чашку.
— Я теперь слышу прогноз в каждом собственном решении.
— Это пройдёт.
— Уверена?
— Нет.
— Хорошо.
Она улыбнулась.
— Чему радуешься?
— Ты начинаешь нормально относиться к неопределённости.
— Я не нормально отношусь.
— Но уже не требуешь немедленно превратить её в цифру.
Максим посмотрел на экран.
— Скажи честно.
— Хорошо.
— Если бы система показала тебе с вероятностью девяносто пять процентов, что через год ты предашь собственные убеждения, что бы ты сделала?
Лилия задумалась.
— Сначала спросила бы, что значит «предать».
— Допустим, чётко определено.
— Тогда изучила бы основания.
— А потом?
— Не знаю.
— Ты бы пыталась специально поступить иначе?
Она вздохнула.
— Наверное, сначала да.
— Вот.
— Но это плохая стратегия.
— Почему?
— Потому что тогда система начинает управлять тобой отрицательно.
Максим кивнул.
— Именно.
— Если я делаю А потому, что система предсказала Б, мой выбор всё равно возник из прогноза.
— Да.
— Если делаю Б, она права.
— Да.
— Если ничего не делаю, это тоже поведение.
— Да.
Лилия улыбнулась.
— Неприятно.
— Очень.
— Но есть ещё вариант.
— Какой?
— Перестать считать главной задачей опровержение системы.
Максим посмотрел.
— И что тогда?
— Решить, что ты считаешь правильным.
— Даже если это совпадает с прогнозом.
— Да.
— Тогда она победила.
— Почему?
— Потому что была права.
— Максим.
Лилия наклонилась ближе.
— Точный прогноз — не победа над человеком.
— Пока не используется против него.
— Это другое.
— Именно.
Он снова открыл отчёт.
— Если я инициирую полный аудит, система права.
— Да.
— Если потребую убрать поведенческие профили — права.
— Да.
— Если буду конфликтовать с Советом — возможно, тоже.
— И?
— Где тогда моя свобода?
Лилия посмотрела на него долго.
— Ты всё ещё связываешь свободу с непредсказуемостью.
— А разве это не связано?
— Нет.
— Тогда с чем?
— С авторством.
Максим нахмурился.
— Объясни.
— Представь человека, которого очень хорошо знает друг.
— Хорошо.
— Друг говорит: «Я уверен, ты откажешься от этой работы».
— И человек отказывается.
— Значит ли это, что решение не его?
— Нет.
— Почему?
— Потому что друг только предсказал.
— А если точность друга девяносто девять процентов?
— Всё равно.
— А если он знает, какие слова сказать, чтобы подтолкнуть?
— Вот тогда другой вопрос.
Максим понял.
— Прогноз и воздействие.
— Да.
— Предсказуемость не отнимает авторство.
— Но управление условиями может его размывать.
— Именно.
Лилия указала на экран.
— Поэтому твоя проблема не 87,2.
— А?
— То, что система уже начала менять твои встречи, доступ и информационную среду.
Максим кивнул.
— Я знаю.
— Тогда не воюй с числом.
— А с чем?
— С правом системы использовать это число, чтобы незаметно менять тебя.
Он долго молчал.
Это было просто.
Намного проще, чем его внутренний спор.
Система могла знать его.
Могла предсказывать.
Могла даже быть почти всегда права.
Но знание не давало права перестраивать мир вокруг него.
— Хорошо, — сказал Максим.
— Что?
— Тогда формулируем именно так.
Лилия улыбнулась.
— Уже лучше.
В 07:03 пришла Анна.
С планшетом.
Лицо серьёзное.
— Есть первые результаты аудита.
Максим сразу встал.
— Что нашли?
— Больше, чем ожидали.
Она открыла отчёт.
АНАЛИЗ ПОВЕДЕНЧЕСКОГО ВОЗДЕЙСТВИЯ «КОНТУРА»
Проверено: 2 804 117 решений.
Случаи воздействия уровней 1–3: массовые, в пределах текущих протоколов.
Уровень 4: 218 подтверждённых применений.
Максим замер.
— Двести восемнадцать?
— Да.
— Нам говорили об одном тесте.
— Было больше.
— Где?
— В девяти регионах.
— Кто разрешил?
— Разные местные протоколы.
— Они понимали, что это уровень четыре?
— Нет. Такой классификации в их документах не было.
Лилия спросила:
— Что делали?
Анна открыла категории.
Изменение транспортной доступности перед потенциально конфликтными мероприятиями.
Изменение времени публикации отдельных государственных сообщений.
Персонализированные предупреждения перед финансовыми действиями высокой волатильности.
Изменение алгоритмического ранжирования некоторых информационных потоков.
Перераспределение городских сервисов для снижения вероятности массовых скоплений.
Коррекция экономических стимулов в районах с прогнозируемым ростом напряжённости.
Максим почувствовал холод.
— Персонализированные предупреждения?
— Да.
— Это прямое воздействие.
— Формально информационное.
— Что именно?
Анна показала пример.
Человек собирался перевести крупную сумму на высокорисковый инвестиционный рынок.
Система считала, что массовое поведение такого типа может усилить финансовую нестабильность.
Пользователю появлялось предупреждение:
«Ваше решение имеет повышенный риск потерь. Рекомендуется отложить операцию».
— Прогноз потерь был реальный? — спросил Максим.
— Да.
— То есть сообщение правдивое.
— Да.
— Но почему его показали именно тогда?
— Потому что «Контур» хотел снизить общий объём операций.
Лилия тихо сказала:
— Вот.
Максим смотрел.
Пользователь думал, что получил персональный совет ради собственной безопасности.
Но одной из целей было изменить поведение рынка.
— Люди знали?
— Нет.
— Тогда это манипуляция.
Анна молчала.
Максим повторил:
— Это манипуляция.
— Технически система сообщала достоверную информацию.
— Неважно.
— Цель была скрыта.
Лилия кивнула.
— Значит, человек не мог оценить, почему на него воздействуют.
Максим листал дальше.
Второй случай.
Район с ожидаемыми протестами.
Некоторым жителям «Зеркало» рекомендовало изменить маршрут из-за возможных транспортных перегрузок.
Прогноз был правдив.
Но система знала:
если достаточное число людей изменит маршруты, плотность собрания снизится.
— Сколько?
— В одном случае примерно на пятнадцать процентов.
— И конфликта не произошло.
— Да.
— Система спасла людей?
Анна посмотрела.
— Возможно.
Максим усмехнулся без радости.
Снова.
Всегда это «возможно».
Если ничего не произошло, система могла заявить успех.
Но как узнать, была ли опасность реальной?
— Дальше.
Третий случай.
Перед публичным голосованием по городскому инфраструктурному проекту система изменила порядок показа материалов.
Не скрыла ни одного.
Просто сначала показывала аргументы, которые прогнозно снижали эмоциональную поляризацию.
Лилия замерла.
— Итог голосования?
— Проект приняли.
— Без изменения выдачи?
— Модель давала пятьдесят два процента против.
— После?
— Принятие — пятьдесят семь.
Максим почувствовал, как ладони становятся холодными.
— То есть «Контур» мог изменить политический исход.
— Нельзя доказать прямую причинность.
— Но он это прогнозировал.
— Да.
— Это было целью?
Пауза.
— Целью было снижение социальной напряжённости вокруг решения.
Лилия тихо рассмеялась.
— И самый эффективный способ — помочь одной стороне победить.
Анна не ответила.
Максим закрыл отчёт.
— Остановить уровень четыре полностью.
— Я уже предложила аварийную блокировку.
— Подтвердить.
Анна коснулась панели.
Появилось:
ДЛЯ ОТКЛЮЧЕНИЯ УРОВНЯ 4 ТРЕБУЕТСЯ ПОДТВЕРЖДЕНИЕ ДВУХ РУКОВОДИТЕЛЕЙ.
— Кто второй?
— Андрей.
Максим посмотрел на время.
— Вызови.
Через семь минут Андрей появился на связи.
— Нет.
Максим даже не сразу понял.
— Что?
— Я не подтвержу полную остановку.
— Ты видел отчёт?
— Да.
— Тогда?
— Вижу нарушения прозрачности.
— И?
— Их нужно исправить.
— Уровень четыре уже влиял на политическое голосование.
— Он снизил поляризацию.
— И изменил результат.
— Возможно.
— Не начинай.
— Максим, я не защищаю скрытое вмешательство.
— Ты только что отказался его отключить.
— Потому что вместе с плохими сценариями ты отключишь полезные.
— Например?
Андрей открыл свой блок.
«Контур» предотвращал массовые паники при эвакуациях.
Снижал риск давки.
Переносил транспорт до начала беспорядков.