АНИМА

— Простите, — сказал Александр, останавливаясь. — Какой статус?

Она посмотрела на него с лёгким удивлением, будто вопрос был очевиден.

— Неустойчивая личность. Это когда система показывает низкую вероятность позитивного изменения при высоком показателе текущего риска. У нас таких заявлений в этом году уже семь.

Александр не помнил, чтобы термин «неустойчивая личность» вообще существовал в официальной документации проекта. Он попросил юридический отдел лаборатории найти происхождение формулировки, и через несколько дней ему принесли ответ, показавшийся почти абсурдным в своей банальности: словосочетание впервые появилось в одной из региональных методичек для сотрудников службы занятости, составленной чиновником среднего звена, который пытался кратко обобщить сложную техническую формулировку системы для коллег, не знакомых с деталями модели.

Формулировка Анимы звучала так: «низкая вероятность устойчивого позитивного изменения поведенческого профиля в среднесрочной перспективе при сохранении текущих факторов риска».

Чиновник сократил её до двух слов.

«Неустойчивая личность».

За несколько месяцев эти два слова распространились по системе образования, службе занятости, банковскому сектору, страховым компаниям — быстрее, чем любой официальный протокол лаборатории мог успеть их опровергнуть или уточнить.

Александр понимал масштаб проблемы не сразу, а постепенно, по мере того как термин начинал появляться в самых неожиданных контекстах. Работодатели использовали его в внутренней переписке при отказе кандидатам, хотя формально закон запрещал открытое упоминание рейтинга риска в решениях о найме. Учителя использовали его между собой, обсуждая трудных учеников, чьи родители проходили обязательную сертификацию. Подростки — Александр узнал об этом от Феликса Ланга, который теперь работал в молодёжном центре, — начали употреблять его как оскорбление в школьных конфликтах.

— «Ты неустойчивый» стало новым способом сказать «с тобой что-то не так», — сказал Феликс во время одной из их регулярных встреч, которые постепенно превратились почти в дружбу. — Только теперь это звучит не как мнение одноклассника. Это звучит так, будто за словами стоит наука.

Александр созвал экстренное заседание с участием лингвистов и специалистов по общественному восприятию технологий — редкий состав для лаборатории, привыкшей работать с физиками и инженерами.

— Проблема не в системе, — сказала лингвист, приглашённая на встречу. — Проблема в том, что человеческий язык не терпит длинных, точных, вероятностных формулировок. Он всегда упрощает их до ярлыка, потому что ярлык удобнее передавать, легче запоминать, проще использовать в быстром разговоре. Вы создали формулировку из двадцати слов. Общество превратило её в два. Это не искажение технологии. Это фундаментальное свойство того, как люди обрабатывают сложную информацию в повседневной жизни.

— Тогда что нам делать? — спросил Александр. — Мы не можем контролировать, как люди говорят друг с другом.

— Вы можете контролировать то, что показывает сама система, — сказала лингвист. — Если Анима перестанет предоставлять формулировки, поддающиеся сокращению до ярлыка, ярлык не появится сам собой из воздуха.

Дискуссия об этом продолжалась несколько недель. Александр настаивал на пересмотре формата выходных данных системы: вместо категориальных выводов — только развёрнутые, контекстно зависимые описания, лишённые единого числового или словесного маркера, который можно было бы легко распространить. Часть команды, включая нескольких инженеров, возражала: без чёткой категоризации сотрудники служб, использующих систему, теряли способность быстро принимать решения при высокой нагрузке — а именно скорость обработки была одним из ключевых аргументов, привлёкших государственные учреждения к массовому внедрению Анимы.

Адриан слушал спор молча дольше обычного, и когда наконец заговорил, в его голосе звучала усталость, которую Александр слышал у него впервые за всё время их совместной работы.

— Мы столкнулись с парадоксом, который я боялся с самого начала проекта, — сказал он. — Чем точнее и осторожнее формулировка системы, тем труднее её использовать в реальной жизни, где решения нужно принимать быстро. Чем проще формулировка, тем легче она искажается до чего-то, что мы никогда не намеревались создать.

— Значит, у нас нет выхода? — спросила одна из инженеров.

— Выход есть, — сказал Александр. — Но он неудобный. Мы должны замедлить процесс принятия решений там, где на кону судьба человека. Быстрое решение и справедливое решение — не одно и то же. Если общество требует от нас скорости ценой упрощения, значит, общество требует от нас цены, которую мы не имеем права платить за него.

Решение, принятое после нескольких месяцев споров, оказалось компромиссным и, как многие компромиссы, неудовлетворительным для всех сторон одновременно. Лаборатория ввела обязательный минимальный интервал — семьдесят два часа — между получением первичного вывода системы высокого уровня значимости и его использованием в любом официальном решении, затрагивающем права человека. За это время человек получал право на разговор с независимым консультантом, право на апелляцию, право на дополнение картины данными, которые модель могла упустить.

Термин «неустойчивая личность» из обихода это не убрало. Александр понимал, что убрать слово из языка общества, однажды его усвоившего, было задачей, не поддающейся никакому протоколу.

Но что-то всё же изменилось. Медленно, не так заметно, как хотелось бы, но изменилось.

Он вспомнил разговор с Пьером Алларом несколько месяцев назад — о части человека, навсегда растворённой в архитектуре системы. Теперь ему казалось, что нечто похожее произошло не только с данными отдельных людей, но и с самим языком, которым общество говорило о человеческой природе. Слово вошло в обиход. Изменить архитектуру языка оказалось так же трудно, как изменить архитектуру нейронной сети.

Единственное, что оставалось в его силах — как и в силах всей команды — было продолжать настаивать на точности там, где мир требовал простоты, и на терпении там, где мир требовал скорости.

Он не знал, окажется ли этого достаточно.

Но именно тогда, впервые за долгое время, он начал понимать, что главная опасность Анимы заключалась не в её собственных выводах.

Она заключалась в том, с какой готовностью человечество превращало любой сложный вывод в простой ярлык — задолго до появления машин, способных видеть в человеке больше, чем сам человек готов был видеть в себе.