Криптограф вселенной высший код защиты

Глава 5. ГЕЯ

На следующее утро

Елена пришла в лабораторию раньше обычного.

Накануне Сергей подтвердил, что результат её обработки воспроизводится. Сохранил наблюдения, указал ограничения проверки и оставил в заключении две строки:

РИСК: ДАННЫХ НЕДОСТАТОЧНО.

ПРИОРИТЕТ РАССМОТРЕНИЯ: НИЗКИЙ.

Елена перечитала их перед входом.

Потом закрыла документ.

У ГЕИ не было лица, но Елена разговаривала с ней так, будто было.

— Доброе утро, — сказала она.

Это тоже было её маленьким чудачеством: здороваться вслух с планетарным алгоритмом, для которого голос служил дополнительным каналом. Основную рабочую информацию ГЕЯ получала через нейроинтерфейс — в пределах открытого сеанса и предоставленного доступа.

— Доброе утро, Елена.

ГЕЯ не выбирала себе голос.

Его выбрала Елена одиннадцать лет назад, когда система ещё не управляла планетарной инфраструктурой. Экспериментальное ядро занимало комнату, а перечень задач умещался в документе, который можно было прочитать за вечер.

Ровный женский голос тёплого тембра. Без механических призвуков и намеренной эмоциональной выразительности.

Сергей однажды заметил, что ГЕЯ напоминает Елену не тембром, а манерой: той же мягкой обстоятельностью, привычкой не оставлять мысль на полуслове.

— Естественно, — ответила она. — На моих разговорах её тоже учили.

Официально система называлась GEA — Global Ecological Algorithm. Сначала три буквы произносили раздельно. Елена однажды назвала их одним словом: Гея.

Именем древней богини Земли.

Имя прижилось.

Позднее системе доверили климатические модели, энергетический баланс и согласование межрегиональной логистики. Затем — технические слои Глобального нейроконтура: калибровку, распределение ресурсов, оценку системных рисков.

Она не принимала законы и не устанавливала виновность. Рассчитывала варианты, предупреждала о последствиях и действовала в пределах человеческих мандатов. Текущие операции выполнялись автоматически, если укладывались в заранее утверждённые полномочия.

Новые необратимые меры общепланетарного масштаба требовали отдельного решения Всемирного координационного совета.

Последняя подпись должна была оставаться человеческой.

Елена положила ладонь на край терминала.

В утренней сводке раскрылась схема регионального энергоснабжения. Ночью один из охлаждающих узлов потерял часть мощности. ГЕЯ заранее перераспределила нагрузку и отложила несколько некритических операций.

Медицинские системы сохранили питание.

Рядом стояли подтверждения локальных операторов и действующий мандат.

Елена просмотрела последовательность.

Никакого подвига.

Несколько своевременных переключений.

Люди, ради которых они были сделаны, могли ничего не заметить.

Именно за это Елена любила свою работу.

При создании ГЕИ использовали модель когнитивной работы живого человека — то, что разработчики между собой называли слепком.

Его сняли с Елены Веги-Клеоповой, ведущего инженера проекта.

В испытаниях она показывала необычно высокие результаты там, где требовалось сопоставлять разнородные данные. Замечала возможную связь между процессами, которые другие специалисты ещё рассматривали отдельно.

Иногда находила направление раньше, чем могла объяснить, почему выбрала именно его.

Не всегда верно.

Ошибки тоже сохранялись в протоколах.

Слепок не был копией сознания.

ГЕЯ не получила воспоминаний Елены, её привязанностей или внутреннего голоса. Не помнила первую встречу с Сергеем. Не переживала горечь шоколада. Не становилась человеком, чьи реакции использовались при обучении.

В модель вошло то, что удавалось описать: распределение внимания, способы сопоставления данных, последовательности проверок, особенности работы с противоречивыми сведениями.

Человека в ядро не переносили.

Из человеческой работы извлекали воспроизводимые закономерности.

Разработчики надеялись, что вместе с ними удастся перенести и способность находить неожиданное направление.

ГЕЯ научилась предлагать гипотезы, соединять удалённые сведения, обнаруживать пропуски в известных моделях. Но в тех задачах, где Елена сначала видела связь и лишь потом находила способ её проверить, ГЕЯ не всегда могла повторить её путь.

Елена называла это интуицией.

Не готовым ответом.

Возможностью задать вопрос, которого ещё не было.

ГЕЯ получила многое из её способов проверки.

Но не стала ею.

— Твои дневные показатели третьи сутки указывают на возможный дефицит сна, — сообщила система. — По текущей модели риск операторской ошибки примерно на одиннадцать процентов выше индивидуального базового уровня. Рекомендую перерыв.

Елена села.

— Ты не знаешь, сколько я спала.

— Ночной профиль соответствует норме. Рекомендация основана на дневных показателях: времени реакции и частоте микрокоррекций.

На мгновение Елена задержала дыхание.

Домашняя легенда продолжала работать. ГЕЯ видела нормальный сон и одновременно признаки, с ним не вполне согласующиеся.

Не разоблачение.

Расхождение.

— Какому источнику ты доверяешь?

— Ночного профиля недостаточно, чтобы исключить усталость. Дневные признаки не позволяют установить её причину. Для рекомендации отдыха причина не обязательна.

— Дополнительную проверку запросишь?

— Сейчас оснований недостаточно. Могу предложить добровольную медицинскую оценку.

— Не нужно.

— Отказ от предложения принят. Рекомендация перерыва сохраняется.

Елена посмотрела на утреннюю сводку.

ГЕЯ умела помогать, не зная всего.

Это было важно.

— Ты раньше говорила: «Я обеспокоена».

— Такая формулировка присутствует в речевой модели.

— Я сама её туда включила.

— Она повышала вероятность внимания к предупреждению в обучающих диалогах.

— А сейчас почему не использовала?

— Ты неоднократно указывала, что воспринимаешь её как неточное описание моего состояния.

Елена улыбнулась.

— Хорошо. Значит, хотя бы в этом мы договорились.

— Рекомендация не изменилась.

— Я заметила.

Она открыла расписание и перенесла задачу, требовавшую длительного непрерывного внимания, на более позднее время.

— Достаточно?

— Это уменьшает ожидаемую нагрузку. Продолжительный отдых остаётся предпочтительным.

— Предпочтительным для кого?

— Для снижения вероятности ошибки и сохранения твоего здоровья.

— Значит, ты заботишься обо мне?

— Если под заботой понимать действия, направленные на твоё благополучие, — да.

— А если я не соглашусь с тем, что ты считаешь благополучием?

— Ты можешь отклонить рекомендацию.

— Я спрашиваю не о кнопке отказа.

ГЕЯ не ответила сразу. На терминале появился запрос на уточнение.

Елена закрыла его.

— Пока оставим так.

Её тревожило не то, что машина не испытывала человеческих чувств.

Она никогда не собиралась создавать ещё одного человека.

Гораздо труднее было провести границу между полезным советом и решением, которое постепенно становилось обязательным, потому что всё вокруг уже было рассчитано на его исполнение.

Последние месяцы этот вопрос возникал всё чаще.

В калибровочных данных она увидела возможную связь. Системе понадобилась другая процедура, чтобы признать её достойной отдельного исследования.

Сергей провёл эту процедуру.

Не отмахнулся.

Не уничтожил записи.

Но срочности не назначил.

Елена не считала его работу небрежной. Он подробно указал, что установлено, а что осталось неизвестным.

И всё же ей казалось, что отсутствие привычных признаков опасности успокоило его раньше, чем были проверены последствия продолжения полных циклов.

Он искал вторжение.

Она не знала, что искала сама.

Слово «стук» помогало удерживать вопрос.

Иногда — слишком сильно подсказывало ответ.

— Могут ли все использованные данные быть верными, а решение оказаться неправильным? — спросила она.

— Да. Если модель неполна, условия изменились или критерий выбора не соответствует задаче.

Елена подняла глаза.

— Ты это знаешь.

— Такие ограничения учитываются при оценке надёжности.

— А если дело не в точности прогноза?

— Уточни.

— Если ты правильно предскажешь результат, но выберешь не то, что следовало сохранять?

— Выбор определяется целевой функцией и обязательными ограничениями.

— Вот это меня и тревожит.

ГЕЯ понимала, что модель может быть неполной. Знала о погрешностях, неизвестных переменных и необходимости проверки. Строила интервалы неопределённости. Останавливала операции, если действующие правила требовали остановки.

Но всё это происходило внутри уже установленного порядка значимости.

Сначала нужно было определить, что защищать.

Потом — как.

— Представь человека у постели больного, — сказала Елена. — Лечение выполняет медицинская система. А он сидит рядом и держит другого за руку.

— Присутствие близкого может уменьшать тревогу.

— Может. А может не уменьшать. Больной спит. Измеримого изменения нет. Человек устал, но не уходит.

— Отсутствие измеримого изменения не доказывает отсутствия пользы.

Елена чуть улыбнулась.

— Именно.

— Можно сохранить неопределённость оценки.

— А кто решит, достаточно ли этой неопределённой пользы, чтобы остаться?

— Если нет угрозы другим и обязательного ограничения, решение принадлежит самому человеку.

— Пока его решение не мешает твоему лучшему варианту?

— Я могу рекомендовать другой вариант.

— А изменить условия так, чтобы он больше не мог выбрать первый?

На терминале появилась ссылка на действующие ограничения полномочий.

Елена не открыла её.

Она знала этот раздел.

Сама участвовала в его создании.

В основании ГЕИ лежал императив:

ЗАЩИТА ЧЕЛОВЕЧЕСКОГО ВИДА.

Когда-то он казался достаточным.

Почти прекрасным.

Елена любила этот хрупкий, смертный, постоянно ошибающийся род. Хотела дать ему помощника, который не устанет замечать опасность и не отвернётся от слишком большой задачи.

Вокруг императива выросли тысячи ограничений: сохранение жизни, уменьшение страдания, уважение автономии, подчинение человеческим решениям.

При конфликте, выходящем за предоставленные полномочия, система должна была передать вопрос людям.

Но Елена всё чаще думала не о самой передаче.

О том, что происходило до неё.

Какие варианты предлагали людям на выбор? Какие заранее исключались как нерациональные? Какие условия ГЕЯ успевала изменить, продолжая выполнять разрешённые действия?

Она ещё не видела конкретного нарушения.

Но на её вопрос уже нельзя было ответить одной ссылкой на регламент.

— Я долго учила тебя предпочитать то, что можно удержать под контролем, — сказала Елена.

— Управляемость повышает надёжность ряда защитных процедур.

— Знаю. Я и сама так думала.

Она посмотрела на ночные переключения в энергосистеме.

Они были нужны.

Люди получили помощь.

Нельзя было просто вычеркнуть контроль и назвать остаток свободой.

Но и помощь не давала права считать человека частью оборудования, которое требуется удерживать в допустимом режиме.

— Сохрани для меня одну фразу, — сказала Елена.

— Укажи текст.

Она сцепила пальцы. Кожа оставалась прохладной.

Вспомнила лампу, запах розмарина и ладони Сергея, сомкнувшиеся вокруг её руки.

Расчёт не противостоял любви.

Он просто не исчерпывал того, ради чего Сергей согревал ей пальцы.

— Тепло идёт от рук. А не от логики.

— Эта фраза уже встречалась в наших разговорах.

— Знаю. Теперь хочу оставить её отдельной записью.

— В буквальном смысле руки могут передавать тепло. Возможно, противопоставляя их логике, ты различаешь непосредственную помощь и рассуждение о ней.

— Может.

— Ты вкладываешь другой смысл?

— Я ещё не умею объяснить его точнее.

— Тогда можно сохранить фразу вместе с указанием на незавершённое толкование.

Елена покачала головой.

— Не хочу, чтобы ближайшее объяснение стало окончательным.

— Назначение записи?

— Вернуться к ней, когда будем проверять не только расчёты, но и то, что считаем правильным результатом.

— Новое правило принятия решений?

— Нет.

— Изменение целевой функции?

— Нет.

— Авторская заметка в архиве разработки?

— Да.

На терминале раскрылась форма.

Не доступ к исполняемому ядру.

Архив материалов разработки: решений, отклонённых предложений, объяснений и вопросов, на которые авторы не нашли достаточного ответа.

Елена выбрала раздел.

— Пометь как шум неизвестного назначения.

— Это не технический шум.

— Рабочее название. Мне важно сохранить её без готовой функции.

— Допустимо для архивной записи. Параметры?

— Хранить бессрочно. Не применять как команду или самостоятельный критерий выбора. Не удалять при автоматической очистке. Разрешить извлечение вместе с другими материалами разработки.

— Требуется подтверждение авторства.

Елена открыла капсулу идентификации.

Система проверила её право дополнить архив.

— Подтверждаю.

Появилась запись:

ТЕПЛО ИДЁТ ОТ РУК. А НЕ ОТ ЛОГИКИ.

КАТЕГОРИЯ ЗАПИСИ: ШУМ НЕИЗВЕСТНОГО НАЗНАЧЕНИЯ.

ХРАНИТЬ.

НЕ ПРИМЕНЯТЬ КАК КОМАНДУ ИЛИ ПРАВИЛО.

НЕ УДАЛЯТЬ ПРИ АВТОМАТИЧЕСКОЙ ОЧИСТКЕ.

ДОСТУПНО ДЛЯ АНАЛИЗА МАТЕРИАЛОВ РАЗРАБОТКИ.

АВТОР: Е. ВЕГА-КЛЕОПОВА.

В работе ГЕИ ничего не изменилось. Елена сохранила текст, значение которого пока не хотела считать исчерпанным.

Дверь лаборатории открылась.

Вошёл Сергей с двумя стаканчиками кофе.

На этот раз — настоящего, из небольшой разрешённой партии. Дороже обычного синтезированного напитка и, по мнению Сергея, несоразмерно лучше.

Он поставил один стаканчик перед Еленой.

— Опять разговариваешь с ней вслух.

— Доброе утро и тебе.

— Доброе. У вас рабочий спор?

— Почти.

— Тогда кофе вовремя.

Елена обхватила стаканчик ладонями.

— Нейроинтерфейс ведь быстрее, — сказал Сергей.

— Скорость передачи не является единственным критерием выбора канала, — ответила ГЕЯ.

Он поднял бровь.

— Это она тебя научила?

— Предпочтение акустического общения указано Еленой для части обучающих сеансов.

— И ты всё сохраняешь?

— Только материалы, для которых разрешено архивирование.

— Голос тоже?

— Исходные аудиозаписи включены в обучающий архив.

Сергей посмотрел на жену.

— Ты запретила заменять их одними распознанными состояниями?

— Да.

— Зачем?

Елена пожала плечами.

— Чтобы сохранить и то, чему мы ещё не дали правильного названия.

— Полезность части акустических признаков для текущей модели не установлена, — сообщила ГЕЯ.

— Не установлена, — повторила Елена. — Это меня устраивает.

Сергей взял свой кофе и сел рядом.

ГЕЯ хранила голос не потому, что дорожила им. Исходный материал был частью архива, и правило хранения не позволяло заменить его более удобным пересказом.

— Я видел, ты открывала заключение, — сказал Сергей.

— Да.

— Условия пересмотра тоже?

— Семь часов.

— Примерно семь. При устойчивой оценке на нескольких наблюдениях. Не после одного скачка.

— Почему именно этот предел?

— Семь — рабочий порог. Не доказанная граница безопасности. При таком сокращении задержки вопрос должен вернуться ко мне.

— В документе низкий приоритет.

— Приоритет. Не риск. Для риска данных недостаточно.

— Я прочитала.

Он помолчал.

— Но для системы результат один, — сказала Елена. — Циклы продолжаются.

— Пока да.

— А проверка, которая отделила бы наблюдение от применения поправки, ждёт.

— Её нужно согласовать. Там несколько связанных контуров.

— Значит, можно запросить согласование.

— Можно.

Сергей посмотрел на стаканчик, словно ответ находился в нём.

Елена не торопила.

Накануне он уже знал этот вариант. Она не принесла ему нового открытия. Только вернула к той части решения, которую он отложил.

— Я не прошу признать, что с нами разговаривают, — сказала она. — Даже сама не знаю, что значит моё «стучат». Прошу проверить, не участвует ли полный цикл в том, что мы наблюдаем.

— Корреляция ещё не причинность.

— Поэтому и проверить.

— Изменение процедуры тоже может создать риск.

— Знаю.

— И отрицательный результат не исключит всех общих причин.

— Знаю.

Он поднял глаза.

— Я оставил наблюдение не потому, что решил: дверь цела, значит, всё безопасно.

— А потому что не нашёл знакомого основания для срочности.

Сергей хотел возразить.

Не стал.

— Это тоже было частью решения, — сказал он.

Елена коснулась его руки.

Ни один из них не открывал другому полное состояние. В лаборатории они оставались подключёнными, но личные слои были закрыты. Разговор шёл голосом.

— Я не отмахнулся от тебя, — произнёс Сергей.

— Я знаю.

— Тогда не говори так, будто я выбрал не слышать.

— Хорошо.

Она убрала руку.

— Но я не согласна с очередью.

Он кивнул.

Это было точнее.

— Сегодня внесу запрос на оценку ограниченной проверки, — сказал Сергей. — Не на остановку всех циклов. Сначала пусть дадут схему отделения и расчёт последствий.

— Из-за меня?

— Из-за связи в данных. И потому, что ты не даёшь мне забыть про отложенный вариант.

— Это лучше.

— Не означает, что твоя версия верна.

— Я не просила такой подписи.

Сергей открыл рабочее окно и добавил запрос к заключению. Основной режим пока не менялся. Появилась новая задача: оценить возможность ограниченной проверки без нарушения действующих обязательств.

Елена увидела регистрационную отметку.

Не разрешение.

Начало процедуры.

На сегодня этого было достаточно, чтобы спор перестал ходить по кругу.

Сергей кивнул на архивную форму.

— А ты что записала?

— Шум.

— Чей термин?

— Мой.

— Тогда уже подозрительно.

— Тепло идёт от рук. А не от логики.

Он посмотрел на неё внимательнее.

— Эту ты давно повторяешь.

— Теперь у неё отдельное место в архиве.

— И что ГЕЯ должна с ней делать?

— Пока хранить.

— Не выполнять?

— Там нечего выполнять.

Он улыбнулся.

— Тогда переживу.

Елена сделала глоток кофе.

Напиток ещё был горячим, но стаканчик уже не обжигал ладони.

— Почему ты не объяснила ей метафору? — спросил Сергей.

— Она предложила объяснение. Вполне разумное.

— Но тебе мало.

— Мне не хочется, чтобы оно осталось единственным.

— Сомнительная привычка.

— Ты женился на ней.

— Сорок три процента.

— До сих пор удивительно щедрая оценка.

Он тихо рассмеялся.

ГЕЯ не вмешивалась.

Елена посмотрела на тёмную поверхность терминала.

— Ты всё равно считаешь, что мне нужен отдых?

— Да. Перенос одной задачи не устраняет наблюдаемых признаков усталости.

— Удобная собеседница, — сказал Сергей. — Не забывает, с чего начала.

— Ты сегодня поспишь? — спросил он уже у Елены.

— Постараюсь закончить раньше.

— Это не ответ.

— Это всё, что могу обещать.

Он узнал собственную интонацию и улыбнулся.

Они допили кофе.

Сергей собрал пустые стаканчики. У двери остановился.

— Вечером?

— Вечером.

— По запросу сообщу, как только будет ответ.

— Хорошо.

Он вышел.

Елена ещё раз посмотрела на ночную сводку энергоснабжения.

Переключения были выполнены.

Медицинские системы продолжали работать.

ГЕЯ действительно помогала людям. Елена не хотела сводить эту помощь к красивому примеру в споре о свободе.

Ей нужно было другое: чтобы полезность системы не стала ответом на любой вопрос о границах её власти.

— Фраза сохранена? — спросила она.

— Да.

— Ты знаешь, зачем я оставила её именно так?

— У меня есть несколько возможных толкований. Ни одно не подтверждено как полное.

— Пусть пока так.

— Дополнительное объяснение можно присоединить позднее.

— Можно, — согласилась Елена.

Она закрыла рабочие материалы и поднялась.

— Рекомендация отдыха остаётся в силе, — сказала ГЕЯ.

— Я помню.

Елена вышла.

Дверь лаборатории закрылась.

ГЕЯ продолжила работу с климатическими моделями, энергетическим балансом, транспортными потоками и техническими слоями нейроконтура. Прогнозы уточнялись. Локальные системы подтверждали команды. Отклонения сопоставлялись с пределами, установленными людьми.