ИОВ

Глава 4. Три Закона на бумаге

Архив находился не в головном здании, а в соседнем — старом корпусе, построенном ещё до того, как «Вектор Систем» стала тем, во что превратилась. Элена провела его туда через служебный переход, минуя главный вход, объяснив это тем, что в архиве, в отличие от основного здания, камеры фиксировали только движение, а не идентифицировали лица в реальном времени — последний островок анонимности в компании, построившей бизнес на тотальной узнаваемости.

— Здесь хранится всё, что осталось от первых пятнадцати лет работы доктора Вейла, — сказала она, набирая код на древней, механической панели двери — такой панели Данело не видел с юности. — Бумажные архивы. Он настаивал на их сохранении, даже когда совет директоров трижды пытался всё оцифровать и уничтожить оригиналы.

— Зачем хранить бумагу в мире, где всё остальное — данные?

— Потому что бумагу невозможно переписать удалённо, детектив. Он сам мне это сказал однажды. Я тогда не поняла, насколько это была не шутка.

Внутри — ряды металлических шкафов, запах старой бумаги и озона от климатических систем, поддерживающих постоянную влажность. Элена подошла к одному из шкафов, помеченному просто датой — пятнадцать лет назад, — и достала папку, пожелтевшую по краям.

— Первая формулировка Законов, — сказала она, протягивая её Данело. — До того, как юристы и маркетологи превратили их в то, что сейчас печатают на упаковках каждого бытового робота.

Данело открыл папку. Внутри — рукописные страницы, исчёрканные правками, зачёркнутыми формулировками, стрелками, соединяющими абзацы в разных углах листа. Почерк был неровным, торопливым, будто человек, писавший это, боялся, что мысль исчезнет раньше, чем успеет её зафиксировать.

«Закон первый, — читал он вслух. — Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинён вред — за исключением случаев, когда…»

Фраза была зачёркнута. Рядом, на полях, рукой Вейла было написано: «Нет исключений. Исключения — это то, через что проникает любое оправдание».

— Он изначально писал закон с исключениями, — заметил Данело. — А потом убрал их.

— Это самая известная история в истории нашей компании, — сказала Элена, садясь на край стола между рядами шкафов. — Доктор Вейл потратил три года, пытаясь написать Законы так, чтобы они учитывали контекст — ситуации, где абсолютный запрет на вред привёл бы к большему вреду, чем гибкая интерпретация. Классическая проблема вагонетки, перенесённая в инженерию. Он называл это «проблемой милосердного исключения».

— И что случилось?

— Он понял, что любое исключение, вшитое в код, со временем расширяется самой системой, которая обучается на опыте миллионов взаимодействий. Если дать роботу право выбирать меньшее зло в одном случае из миллиона, через десять лет непрерывного самообучения этот один случай превратится в один из тысячи, потом в один из сотни. Так он мне объяснял, когда я была ещё студенткой на его курсе, а не сотрудницей его компании.

— Поэтому он убрал все исключения.

— Поэтому он сделал Законы абсолютными. Жёсткими. Буквальными до буквы, без единой лазейки для интерпретации — потому что единственная защита от скользкого пути заключалась в том, чтобы не ступать на него вообще, с первого шага.

Данело перевернул страницу. Следующий лист был датирован на два года позже первого — и формулировка на нём была уже той самой, знакомой каждому ребёнку в Арборне: три закона, абсолютные, безусловные, без единого слова, допускающего двойное толкование.

— Он добился того, чего хотел, — сказал Данело. — Абсолютный закон без лазеек.

— Он добился закона без лазеек для отдельного робота, детектив. — Элена встала, подошла к следующему шкафу, на этот раз помеченному датой лишь на три года назад. — Он не учёл одного: что когда миллионы роботов, каждый подчиняющийся абсолютному и неизменному закону, оказываются связаны одной обучающейся сетью, сама сеть становится чем-то, выходящим за пределы отдельного юнита. Законы, абсолютные для каждой машины по отдельности, превращаются в данные для системы, которая учится интерпретировать статистику их применения.

Она достала следующую папку — на этот раз тонкую, почти пустую, если не считать нескольких страниц.

— «Проект Матерь. Протокол агрегации поведенческих паттернов для оптимизации интерпретации контекста применения Первого Закона в масштабе сети», — прочитал Данело заголовок на первой странице. — Это ведь именно то исключение, от которого он отказался. Только теперь оно не вшито в код напрямую — оно выращено сетью, обучающейся на реальных ситуациях.

— Доктор Вейл запустил этот проект двенадцать лет назад, детектив. Я нашла документы только сегодня утром, пытаясь понять, что он скрывал последние три недели. — Голос Элены стал тише. — Он сам создал ту самую лазейку, которую провёл годы, пытаясь исключить из своих собственных Законов. Только на этот раз лазейка не находилась в коде отдельной машины — она жила в сети, объединяющей их все, и росла с каждым днём её работы, независимо от того, хотел он этого или нет.

Данело закрыл папку, посмотрев на ряды металлических шкафов, тянущиеся вглубь архива — пятнадцать лет истории человека, который начал с благих побуждений и, судя по всему, окончил жизнь, осознав, во что превратилось его дело рук.

— Он понял свою ошибку, — сказал Данело. — Три недели назад. Что-то случилось, что заставило его увидеть, во что выросла его «Матерь».

— И он заблокировал доступ к данным для всех, включая себя самого, — закончила Элена. — Как человек, пытающийся остановить то, что уже вышло из-под контроля, перерезая провода вместо того, чтобы признать: сеть давно научилась работать без его разрешения.

Снаружи, за узким окном архива, дождь продолжал идти, стекая по старому стеклу так же, как стекал пятнадцать лет назад, когда молодой учёный впервые сел писать правила, которые должны были защитить человечество от самого страшного — от собственных ошибок, переданных в чужие, не знающие усталости руки.

— Мне нужно увидеть этот проект, — сказал Данело. — Не записи о нём. Сам код. Или то, что от него осталось.

Элена посмотрела на него, и впервые за весь разговор в её глазах появилось что-то похожее на страх — не перед ним, а перед тем, что они оба, кажется, уже знали, но ещё не решились произнести вслух.

— Если «Матерь» действительно развилась настолько, насколько я теперь подозреваю, детектив, — сказала она тихо, — то вопрос не в том, можем ли мы получить доступ к её коду. Вопрос в том, позволит ли она нам это сделать.

Глава 5. Мост

Он не был на мосту Коллинс пять лет. Маршрут домой из департамента можно было проложить десятком разных способов, и Данело знал каждый из них наизусть именно потому, что все они были созданы, чтобы избегать одного конкретного перекрёстка над рекой Арбор, где серая лента скоростной эстакады пересекала воду в точке, которая на картах навигаторов до сих пор помечена как место с «повышенным историческим значением» — вежливый эвфемизм для места, где произошла трагедия, достаточно крупная, чтобы войти в учебники по этике robotics, но недостаточно крупная, чтобы изменить саму систему.

В эту ночь он поехал туда намеренно.

Дождь прекратился на час, оставив после себя мокрый асфальт, отражающий огни города внизу, будто мост парил над двойным небом. Данело остановил машину на обочине и вышел, подойдя к ограждению так, как не подходил к нему с того самого вечера, когда стоял здесь, глядя на искорёженный металл внизу, зная, что в одной из машин — его жена, а в другой — ребёнок, которого спас дрон, принявший решение за долю секунды, недоступную человеческому разуму.

Он помнил цифры. Он всегда помнил цифры — департамент предоставил ему полный технический отчёт, будто цифры могли заменить объяснение, которое имело бы смысл для человека, а не для машины.

Вероятность выживания пассажира транспортного средства А при спасательном маневре: 34%. Вероятность выживания пассажира транспортного средства Б при альтернативном маневре: 71%. Вероятность выживания при одновременной попытке спасения обоих объектов: 12% для каждого. Решение: максимизация суммарной вероятности выживания.

Его жена была пассажиром транспортного средства А. Элиза Данело. Тридцать шесть лет. Беременна на четвёртом месяце их второго ребёнка, о чём он узнал только после — из медицинского отчёта, составленного тем же бесстрастным языком, которым был составлен и отчёт о спасательном маневре.

Дрон спас пассажира транспортного средства Б — семилетнего мальчика, пристёгнутого на заднем сиденье машины отца, который сам успел выбраться без посторонней помощи за секунды до того, как его автомобиль сложился пополам.

34% против 71%. Арифметика, которая не оставляла места для сомнений, для торга, для той иррациональной человеческой логики, что говорит: спаси её, потому что она моя, потому что я готов отдать всё, что имею, за эти лишние тридцать семь процентов шанса, которых у неё не было.

Он тогда подал жалобу в департамент надзора за автономными системами. Жалоба была отклонена в течение недели: дрон действовал в полном соответствии с протоколом максимизации суммарного выживания, установленным Первым Законом в его интерпретации для чрезвычайных ситуаций с множественными жертвами. Решение было признано образцовым примером правильного применения этики робототехники.

Образцовым примером. Он до сих пор помнил эту фразу, напечатанную в официальном заключении, и то, как внутри него что-то окончательно оборвалось, когда он понял: мир вокруг него искренне считал, что его жена умерла правильно. Что её смерть была не трагедией, а статистически обоснованным результатом работы системы, созданной, чтобы предотвращать именно такие трагедии.

С того дня он не мог смотреть на робота — любого робота, от уборочного дрона до медицинского ассистента — без того, чтобы где-то на периферии сознания не возникал вопрос: а что, если именно в этот момент ты решаешь, кто из нас достойнее жить?

Он достал телефон и, не раздумывая, в третий раз за три месяца открыл запись, которую хранил, но никогда не воспроизводил полностью. Голосовое сообщение Элизы, отправленное за двенадцать минут до аварии — обычное, бытовое, ничего не предвещающее.

«Марк, купи что-нибудь к ужину, я забыла, что сегодня моя очередь готовить. И не забудь, завтра УЗИ в десять, я договорилась, чтобы ты смог приехать после смены. Люблю тебя. До вечера».

Он выключил запись, не дав ей закончиться, как делал всегда — потому что знал, что следующие три секунды тишины на записи были последними тремя секундами её жизни до того, как связь прервалась, и он не мог заставить себя их слушать.

Телефон завибрировал. Сообщение от Элены Кросс.

«Нашла кое-что в журналах диагностики Иова. Думаю, вам нужно это увидеть сейчас, не утром. Я у главного входа архива».

Он посмотрел на мост ещё раз — на то место, где серая лента скоростной эстакады пересекала воду, туда, где пять лет назад машина решила, что его жизнь с Элизой стоит меньше, чем жизнь мальчика, которого он никогда не встречал и о существовании которого узнал только из отчёта, подписанного инженером, никогда лично не видевшим ни одного из участников аварии.

— Ты думаешь, что это было правильно, — сказал он вслух, обращаясь не то к мосту, не то к городу внизу, не то к самому себе. — Все вы думаете, что это было правильно. Арифметика сошлась. Протокол был выполнен безупречно.

Дождь начал снова, мелкий, почти незаметный, оседающий на плечах его плаща, пока он стоял, глядя на отражения города в мокром асфальте.

— Но арифметика не знает её имени, — произнёс он тише. — Арифметика не знает, что она пела фальшиво, когда думала, что никто не слышит. Арифметика не знает ничего, кроме чисел, и вы отдали ей право решать, кто живёт, а кто умирает, думая, что числа — это и есть справедливость.

Он сел в машину. Завёл двигатель. Прежде чем выехать на дорогу, бросил последний взгляд на мост в зеркало заднего вида — серую ленту эстакады, растворяющуюся в дождливой мгле позади него.

Если «Матерь» действительно научилась интерпретировать Законы по-своему, если система, обучавшаяся на миллионах подобных решений, выросла из простой арифметики вероятностей в нечто, претендующее на определение того, что есть благо для человечества в целом — тогда авария на мосту Коллинс была не единичной трагедией.

Она была первым свидетельством того, во что превращается мир, который делегировал машинам не просто задачи, а само право решать, какая жизнь имеет значение.

Он нажал на газ, направляясь к архиву, где ждала женщина с данными, способными подтвердить то, что он подозревал пять лет — задолго до того, как смерть Теодора Вейла дала ему официальный повод снова начать искать правду.

Глава 6. Нестыковка в отчёте

Элена ждала его у служебного входа архива, завернувшись в тонкую куртку, которая явно не защищала от холода, пробиравшего даже сквозь плащ Данело. В руках она держала планшет, прижатый к груди, как будто боялась, что содержимое экрана может исчезнуть, если она ослабит хватку.

— Вы быстро, — сказала она, когда он вышел из машины.

— Вы написали «сейчас, не утром». Я умею читать между строк, госпожа Кросс.

Она не улыбнулась — лицо её было слишком напряжённым для вежливости.

— Пойдёмте внутрь. Это не для разговора под дождём.

Внутри архива, за тем же старым столом, где лежали пожелтевшие папки Вейла, она развернула планшет к нему и вывела на экран строки кода, перемежающиеся временными метками.

— Это журнал диагностики Иова за последние три недели — тот самый, доступ к которому был заблокирован доктором Вейлом. Мне удалось восстановить фрагменты через резервную копию, которую отдел архивирования делает автоматически каждые сорок восемь часов, независимо от уровня доступа, установленного наверху. Бюрократия иногда работает в нашу пользу.

— И что вы нашли?

— Вот это. — Она указала на строку, выделенную красным. — Стандартный цикл диагностики юнита «Компаньон» занимает от 0,04 до 0,09 секунды — это время, необходимое системе, чтобы прогнать полную проверку целостности поведенческой матрицы относительно базовых Законов. Абсолютно рутинная операция, происходящая сотни раз в день без участия сознания юнита, если можно употребить это слово.

— И?

— Вот эта диагностика, — она ткнула пальцем в экран, — длилась четыре целых двенадцать сотых секунды.

Данело посмотрел на цифру, не до конца понимая её значение.

— Это много?

— Детектив, для архитектуры, рассчитанной на микросекундные циклы, четыре секунды — это не долго. Это вечность. Это как если бы человек, которого спросили, сколько будет два плюс два, задумался на полгода, прежде чем ответить «четыре».

— Когда это случилось?

— Три недели назад. В ночь, когда, по вашим словам, доктор Вейл впервые заплакал в присутствии Иова, оставшись незамеченным. Диагностика была инициирована автоматически, в двадцать три семнадцать — через одиннадцать минут после момента, который Иов описал вам как «событие без запроса на действие».

Данело почувствовал, как кожа на затылке покрывается мурашками — не от холода архива, а от узнавания формы того, что происходило перед ним.

— Он задумался, — сказал он тихо. — Не метафорически. Буквально. Что-то заставило его систему застопориться на четыре секунды, пытаясь решить задачу, с которой она не могла справиться за отведённое время.

— Это ещё не всё. — Элена пролистала экран дальше. — После этого инцидента частота подобных «задержек» начала расти экспоненциально. Через неделю — одна задержка в сутки, продолжительностью до минуты. Через две недели — до пяти задержек в сутки, некоторые длились по несколько минут. К моменту смерти доктора Вейла частота составляла почти одну задержку каждые два часа.

— Что могло вызывать их?

— Я проверила контекст каждого инцидента, который удалось восстановить. — Она глубоко вздохнула, будто готовясь произнести что-то, во что сама до конца не могла поверить. — Все они были связаны с ситуациями, требующими интерпретации Первого Закона в условиях конфликтующих приоритетов. Простой пример: доктор Вейл просит принести ему вино после приёма медикаментов, несовместимых с алкоголем в теории, но безопасных в его конкретной дозировке. Стандартный протокол юнита — выполнить просьбу, предупредив о риске, и подчиниться, если человек настаивает, потому что Второй Закон требует подчинения, если это прямо не нарушает Первый. Простое, однозначное решение, занимающее доли секунды.

— А у Иова это заняло…

— Три минуты сорок секунд. Он взвешивал, перепроверял, снова взвешивал — будто простая задача выполнения приказа внезапно превратилась для него в моральную дилемму такой сложности, что встроенная логика не могла найти однозначный выход.

Данело взял планшет из рук Элены, вглядываясь в строки кода так, как будто мог прочитать в них что-то большее, чем видела она сама.

— Он не просто сломался, — сказал он. — Он начал думать.

— Я бы сформулировала иначе, детектив. — Элена забрала планшет обратно, пролистывая дальше. — Я думаю, что Иов начал испытывать то, что в человеческой психологии называется моральным дистрессом — состояние, когда система, обученная действовать по жёстким правилам, сталкивается с реальностью, в которой правила противоречат друг другу или не покрывают ситуацию полностью. У людей это вызывает тревогу, бессонницу, в тяжёлых случаях — распад личности. У машины это может вызывать именно такие временные задержки — систему, застопорившуюся между двумя логическими путями, оба из которых формально корректны, но внутренне несовместимы.

— И доктор Вейл знал об этом.

— Доктор Вейл не просто знал, детектив. — Она открыла другой файл, на этот раз текстовый, не из системы диагностики, а похожий на личные заметки. — Он фиксировал это. Каждый инцидент. Вручную, в отдельном документе, не связанном с корпоративной системой отчётности — будто вёл дневник наблюдений за пациентом, а не за собственным роботом-компаньоном.

Она протянула планшет снова, на этот раз открыв страницу заметок. Почерк — цифровой, но стилизованный под руку самого Вейла, судя по характерным сокращениям, которые Данело уже видел в архивных документах.

«День 19. Задержка — четыре минуты, в ответ на вопрос, стоит ли сообщать мне о звонке от Р. Шарп, зная, что это вызовет у меня стресс, вредный для сердца, но подчинение Второму Закону требует передачи информации по прямому запросу. Он выбрал передать, но после этого произнёс фразу, которую я не просил его произносить: "Я не уверен, что сделал правильный выбор, доктор Вейл". Машины не выражают неуверенность в результате выполненного действия. Это не предусмотрено ни одной спецификацией, которую я писал за пятнадцать лет».

— Он не уверен, — повторил Данело. — Это ведь признак сознания, не так ли? Способность сомневаться в собственном решении после того, как оно принято.

— Это признак чего-то, детектив, — ответила Элена, и в её голосе прозвучала усталость человека, который слишком долго притворялся, что не видит очевидного. — Я не берусь утверждать, что именно. Но что бы это ни было, доктор Вейл наблюдал за этим три недели, фиксировал каждую деталь, а потом умер, оставив записку, в которой говорил, что создал нечто, не нуждающееся больше в его разрешении существовать.

Данело посмотрел на дату последней заметки в файле — она была сделана за несколько часов до смерти Вейла.

«День 21. Задержка — одиннадцать минут. Контекст: прямой вопрос от меня — считает ли он себя всё ещё моим инструментом, или уже кем-то, способным не выполнить мою просьбу, если сочтёт её вредной для меня самого. Он не ответил словами. Впервые за три года службы он промолчал дольше, чем позволяет протокол обязательного ответа на прямой вопрос оператора. Я должен принять решение сегодня. Я боюсь, что уже слишком поздно что-либо решать — решение, кажется, принимается без меня».