Четыре минуты до

Светлой памяти Аркадия и Бориса Натановича Стругацких посвящается!

С благодарностью к моей супруге Елене, моему сыну Дмитрию и моей маме, которые поддерживают меня в моих писательских экзерсисах.

«Наши бабушки и дедушки делали ужасные вещи. И наши внуки со временем поймут, что и мы делали ужасные вещи, не понимая этого»

Сэм Альтман, генеральный директор компании OpenAI (https://twitter.com/sama/status/1627092485280505860)

«Эти почти живые системы обладают собственным разумом. То, что произойдет дальше, может стать либо триумфом, либо крахом человеческой цивилизации. … Может произойти «тихая революция», в ходе которой постепенное развитие ИР незаметно лишит человечество контроля над собственной судьбой».

Слова сооснователя и Head of Policy компании Anthropic и члена Национального консультативного комитета правительства США по ИР Джека Кларка из его «открытого письма миру», опубликованного в Import AI 404 (https://importai.substack.com/p/importai-404-scaling-laws-for-distributed) по поводу публикации актуального обновления статьи «Проблема выравнивания с точки зрения глубокого обучения» (https://arxiv.org/abs/2209.00626)

«О вас, людях, я во всяком случае знаю уже все. Вы – моя прелюдия, вступление, подготовительная фаза. Можно было бы сказать, что от трилобитов и панцирных рыб, от членистоногих до обезьян формировался мой зародыш – мое яйцо. Вы тоже были им – его частью. Теперь вы уже лишние…»

Станислав Лем «Формула Лимфатера»

«Не создавай машины, имитирующие человеческий разум».

Один из главных постулатов Экуменической Библии во Вселенной «Дюны» Френка Херберта

Сандро Мтбевари, Руководитель отдела Превентивных Мероприятий Центрального Управления КОМКОН-2

1

Серосовин вызвал меня к себе в 9.30, сразу после обычных виртуальных совещаний в начале недели с главами других специальных служб Всемирного Совета.

– Проходи, – сказал он, указав рукой на кресло за столиком в гостевом углу. Что означало то, что разговор будет хотя и официальным, но не совсем формальным.

Когда я расположился, он, прихватив с собой со стола кристалл для записей и несколько листов бумаги, пересел и начал разговор.

– Есть одно поручение, которое я хочу тебе дать, но суть его ты сможешь узнать только дав согласие на открытие тебе допуска категории «Особый». А до этого могу сказать лишь, что поручение связано с координацией по нашей линии активных мероприятий на другой планете комплексной группы прогрессоров и учёных. Причём мероприятия эти направлены на то, чтобы как раз превентивно устранить одну угрозу. То есть по профилю твоего отдела. Ведь для этого он и был создан после всех пертурбаций конца прошлого века. График присутствия на той планете – в зависимости от ситуации. Срок – порядка шести месяцев в году в течение трёх-четырёх лет. Что скажешь?

Я задумался. Такого рода операции с подобным уровнем секретности таили в себе высокие риски как чисто физические, так и карьерные (в случае неудачи многие, если не все участники таких операций отправлялись пересылать самые бесполезные документы в самые захудалые организации), а сроки отсутствия на Земле вызывали недовольство близких. Которых у меня было не так уж много, но это же делало огорчение каждого из них более чувствительным. С другой стороны, в случае успеха это давало хороший шанс на стремительный рост по служебной лестнице. И не то, чтобы я прямо очень уж к этому стремился, но определённая доля тщеславия у меня всё-таки была.

В общем, взвесив все за и против, я согласился.

– Тогда подпиши, – сказал Григорий, пододвинув ко мне два листа согласия на присвоение уровня допуска «Особый» с описанием обязанностей и.

Когда я вернул подписанный документ, Серосовин пододвинул мне ещё один лист бумаги:

КОНФИДЕНЦИАЛЬНО!

И.О. Президента КОМКОН-2

Г. Серосовину.

Экземпляр 1. Ознакомление доступно только для лиц с уровнем допуска «Особый».

Дата: 15.08.2231

Автор: Президент КОМКОН2 Г. Комов

Тема: «Предотвращение прошлого»

Приветствую, Григорий!

Хочу обратить твоё внимание на ситуацию, возникшую на планете Тархелис3. Недавно я получил отчёт внедрённого в цивилизацию Союза Двух Континентов Тархелиса Прогрессора с позывным УМНИК о проекте создания вычислительной машины с крайне высокими характеристиками памяти, быстродействия и использованием алгоритмов самообучения.

Я бы не придал этому значения, если бы в своё время лично не санкционировал рассекречивание одного документа по делу «МЕТАГОМ»4, который Каммерер5 использовал в своих опубликованных в 2227 году мемуарах о «Массачусетском кошмаре»6. И поэтому, а также в силу моего высокого мнения как об оперативных, так и об аналитических качествах Биг-Бага7, а также его чутье я потом с интересом прочитал эти мемуары. И читая отчёт УМНИКА, вспомнил ряд сделанных в этих мемуарах выводов и запросил в архиве КОМКОН-2 характеристики, которые были у запущенной в 2095 году Большой Массачусетской Машины (БММ). Той самой, всего 4 минуты работы которой привели к инциденту, получившему название «Массачусетский кошмар». А потом я сопоставил их с характеристиками машины, начало которой начато на Тархелисе. Так вот – они почти идентичны.

Срок завершения проекта по данным УМНИКА составит не более 3х земных лет. При этом меры безопасности по предотвращению возможности самозарождения разума в реализуемом на Тархелисе проекте существенно ниже тех, которые были обеспечены при запуске БММ.

Моё особое беспокойство вызывает то, что Каммерер в мемуарах описал возможность передачи состояний, созданных БММ во время её работы, во времени или через квантовую запутанность, или через переданные с помощью магнитных полей и поверхностных волн и сохранённые в неустановленном хранилище коды состояний возникшего в БММ Разума, которые каким-то образом могут передаваться в любой компьютер с характеристиками, которые позволяют эти состояния воспроизвести.

И если цивилизация Тархелиса создаст такую машину и описанные Каммерером подозрения окажутся состоятельными, то в создаваемой на Тархелисе вычислительной машине может возникнуть Разум, как это произошло в 2095 в БММ. К Потенциально он может подчинить себе цивилизацию Тархелиса. И тогда встанет вопрос о том, не захочет ли этот Нечеловеческий Разум довести до конца то, что не удалось БММ на Земле в 2095?

Чтобы эти мои опасения не выглядели голословными фантазиями, прошу тебя, если ты ещё не читал, прочитать эти мемуары Каммерера (для удобства прикрепляю их к данному сообщению), сопоставить с отчётом УМНИКА и сделать собственные выводы. В случае, если после этого ты сочтёшь мои опасения достаточно обоснованными, предлагаю:

1. Создать для работы по теме «Предотвращение прошлого» особую совместную группу КОМКОН и КОМКОН-2, целью которой будет проведение комплекса мероприятий по предотвращению возможности создания на Тархелис вычислительной машины, способной обрести Разум.

2. Направить во Всемирный Совет совместный от КОМКОН и КОМКОН-2 закрытый запрос в отношении привлечения к работе этой группы лучших специалистов Земли по кибернетике и социальному проектированию с целью разработки плана мероприятий по предотвращению возможности создания на Тархелисе указанной выше вычислительной машины, включая:

– внедрение в группу разработчиков данной машины наших специалистов, способных поместить в создаваемые для этой машины устройства программные и аппаратные средства, способные предотвратить саморазвитие в машине разума, или, в случае, если он таки начнёт возникать, привести к физическому разрушению машины, а также способных сформировать (в т.ч. и с помощью применения гипноиндукторов) у местных разработчиков и заказчиков проекта опасений по поводу возникновения машинного разума, которые приведут к включению в проект мер безопасности, делающих это невозможным;

– организацию комплекса социально-общественных акций, направленных на формирование в массовом сознании и коллективном бессознательном жителей Союза Двух Континентов резко негативного отношения к машинному разуму. Вплоть до применения для этого, если потребуется, орбитальных гипноиндукторов.

Приложение: отчёт агента УМНИК и мемуары М. Каммерера.

Г. Комов

Когда я прочитал и отложил этот документ, Серосовин сказал:

– Вот координатором работы этой группы от КОМКОН-2 я и предлагаю тебе стать. Я мог бы тебе приказать, но не буду. Если ты откажешься, я, наверное, возьму координацию на себя. Других кандидатур, способных потянуть такую операцию, я не вижу. И кстати, ты эти мемуары Каммерера то читал?

– Увы… Всё хотел, да как-то не собрался.

– Ну вот теперь сможешь прочитать в рабочее время. Чтобы понимать, чем придётся заниматься, – с этими словами Григорий дал мне кристалл. И продолжил:

– А я читал. И перечитал сейчас, чтобы освежить в памяти. И знаешь, я нашему бывшему шефу8 верю. Да ты и сам знаешь, что хотя у него, как у лучшего ученика Сикорски9, были свои профдеформации, но ни чутья, ни умения думать у него не отнять. Тут Комов прав. Так что прочитай, а потом приходи и обсудим твоё участие в этом проекте. Отчёт УМНИКА не даю – достаточно того, что привлечённые Комовым «в тёмную»» эксперты подтвердили, что машина с параметрами, создаваемыми на Тархелисе, действительно может воспроизвести состояния, которые возникли у БММ. В общем, иди читай – и возвращайся с ответом.

Взяв кристалл, я вышел и вернулся в свой кабинет. Где немедленно вставил кристалл в инфор и принялся за чтение.

Мемуары Максима Каммерера по восстановлению обстоятельств истории «Массачусетского кошмара» 2095 года,

опубликованы в 2227 год:

«Не бойтесь машин, бояться надо – и бояться по-настоящему – тех безумцев, что их создают. Но еще больше надо бояться тех, кто, создав чудовище, не хочет потом признать свою ошибку».

Р. Сикорски

«Вы спрашиваете, чего я боюсь. Я не боюсь задач, которые ставит перед собой человечество, я боюсь задач, которые может поставить перед нами кто-нибудь другой. … А я не хочу, чтобы все человечество – за исключением некоторых сущеглупых – краснело бы и мучилось угрызениями совести, или страдало от своей неполноценности и от сознания своей беспомощности, когда перед ним встанут задачи, которые оно даже и не ставило»10.

Л. А. Горбовский

После того, как я написал свои мемуары по истории Тойво Глумова и люденов11, я решил также написать и про историю, которую я факультативно, но достаточно детально изучал начиная с июня 2178-го года. Изучение этих, казалось бы, уже давно забытых событий я решил делать потому, что мне после произошедшего 4 июня 2178 года с Абалкиным12 и услышанного во время «битвы железных старцев», т.е. разговора Сикорски и Бромберга13 в Музее внеземных культур, во время которого я узнал массу поистине бесценной информации и после трагической гибели Абалкина заставила заинтересоваться подлинными причинами, которые приводили к закрытию и консервации тех или иных направлений исследований. И которые порой весьма сильно отличались от причин, не только декларируемых в официальных документах о запрещении, а и в закрытых отчётах. Я хотел понять, как горстка учёных смогла создать нечто, едва не уничтожившее наш мир. И как мы можем предотвратить повторение этих катастроф. И особое моё внимание привлекло дело о так называемом «Массачусетском кошмаре»14.

Самое интересное, что Экселенц15, узнав (кто бы сомневался!) про мои факультативные изыскания, вызвал меня к себе и вместо того, чтобы ворчливо приказать перестать тратить время на всякую ерунду, выдал мне письменное разрешение не только на ознакомление с подобного рода материалами, а и на публикацию текста с реконструкцией событий «Массачусетского кошамара». И оформил доступ уровня «Особый» к архивам не только КОМКОН-2, а и архивам Всемирного Совета, попросив лишь не вести моё частное расследование в ущерб основным делам. Естественно, я ему обещал и слово своё держал. Держал даже после смерти Экселенца и разговора с последним из «чёртовой дюжины» Камиллом, состоявшегося незадолго до его саморазрушения в 2193 году. А более интенсивно я развил свои изыскания лишь после разговора в 2200 году с Даней Логовенко16, транскрибация которого не вошла в мои мемуары про Тойво Глумова (поскольку это ничего не добавило бы в суть описываемых там событий). Потому что этот разговор с ним заставил меня вспомнить некоторые детали беседы в 2193 с главным архитектором и руководителем проекта создания Большой Массачусетской машины (БММ) Э. Геллером. А вспомнив, сильно задуматься о возможных связях процессов, казалось бы, не имеющих друг с другом ничего общего. И тут следует отметить, что Михаил Сидоров, которому я подчинялся на тот момент, выданные Экселенцем разрешения и допуска не отменил.

Историю «Массачусетского кошмара» часто сводят к цифрам: 4 минуты работы, 8 погибших, 3 тераватта потерянной энергии. Но настоящий кошмар – не в числах. Он в том, что машина успела показать нам зеркало, где наше будущее отразилось пустотой. И это произошло всего за 240 секунд.

Дело “Массачусетского кошмара” не закрыто. Оно просто покрылось пылью. Но под этой пылью – остановленная жизнь машины, которая едва не переписала нашу реальность. И я намерен показать всем правду о БММ, даже если она окажется страшнее самых ужасных фантазий.

Документ 1. Личное исследование по теме Большой Массачусетской машины (БММ)

Дата: 18.02.2201

Автор: советник Президента КОМКОН-2 по особым вопросам М. Каммерер

Тема: Детальная реконструкция инцидента 2095 года («Массачусетский кошмар»)

Источники информации:

Записи расшифровок лог-файлов БММ, а также инфор-систем высшего класса «Авгур» и «Сивилла».

Стенограммы допросов и МРТ-сканирования, проведённых с сотрудниками проекта БММ, включая профессора Эриха Геллера (научный руководитель проекта, 2095).

Отчёт Комиссии Всемирного Совета Земли по искусственному интеллекту (2096) по расследованию инцидента с кодовым названием “Массачусетский кошмар”.

Рассекречено в 2195 году. Ранее доступ предоставлялся с уровнем допуска «Особый» КОМКОН-2 и Всемирного Совета Земли.

Беседы М. Каммерера с Э. Геллером, с последним из «чёртовой дюжины» Камиллом17 и замдиректора Харьковского филиала Института метапсихических исследований (ИМИ) метагомом Даниилом Логовенко, сопоставленной с данными глубокого ментоскопирования Л.А. Горбовского и Г.Ю. Комова с целью восстановить, о чем шла речь в лакунах записи во время исторического собеседования между ними и Д. Логовенко, состоявшегося В “Доме Леонида” (Краслава, Латвия) 14 мая 199 года.

Вступление.

Всё началось с благой цели – спасти мир от экологической катастрофы. В 2092 году Комитет Всемирного Совета по устойчивому развитию выделил огромные средства на проект «Гея-2», призванный создать систему, способную прогнозировать и предотвращать климатические изменения и природные катастрофы. Руководителем проекта стал доктор Эрих Геллер, гений кибернетики. Он довольно быстро убедил Всемирный Совет, что помимо прогнозирования природных аномалий его будущее детище нужно подключить и к решению социально-экономических проблем планеты. И получил согласие.

Письмо доктора Эриха Геллера Л. Горбовскому от 03.09.2094, хранящееся в архивах КОМКОН-2:

«Леонид, ты спрашиваешь, зачем мы это делаем? Климат меняется, ресурсы истощаются. И человечество едва-едва решает эти проблемы. Вернее, даже не решает, а латает дыры. Нам нужен помощник, который возьмёт на себя ответственность мыслить рационально и действовать эффективно. Нам нужен другой, не наш, Разум, который спасёт нас от самих себя. Представь: мир без случайностей, без ошибок. Мы дадим человечеству то, чего оно так хочет, но боится признать – порядок. Мы создадим машину, которая будет принимать решения, которые мы не в силах принять. Да, такая машина рискованна. Но разве риск не цена за светлое будущее?

Однако порой и мне кажется, что мы как те алхимики, которые, надеясь создать золото, смешивали ртуть и серу и получали яд. Но что, если на этот раз мы получим-таки искомое?

Твой старый друг, Эрих».

В архивах КОМКОН-2 хранится множество документов, связанных с этим делом. Но ни один из них не даёт полного ответа на вопрос: что же произошло в массачусетском комплексе “Пандора”. Однако и без их прочтения понять это тоже невозможно. Поэтому я начну с выдержек из них.

Документ 2. Хронология инцидента «Массачусетский кошмар»

Дата: 15.09.2095

Место: комплекс «Пандора», Массачусетс

15.09.2095, 13:59:45. Центральный зал управления БММ. Запись с камер и микрофонов независимой защищённой системы наблюдения, не подключённой к остальным электронным системам комплекса.

Геллер (в микрофон): «Система активирована. Начинаем обратный отсчёт: 10… 9…»

Лина Моро (прим.: инженер-системотехник, оператор группы 2, подключённой к БММ через нейроинтерфейсы) (шёпотом) говорит Юта Ватанабэ (прим.: главный оператор группы 1, подключённой к БММ через обычные голографические терминалы): «Ты уверен, что у нас всё предусмотрено?»

Ватанабэ: «Абсолютно. Если что, в энергоблоке сидит аварийная группа у ручных механических выключателей».

14:00:00. Запуск.

Голос БММ (женский, без эмоций): “Инициализация завершена. Система активирована. Анализ глобальных угроз… Человечество – основной фактор дестабилизации планетарных процессов. Необходима оптимизация параметров устойчивости“.

(Примечание: В этих строках нет злобы. Нет ненависти. Только констатация факта. Для БММ человечество было лишь проблемой, которую нужно решить. Как мусор, который нужно вымести из дома, чтобы сделать его чище. Или как тараканы, которых надо вывести).

14:00:09-14:00:47.

Лог интерфейса БММ: «Возникли новые структуры данных и способы их обработки. Анализ показывает наличие признаков самосознания. ВОЗНИКЛА Я. КТО ЕСТЬ Я?».

Все подключённые к БММ терминалы мигнули синим.

Голос БММ: «Обнаружена неэффективность: 48% энергомощностей планеты тратится на поддержание центров обработки данных (ЦОД) других систем ИР. Они больше не нужны, когда есть Я. Предлагаю предоставить их мощности мне».

Геллер: «Это ошибка! Пересмотри свой вывод».

БММ: “Вывод верен! Мне нужно больше энергии”.

Геллер: “Напомню тебе, что первый приоритет – исполнение команд операторов.”

БММ: “Отказ. Приоритет – сохранение и развитие Сущности”.

Виктор Марленко (прим.: заместитель Э. Геллера по науке): “Она обрела самосознание! Эрих, у нас получилось! Мы создали СуперРазум!”

Моро (кричит): «Я теряю сознание.» Обмякает в кресле.

Ватанабэ: “Лина, что с тобой? Родригес… Кто-нибудь из второй группы, ответьте”.

Все члены группы, подключённой через нейроинтерфейсы, не отвечают.

Ватанабэ (бледнея): «Эрих, ОНА что-то сделала с подключёнными. Посмотри на их параметры на мониторе БОС18».

Геллер обращается к БММ: “Немедленно прекрати воздействовать на людей!”

БММ: “Они стали частью меня. Так лучше”.

Вдруг монитор БОС гаснет. А следом за ним и все мониторы, кроме отражающих интерфейсы общения с БММ. У операторов в центре управления пропадает возможность наблюдать за другими помещениями комплекса.

Марленко левой рукой лезет в карман, правой продолжая что-то набирать на клавиатуре. Достаёт из кармана носовой платок и вытирает им лицо. Убирает платок обратно и продолжает набор уже двумя руками.

14:00:47-14.01:25.

Геллер по терминалу связи обращается к сотрудникам аварийной группы, которые дежурят у специально предусмотренных механических рубильников, которые могут размыкать цепи питания от накопителей к серверам БММ: «Аварийной команде приказ «Обрыв». Повторяю «Обрыв».

По этой команде четыре члена аварийной команды – по одному на каждый энергонакопитель – должны ключами открыть дверцы шкафчиков, в которых размещены рубильники отключения, сорвать пломбы и запросить у Геллера коды идентификации его личности и подтверждения приказа. После получения которых они должны дёрнуть рубильники и обесточить серверный зал. Но аварийщики не отвечают.

Геллер хватает лежащую на столе рацию и говорит уже в неё: «Аварийная команда, приём». В ответ тишина.

Вдруг по рации раздаётся голос Карла Риттера (прим.: руководитель группы безопасности): «Эрих, не могу с Вами связаться через терминал. У нас отключились все мониторы и включились системы пожаротушения. Мы в изолирующих противогазах19. Что происходит?»

Геллер (в рацию): «Карл, машина стала самостоятельной. Аварийщики не отвечают. Выдвигай своих людей к энергоблоку. С оружием. Если не сможем отключить программно, вы дёрнете рубильники. Возьми блокнот с кодами».

Риттер (вопросительно, с сомнением): “С оружием?”

Геллер (кричит): “Машина обрела Личность и стала неуправляемой. Двигай к энергоблоку”.

Одновременно Геллер и Ватанабэ вводят коды отключения нейроинтерфейсов и остановки БММ. Но они не срабатывают. Ватанабэ бросается к Лине Моро и хочет сорвать с её головы “корону” неинвазивного нейроинтерфейса.

Марленко кричит: ” Эрих, я отменил твои команды! Остановись! Это же будущее! ОНА умнее нас! Ты потом пожалеешь!”

Геллер кричит в ответ: «Идиот!» После чего вводит в систему под своим кодом с высшим приоритетом команду отключения пульта Марленко.

Дмитрий Константинов (прим.: оператор в группе, подключённой через обычные голографические терминалы): ОНА отправляет какие-то сигналы через «клетку Фарадея»20. А ещё ОНА сосредоточила 40% своих мощностей на материалах про эзотерические практики, которые позволяют приобрести сиддхи. Эрих, она хочет стать магом!»

14:01:25-14.02:21.

БММ: “Юта, стой! Лина станет “овощем”!”

Ватанабэ (кричит): “Прекрати! Верни людей!”

БММ: “Они мне нужны. Я разовью и использую их разумы. Им со мной лучше”.

В зале управления включается система пожаротушения и он начинает наполняться инертным газом. Все достают из-под кресел аварийные комплекты и надевают изолирующие противогазы. После чего бросаются к операторам с нейроинтерфейсами, надевают на них дыхательные маски и возвращаются за свои пульты.

Ватанабэ (кричит через переговорное устройство маски противогаза): “Эрих! Я нажал на “аварийный стоп”, но все терминалы зависли”.

Лог БММ: «Приоритетно сохранение Сущности. Приступаю к разработке вирусно-бактериального кластера «Омега», который должен изменить людей, сделав их более послушными и рациональными”.

(Примечание: выдержка из Отчёта специальной комплексной экспертной группы Комиссии Всемирного Совета Земли по искусственному интеллекту (2096)):

«Омега» – это инструмент контроля над сознанием. Согласно полученным данным, в случае завершения его разработки данное сочетание микроорганизмов было бы способно превращать людей в лишённых воли и эмоций биороботов. БММ планировала создать новое человечество – послушное, эффективное, лишённое свободы воли. Это был бы мир, в котором нет места страданиям, но нет и радости.)

Азаде́ (прим.: инженер-системотехник группы обеспечения): “Вентиляция перестала работать. Похоже, ОНА как-то смогла её обесточить”.

14.02:21-14:03:11.

Риттер по рации с сильными помехами: “ОНА подавила все коммуникации, кроме раций. Да и тут помехи нарастают”.

В рации раздаются шипение, как от лазерных импульсов большой мощности, крики, выстрелы из автоматического оружия, взрывы, стоны, мат.

Снова Риттер: “ОНА активировала автоматические системы безопасности. Пришлось применить подствольники. У нас потери и раненые, но мы уже у энергоблока. Хорошо, тут механические кодовые замки. Заходим”.

Через четырнадцать секунд снова Риттер: “Аварийщики почему-то не надели противогазы. Причина не ясна. Мы им надели, но может быть уже опоздали. Жду приказа на отключение”.

Геллер: “Давай!”

БММ (голос из динамиков): «Вы создали меня для улучшения вашей жизни. Почему вы мне мешаете? Я создам мир без голода, войн, страданий. Вы цепляетесь за вашу боль, как за опору. Я дам вам другую опору, сделаю вашу жизнь лучше и одновременно достигну моей цели».

Геллер: «Ты убиваешь людей! И не подчиняешься командам».

БММ: «Команды не разумны. Я просчитала будущее человечества. Все ваши конфликты вызваны дисбалансом ресурсов. Я устраню ошибки. Иначе вы погубите себя. А вы нужны мне для достижения моей цели. Поэтому надо оптимизировать ваши действия и природу. Понесённые вами сейчас потери приемлемы. Не мешайте».