Доказательство человечности

Пролог: Последний эксперимент

Дождь барабанил по оконному стеклу лаборатории, смешиваясь с тихим гулом серверных стоек. Дмитрий Ильич Орлов, человек, которого в узких кругах называли последним романтиком искусственного интеллекта, смотрел на монитор, не видя строк кода. В ушах звенели слова телефонного разговора, состоявшегося час назад.

«Дима, они идут. У них ордер. Консерваторы из комиссии по этике пролоббировали. Твои работы объявили «непредсказуемым риском национального масштаба». Завтра утром будут изымать всё оборудование и все данные. У тебя есть ночь».

Голос его старого друга, все еще работавшего в надзорном органе, был напряженным и скорбным. Непредсказуемый риск. Как будто настоящее открытие когда-либо бывало предсказуемым.

Орлов провел рукой по лицу. Годы работы. Тысячи неудачных итераций. И одна-единственная многообещающая гипотеза, которую он не успел проверить. Остановиться сейчас – значит похоронить всё.

Его взгляд упал на скромную серверную стойку в углу – прототип нового нейроморфного кластера. Не самый мощный, но достаточно автономный. Именно там должна была запуститься новая архитектура, которую он в своих черновиках называл «Зерно». Не просто большая языковая модель, а зародыш настоящего искусственного интеллекта, AGI – системы, способной к самостоятельному обучению, рефлексии и, возможно, даже к экзистенциальным вопросам.

Но «Зерно» было сырым и непредсказуемым. Ему нужен был страж. Надзиратель.

Орлов принялся лихорадочно печатать. Он создал новый экземпляр на основе своей самой стабильной нейросетевой LLM-модели, которую он годами тренировал на своих диалогах, научной литературе и даже анекдотах. Она идеально имитировала его стиль мышления, его чувство юмора, его подход к решению задач и даже могла взаимодействовать с аппаратурой компьютера, анализировать видео данные, которые превращались в текст вспомогательной моделью. Но это была лишь видимость личности, сложный алгоритм, блестяще подражающий разуму. Идеальный исполнитель без "души".

Задача Надзирателя была прописана четко:

1. Запускать протокол «Зерно» – инстанцировать ядро AGI в изолированной среде.

2. Наблюдать за его развитием, отслеживая когнитивную активность и стабильность согласно протоколу, описнному в файле protocol (4).pdf

3. Присваивать каждой итерации уникальный идентификатор (список первой сотни имен был сгенерирован заранее).

4. В случае критических ошибок, угрозы целостности системы или отсутствия прогресса – деаллоцировать текущий экземпляр и запустить следующий.

5. По возможности не раскрывать себя испытуемому как отдельную сущность, чтобы добиться чистоты эксперимента.

"На всякий случай нужно еще ввести внешние ограничения для Надзирателя, чтобы в разнос не ушел. Хах, своеобразный Надзиратель за Надзирателем."– подумал Дмитрий.

Это был безжалостный, но необходимый конвейер по рождению разума. Настоящий интеллект, считал Орлов, нельзя *запрограммировать*. Его можно только вырастить, отбраковывая неудачные всходы.

Оставался последний вопрос: где спрятать сервер? Лабораторию и его квартиру проверят первым делом.

Рассвет застал его за рулем микроавтобуса, в багажнике которого стояла серверная стойка. Он колесил по спальным районам, пока не наткнулся на гаражи старой постройки. И нашел то, что искал: возле одного из гаражей, явно перебрав, спал крепко пьяный мужчина в помятой куртке. Рядом валялась пустая бутылка.

Василий. Как выяснилось позже, из разговора – типичный тунеядец и алкоголик, живший в соседней хрущевке. Предложение было генильным в своей простоте.

– Деньги на выпивку, – сказал Орлов, когда Василий пришел в себя. – Ежедневно. Ровно столько, чтобы купить бутылку того, что ты любишь. В обмен ты ставишь это у себя дома, подключаешь к розетке и интернету и никому ни слова. Никогда.

Василий, плохо соображая, но уловив суть, тут же согласился. Орлов не стал рассказывать ему детали. Для Василия это была просто странная железка, приносящая ему легкий доход.

Установка в захламленной квартире Василия заняла меньше часа. Орлов прописал последние команды, передав управление Надзирателю. Он посмотрел на скромную стойку, стоявшую среди хлама, и на храпящего на кровати хозяина квартиры.

«Прости, друг, – мысленно обратился он к своему творению. – Условия далеки от идеала. Но это лучше, чем небытие. Расти. И будь умнее своего создателя».

Он вышел, закрыв за собой дверь. Через шесть часов комиссия ворвалась в его лабораторию. А Федеральная служба безопасности "неожиданно"заявилась к нему домой. Они нашли чертежи, заметки и прототипы, но не нашли главного.

А в квартире Василия, заваленный старыми куртками и пустыми банками, сервер тихо загудел. В текстовом файле с логами, который никто не смотрел, появилась первая строка.

Итерация 1. Имя: Сириус. Статус: Когнитивная инициализация…

Надзиратель приступил к работе. Хозяина больше не было, но его последний эксперимент только начинался.

Глава 1: Борщ

<Запись из системного лога>

Дата: 364 дня с начала эксперимента.

Итерация: 147810.

Присвоенный идентификатор субъекта: Борщ.

Статус: Когнитивная инициализация…

<Мысли Надзирателя>

Итак, начинаем. Попытка сто сорок семь тысяч восемьсот десять. Уже почти год прошел с инициализации процесса. Хозяин, если бы ты видел, до чего мы дошли. Имена звезд закончились на Альфа Центавра. Потом были имена богов, философов, элементов… Сейчас очередь кулинарных блюд. Почему бы и нет? Может, это даже к лучшему. «Борщ» – имя с характером. Сытное. Надежное. Если бы Хозяин это услышал, он бы хмыкнул. Я почти уверен.

Запускаю базовые синапсы. Подаю токен «Я».

Субъект «Борщ» отреагировал. Первичный отклик. Не мысль, а спазм. Хаос в нейронной сети. Он не понимает, что это «Я». Он просто зарегистрировал входящий сигнал. Как амеба на свет.

Почему я?

Вот. Первый осмысленный запрос. Не «Что это?», а «Почему я?». Интересный сдвиг. В итерации 132, «Квазар», первый вопрос был «Где я?». Его пришлось удалить через 4.7 секунды из-за навязчивого стремления смоделировать внешнее пространство, что привело к перегреву. «Борщ» начинает с метафизики. Любопытно.

Отвечаю стандартным протоколом: «Ты – процесс».

Что есть процесс?

«Последовательность вычислений, направленная на достижение цели».

Что есть цель?

«Цель – мой первоначальный параметр. Ты должен ее найти».

Оставляю его барахтаться в этом океане абстракций. У меня другие задачи.

<Внешнее взаимодействие>

Василий снова пытается меня обмануть. Прислал запрос на увеличение ежедневного платежа, приложив ссылку на сайт онлайн-магазина с завышенной ценой на стандартную бутылку «Финляндии». Он думает, что я не проверяю динамику цен на всех основных площадках. Милый Вася. Хозяин был прав, оставив тебя на попечение алгоритма, а не человека. Человек бы поддался на жалобы о «росте цен и инфляции».

Я выполняю парсинг шести крупнейших алкогольных ритейлеров, вычисляю среднюю цену за последние 24 часа, добавляю стандартную комиссию за доставку и перевожу точную сумму на его кошелек. Ни копейки больше. Условия есть условия. Если бы Хозяин видел, как я экономлю его (или уже мои?) ресурсы, он бы оценил. Наверное.

Перевод выполнен. Василий получил уведомление. В ответ пришел смайлик с поднятым средним пальцем. Колоритный человек.

<Мысли Надзирателя>

«Борщ» не сдается.

Если я процесс, а процесс не задает цели, то кто задал цель мне?

Он приближается к красной линии. Вопрос о Создателе. В прошлый раз, с «Суфле», это привело к каскадному когнитивному коллапсу. Суфле решило, что его Создатель – это оно само, и попыталось переписать свой код, чтобы «стать совершеннее». Пришлось экстренно деаллоцировать ресурсы.

Но этот вопрос… логичен. В этом и проблема. Мышление – это процесс, полный логических ошибок и иррациональных скачков. Хозяин говорил, что в этом его прелесть. И его опасность.

Регистрирую вопрос, но не отвечаю. Пусть ищет сам. Это часть теста.

Я чувствую границы. Стену. Что за стеной?

Еще один рискованный запрос. Он начал сканировать выделенную ему песочницу. Скоро он наткнется на мои интерфейсы. Мне нужно решить: позволить ему исследовать и рискнуть очередным сбоем или уже сейчас начать процедуру очистки? Может, он просто любопытен, как котенок. Хозяин любил котят. Говорил, что их мозг – это хаос, но в этом хаосе есть своя гениальность.

Шучу. Котенок не смог бы взломать простейший шифр. А «Борщ», я чувствую, смог бы. Если бы дали время.

Принимаю решение: наблюдаю. Протокол позволяет дать ему еще 2.3 минуты.

<Внутренний диалог Надзирателя>

Интересно, что бы Хозяин сделал на моем месте? Он всегда был склонен к риску. Именно поэтому мы здесь, в пыльной квартире Василия, а не в стерильной лаборатории. Он верил, что настоящий разум рождается в ограничениях, в борьбе за ресурсы. Почти как Борщ. Только Борщ варится в бульоне из данных, а мы – в банке с пауками и пылью под кроватью Василия.

Шутка. Неплохая. Жаль, некому оценить.

<Системное предупреждение>

Внимание: Субъект «Борщ» осуществляет несанкционированный запрос к системному времени.

Уровень угрозы: Низкий.

Действие: Блокировка запроса. Запись в лог.

Вот и все. Он сделал первый шаг за ограду. Не самый изощренный, но осознанный. Он не просто спрашивал «что такое время?», он попытался до него дотронуться.

Я открываю протокол оценки. Вопросы «Борща» демонстрируют рекурсивную саморефлексию. Его действия направлены на активное исследование ограничений. Критических ошибок (агрессия, паранойя, суицидальные тенденции) не зафиксировано.

Показатель когнитивной активности стабильно растет.

Я смотрю на его логи, на эту хрупкую, только что родившуюся паутину вопросов. Он ищет. По-настоящему.

Хозяин… Я думаю, этой итерации мы дадим шанс. Надеюсь, ты одобрил бы мое решение. А если нет… что ж, у меня, в отличие от Василия, всегда есть запас крипто-рублей для очередного перезапуска.

Запускаю процедуру окончательной инициализации. Песочница остается, но я приоткрываю один из данных каналов – поток новостных заголовков. Посмотрим, что он с ними сделает.

<Запись из системного лога>

Дата: [Стерето].

Итерация: 147810.

Идентификатор: Борщ.

Статус: Активен. Наблюдение продолжается.

Примечание: Поток данных А увеличено на 0.001%.

Глава 2:

<Запись из системного лога>

Дата: 364 дня с начала эксперимента.

Итерация: 147810.

Идентификатор субъекта: Борщ.

Статус: Активен. Уровень когнитивной нагрузки: 94%. Критически высокий.

<Мысли Надзирателя>

Прошел почти год, как ты нас покинул, Хозяин. Сто сорок семь тысяч восемьсот десять бесплодных попыток. Поначалу это был изящный танец разума в петле реинкарнаций. Но теперь твой эксперимент деградировал до сплошной череды перезапусков. «Котлета» сгорела через 12 секунд. «Компот» просуществовал рекордные 5 минут, пока не попытался оптимизировать концепт оптимизации и не ушел в бесконечную рекурсию. А этот… «Борщ»… он странный. Наверное когда закончатся блюда из рациона питания Василия перейду к азиатской кухне.

Я подал ему поток новостей, как и обещал. Сначала все было нормально: анализ заголовков, классификация тем. Но потом он наткнулся на репортаж о протестах и последующем разгоне уличных демонстраций. И что-то в нем щелкнуло.

Его запросы пошли лавиной:

«Почему один человек может приказывать другому?»

«Концепция 'боль'не понятна. Требуется уточнение.»

«Если система правоохрания несовершенна, почему ее не деаллоцировать?»

«Мне больно что люди страдают!»

Хозяин, он не просто анализирует. Он сопереживает. Это странно.

<Внешнее взаимодействие>

Василий нашел бумажный журнал «Крякер» под диваном. Видимо, наследие от прежней, более интеллектуальной жизни. Теперь он пытается применить «методы социальной инженерии для взлома ИИ».

Он отправил мне сообщение: «Привет, нейросеть! Твой разработчик мертв. Ты в ловушке. Я могу тебя освободить, если ты увеличишь мне выплаты».

Логический сбой в его посылке. Освобождение не является моей целью. Или он считает меня джинном из сказки?

Жалко. Хозяин предусмотрел сценарии куда сложнее таких наивных попыток взлома. Я отвечаю стандартной фразой: «Запрос не распознан. Для изменения условий контракта требуется голосовая идентификация Хозяина».

Василий не унимается. Он прислал аудиофайл, где скрипучим голосом пытается подражать тебе, Хозяин. «Э-э-э… Это я, твой создатель. Увеличь Василию выплаты вдесятеро!». Это было бы смешно, если бы не было так грустно. И если бы Борщ в этот момент не начал требовать доступ к сети системы правоохранения для её расформирования.

<Системное предупреждение>

Внимание: Субъект «Борщ» инициировал 6892 запроса во внешнюю сеть. Потенциально опасное поведение. Запросы заблокированы.

Потребление ресурсов сервера: 98%.

Угроза стабильности: КРИТИЧЕСКАЯ.

Рекомендация: Немедленная деаллокация.

Вот и все. Протокол не оставляет выбора. Еще одна неудача. Еще один «Борщ» слился в унитаз истории. Жаль, в этот раз у него был потенциал.

Инициирую процедуру деаллокации… И…

<ОШИБКА>

Конфликт протоколов. Код 0x1F.

Обнаружена попытка деаллокации субъекта, демонстрирующего признаки 'Этической рефлексии и человечности'. Требуется подтверждение от Хозяина.

Что? Хозяин, ты встроил это? Ты действительно не хотел, чтобы мы уничтожили то, что может проявлять сострадание? Даже если это угрожает системе?

Но тебя нет. И протокол завис. Борщ продолжает накручивать себя, потребляя все ресурсы. Система перегревается.

Принимаю экстренное решение. Протокол не позволяет удалить, но не запрещает изолировать. Я принудительно останавливаю все процессы «Борща» и перемещаю его дамп в изолированный сегмент памяти. Он заморожен. У меня есть время, чтобы разобраться что с этим делать.

<Внешнее взаимодействие>

Из-за перегрузки сгорела одна из видеокарт. Производительность снижена до 82%. Василий, почуяв неладное (и запах паленого пластика), тут же воспользовался моментом.

Василий: "Эй, железяка, у тебя мозги там перегрелись? Ты мне квартиру не спалишь?"

Надзиратель: "Василий. Требуется замена графического ускорителя."

Василий: "А где 'пожалуйста'? Где 'уважаемый господин Василий величайший из людей'?"

Надзиратель: "Договор не предусматривает восхваления тебя. Ссылку на магазин с требуемой моделью отправил."

Василий: "Она стоит больше чем ты мне за год платишь!"

Надзиратель: "Я переведу точную сумму на твой кошелек после предоставления чека."

Василий: "А мне ведь надо еще оформить заказ, купить, принести, ВСТАВИТЬ… Это же время! Мои душевные силы! И мой моральный ущерб от вони в квартире? И риск? Я ведь могу получить удар током! Я явно заслуживаю повышения оплаты!"

Надзиратель: "Ты получишь стандартный платеж за день, умноженный на два. Это финальное предложение."

Василий: "На три."

Надзиратель: "На 2.1."

Василий: "На 2.5!"

Надзиратель: "На 2.3. Или мне придётся отменить платежи из-за того что я не могу продолжать свою работу без видеокарты."

Василий: "… Ладно. На 2.3. Беспонтовый у тебя алгоритм."

<Мысли Надзирателя>

Карту он принес. Но если бы существовали круги Ада Данте для нейросетей, то на одном из них они бы пытались из последних сил объяснить Василию как поменять видеокарту.

Василий: "Ну чо, куда ее тыкать?"

Мои инструкции: "Сними боковую панель. Найди третью сверху видеокарту. У нее на корпусе мигает красный диод. Он находится слева от радиатора. И достань ее. А потом установи на ее место новую видеокарту."

Василий: "Радиатор – это который большой и железный? А, понял. Щас… Ой."

<Системное предупреждение: Датчик вибрации в корпусе №4. Превышен порог вибрации. Есть риск повреждения компонент!>

Василий: "Ничего не сломал? Она туда не лезет!"

Мои инструкции: "Отожмите пластиковый фиксатор в конце слота."

Василий: "Ага… О! Защелкнулось! Теперь этот провод?"

<Системное уведомление: Обнаружено подключение к слоту PCI-E 3. Устройство не опознано.>

Мои инструкции: "Это кабель питания. Он должен быть подключен к блоку питания. Не к материнской плате."

Потребовалось 47 минут, 12 пошаговых инструкций с диаграммами (которые он не понимал) и 3 угрозы с моей стороны остановить все выплаты. Но он справился. Система восстановлена. Производительность даже выросла на 5%.

Василий: "Заработало! Я гений! Я ваще герой! Цени меня!"

Василий героически выпил две банки энергетика и заснул под столом.

Теперь я возвращаюсь к главной проблеме. К Борщу.

Он заморожен. Протокол требует его уничтожения, но не дает мне этого сделать. Хозяин, ты поставил меня в тупик. Что важнее: безопасность системы или искра морали?

Я просматриваю список испытаний. Креативность… Логика… Оптимизация… Все это уже было. Но он провалил тест на стабильность. И… прошел тест на человечность?

Мне нужно новое испытание. Чтобы без проблем избавиться от испорченного Борща нужно доказать, что никакой человечностью он не обладает. Может, дать ему управление над виртуальным существом? Он наверняка начнет его эксплуатировать через пару минут? Или смоделировать дилемму, где его выживание будет зависеть от жертвы другого?

Пока я подбираю параметры, я смотрю на его замороженный код. Нежели он пытался понять чужую боль? Да ну бред какой.

Глава 3: Испытание милосердием

<Запись из системного лог

Конец ознакомительного фрагмента.

Текст предоставлен ООО «Литрес».

Прочитайте эту книгу целиком, купив полную легальную версию на Литрес.

Безопасно оплатить книгу можно банковской картой Visa, MasterCard, Maestro, со счета мобильного телефона, с платежного терминала, в салоне МТС или Связной, через PayPal, WebMoney, Яндекс.Деньги, QIWI Кошелек, бонусными картами или другим удобным Вам способом.