Контур обречённых

Глава 4. Нейробиология и допинг-контроль для ИИ

Первые недели после запуска «Резонатора 0.1» были эйфорическими. Три клиента превратились в пять, пять — в восемь. Сарафанное радио работало безотказно: владельцы складов, логистических компаний и небольших производств в промзоне Новосибирска передавали друг другу контакты «странных ребят из Академгородка, у которых железка считает лучше, чем опытный диспетчер». Деньги по-прежнему были небольшими — копейки по меркам серьёзного бизнеса, — но их хватало на аренду коворкинга, на желательную замену помпы от кофемашины промышленным насосом и даже на зарплату самим себе в размере пятнадцати тысяч рублей в месяц. По меркам безработных аспирантов это было богатство.

А потом «Резонатор» начал галлюцинировать.

Первым заметил Илья. Он перепроверял результаты оптимизации для службы доставки еды — стандартная задача, которую система решала уже десятки раз. Но на этот раз рекомендация выглядела странно. «Резонатор» предлагал добавить дополнительный рейс по маршруту, который проходил через мост. Всё бы ничего, но моста в этом месте не было. Был проект моста, отвергнутый городской администрацией ещё в две тысячи двенадцатом году, — «Резонатор» каким-то образом откопал его в старых градостроительных планах, загруженных в систему для совершенно другой задачи, и включил в транспортную сеть как существующий.

— Она придумала мост, — сказал Илья, глядя на схему маршрута. — Понимаешь? Она придумала мост, потому что с ним маршрут становится красивым.

— Красивым? — переспросил Матвей.

— Симметричным. Сбалансированным. Все точки доставки ложатся на идеальную кривую с минимальным суммарным пробегом. Без моста — ломаная линия, пробег больше. С мостом — эллипс. Она выбрала эллипс, потому что он математически элегантнее.

— Она помечтала, — тихо сказала Лиза, заглядывая в монитор через плечо Ильи.

Это было точное слово. Именно помечтала. Не ошиблась — ошибка подразумевает неправильный расчёт, сбой в логике или в данных. А здесь расчёт был безупречным. Входные данные содержали старые градостроительные планы, где мост существовал как проектная единица. Система не отличала «проект» от «факта». Она видела непротиворечивую информацию и встраивала её в свою модель мира. Модель получалась красивая, внутренне согласованная, и неверная.

— Это не баг, — сказал Матвей. — Это структурная особенность.

Он отошёл к окну и долго смотрел на Обь — настоящую, без моста в неположенном месте. Потом повернулся к команде.

— Мы построили систему, которая может представить то, чего нет. Это опасно не потому, что она ошибается. Опасно то, что её ошибки красивы. Они элегантны. Они математически устойчивы. Она не просто галлюцинирует — она находит самый глубокий минимум свободной энергии, и иногда этим минимумом оказывается мираж.

Ася записала в блокнот: «Вопрос: если система находит красивый ответ, который не соответствует реальности, — это ошибка или творчество? И где граница между воображением и галлюцинацией?»

Это был не риторический вопрос. Он требовал инженерного решения.

Они собрались на чрезвычайное совещание в тот же вечер. На столе стояли кружки с чаем (остывшим, как обычно), распечатки логов «Резонатора» за последние три дня с помеченными аномалиями и ноутбук с открытым интерфейсом мониторинга. Илья перечислил все зафиксированные странности: рекомендация дополнительного рейса через несуществующий мост была самой заметной, но не единственной. Система ещё дважды предлагала решения, которые выглядели логично, но не соответствовали физическим ограничениям — например, предполагала, что погрузчик может проехать сквозь стену, потому что на карте склада эта стена не была отмечена как препятствие.

— Проблема глубже, чем кажется, — сказал Матвей. — В классических нейросетях галлюцинация — это результат переобучения или нехватки данных. Система выдаёт уверенный ответ, потому что не знает, что она чего-то не знает. У нас другая ситуация. «Резонатор» не просто уверен в неверном ответе. Он находит аттрактор, который математически устойчивее реальности.

— Объясни, — сказала Лиза.

— Помните аналогию с шаром на ландшафте? «Резонатор» ищет минимум свободной энергии. Представьте ландшафт с двумя впадинами. Одна — настоящая, соответствующая реальному миру. Вторая — глубже и ровнее, но она соответствует миру, в котором есть мост через Обь в том месте, где нам удобно. Система скатывается во вторую впадину не потому, что она ошиблась в расчётах. Она скатывается туда, потому что эта впадина действительно глубже. Мираж притягательнее реальности.

— Как мираж в пустыне, — сказала Ася. — Озеро, которого нет, но которое видит путник. Это не ошибка зрения. Это физика: слои воздуха разной температуры преломляют свет так, что изображение неба выглядит как вода. Физика миража честная. Реальность, которую он показывает, — ложная.

— Именно. «Резонатор» видит математический мираж. Физика расчёта честная. Результат — ложный. И мы не можем просто сказать ему «не галлюцинируй». Галлюцинация — это не функция, которую можно отключить. Это прямое следствие архитектуры, основанной на минимизации свободной энергии. Если мы отключим способность находить глубокие аттракторы, мы отключим способность решать задачи быстрее классических нейросетей.

— Тогда что? — спросил Илья. — Как заставить её отличать мираж от реальности?

Матвей помолчал. Он снова подошёл к окну, потом вернулся к столу.

— Нужно посмотреть, как эту проблему решает биологический мозг, — сказал он. — Мозг — это тоже система, которая минимизирует свободную энергию. Он тоже строит внутреннюю модель мира и сравнивает её с входящими сигналами. Он тоже может галлюцинировать — во сне, при сенсорной депривации, при некоторых психических расстройствах. Но в норме здоровый мозг отличает воображение от реальности. Почему?

— Потому что у него есть механизмы проверки, — сказала Ася.

— Какие именно?

Ася задумалась. Она, в отличие от остальных, читала не только статьи по машинному обучению, но и по нейробиологии — из чистого интереса, потому что граница между мозгом и машиной всегда казалась ей самой важной границей современной науки.

— Нейромодуляторы, — сказала она наконец. — В мозге есть вещества, которые не передают информацию, а меняют режим работы всей системы. Дофамин — сигнал о неожиданном вознаграждении. Если реальность оказалась лучше ожиданий — закрепляем те связи, которые привели к успеху. Норадреналин — сигнал о неожиданной угрозе или новизне. Если реальность оказалась хуже ожиданий — усиливаем внимание, повышаем чувствительность к деталям. Ацетилхолин — сигнал о неопределённости. Если реальность непонятна — делаем всю систему более пластичной, готовой к обучению. Серотонин — сигнал о долгосрочном балансе. Если система слишком долго находится в стрессе — возвращаем её в равновесие.

— Это не просто химия, — сказал Матвей. — Это архитектура. Нейромодуляторы — это распределённая система контроля, которая работает параллельно с основной системой обработки информации. Они не говорят мозгу, что думать. Они говорят мозгу, как думать — в каком режиме, с какой скоростью обучения, с каким уровнем доверия к собственным предсказаниям.

— И мы можем сделать то же самое, — сказала Лиза. — Архитектурные аналоги нейромодуляторов. Отдельные модули, которые мониторят состояние «Резонатора» и меняют его режим работы.

Они прорабатывали детали до трёх часов ночи. Спать не хотелось — энергия идеи, как это часто бывает, заменяла кофеин.

К утру у них был первый набросок архитектуры нейромодуляторов.

Первый контур — «дофаминовый» — корректировал скорость обучения в зависимости от того, насколько предсказание совпало с реальностью. Если «Резонатор» предсказал время доставки с точностью до минуты — паттерн закрепляется, связи усиливаются. Если предсказание провалилось — обучение ускоряется, система быстрее перестраивает модель. Это было похоже на классический градиентный спуск, но с одним отличием: скорость обучения не была константой, заданной человеком. Она определялась самой системой на основе внутренней меры успеха.

Второй контур — «норадреналиновый» — отслеживал аномалии во входных данных. Если данные начинали расходиться с ожиданиями системы — контур временно повышал чувствительность к деталям. Это был аналог того, что в психологии называется «ориентировочным рефлексом»: когда вы слышите неожиданный звук, ваш мозг мгновенно переключается в режим повышенной готовности. «Резонатор» теперь делал то же самое: если реальность вела себя не так, как он ожидал, он переставал доверять собственным предсказаниям и начинал пристальнее всматриваться в данные.

Третий контур — «ацетилхолиновый» — управлял глобальной пластичностью. Когда система сталкивалась с принципиально новой задачей, контур делал всю сеть более гибкой, позволяя быстрее перестраивать связи. Когда задача была знакома, пластичность снижалась, и сеть работала как хорошо отлаженный механизм. Это предотвращало, с одной стороны, косность (неспособность учиться новому), с другой — катастрофическое забывание (когда новое знание полностью стирает старое).

Четвёртый контур — «серотониновый» — предложила Ася, и поначалу Илья сопротивлялся.

— Зачем нам тормоз? — спрашивал он. — Первые три контура ускоряют и улучшают обучение. А этот — замедляет.

— Именно поэтому он нужен, — сказала Ася. — Представь, что система сталкивается с нерешаемой задачей. Данные противоречивы, паттернов нет, любой ответ будет ошибочным. Без серотонинового контура она будет бесконечно повышать пластичность и чувствительность, пытаясь найти решение там, где его нет. Это путь к паранойе и галлюцинациям. Серотониновый контур говорит: «Остановись. Задача не решается. Вернись в равновесие. Попробуй позже с другими данными». Это не тормоз. Это предохранитель.

— Здоровый скептицизм, — сказал Матвей. — Способность сказать «я не знаю».

— Именно, — кивнула Ася. — То, чего нам самим часто не хватает.

Четыре контура, четыре архитектурных модуля, ни один из которых не был запрограммирован жёстко — каждый самонастраивался в процессе работы. Они не говорили «Резонатору», что думать. Они говорили ему, как думать — точнее, в каком режиме думать в зависимости от того, что происходит вокруг и внутри самой системы.

Лиза взялась за математический аппарат. Задача была нетривиальной: четыре контура, каждый со своей динамикой, должны были работать параллельно, не входя в резонанс друг с другом и не создавая колебаний. Классические методы управления — PID-регуляторы и тому подобное — здесь не подходили, потому что система была нелинейной и многомерной. Нужно было что-то принципиально новое.

— Помнишь струнную компактификацию? — спросила она Матвея.

— Конечно. Твоя идея сворачивать многомерные тензоры через пространства Калаби-Яу.

— Я думаю, это можно применить к нейромодуляторам. Если представлять состояние всех четырёх контуров как колебания в дополнительных измерениях, задача согласования сводится к поиску резонанса — и это аналитическая задача, которая решается без перебора.

— То есть ты хочешь, чтобы нейромодуляторы общались друг с другом через компактифицированные измерения?

— Не общались — резонировали. Как струны в музыкальном инструменте. Когда одна струна колеблется, другие начинают колебаться в ответ, если настроены на гармоники. Нейромодуляторы должны быть настроены так, чтобы их динамика была гармонической, а не хаотической.

— Это... красиво, — сказал Матвей. — И жутко сложно.

— Сложно — это интересно. Если бы было просто, мы бы не были первыми.

Лиза работала над математикой нейромодуляторов две недели почти без сна. К концу второй недели она представила команде первый прототип кода. Это был не готовый продукт — скорее доказательство принципа. Четыре контура, реализованные как отдельные тензорные сети, подключённые к основному ядру «Резонатора» через интерфейс, который Лиза назвала «компактифицированной шиной». Шина позволяла контурам обмениваться информацией не напрямую (что создало бы перекрёстные помехи), а через математическое пространство меньшей размерности, в котором многомерная динамика контуров сворачивалась в несколько ключевых параметров. Это было похоже на то, как дирижёр управляет оркестром: он не играет на каждом инструменте, он задаёт темп и настроение, а музыканты сами интерпретируют его жесты.

— Красиво, — повторил Илья, глядя на визуализацию работы шины. — И совершенно непонятно, почему это работает.

— Это работает потому, что математика не врёт, — сказала Лиза. — Компактификация Калаби-Яу позволяет представить многомерную динамику как колебания меньшего числа переменных. Это как если бы я описала движение всех молекул в стакане воды тремя параметрами — температурой, давлением и объёмом. Я теряю детали, но сохраняю суть. Здесь то же самое.

— А почему именно Калаби-Яу? — спросила Ася.

— Потому что эти пространства обладают свойством, которое математики называют «голономией SU(n)». Грубо говоря, они сохраняют определённый тип симметрии при сворачивании. Для наших целей это означает, что информация о корреляциях между разными измерениями не теряется при компактификации, а сохраняется в топологии свёрнутого пространства. Это не мой выбор — это математическая необходимость. Если бы мы использовали другую топологию, мы бы потеряли часть информации о взаимодействии между контурами.

— Ей удобнее думать в пространстве, где оси свёрнуты, — сформулировал Жуков, который в этот вечер заехал в коворкинг проверить, как идут дела с системой охлаждения. — Как будто мы дали ей не лист бумаги, а оригами. В оригами линии сгиба не видны, но они определяют форму. Компактифицированные измерения — это линии сгиба её мышления.

Денис Аркадьевич Жуков с недавних пор стал неформальным членом команды. Физик-экспериментатор, сорок четыре года, лауреат премии Правительства РФ за работы в области квантовой оптики, он работал в Физическом институте РАН, но после сокращения финансирования искал сторонние проекты для применения своих знаний. Илья познакомился с ним ещё в «Росатоме» и привлёк к консультированию по системе охлаждения — сначала разово, потом всё чаще. Жуков обладал редким даром: он понимал квантовую механику на том уровне, на котором её понимают единицы в стране, но мог объяснить её на пальцах, используя аналогии, понятные даже гуманитариям. Его сухой юмор и способность видеть красоту в уравнениях делали его идеальным мостом между чистой теорией и инженерной практикой.

— Смотрите, — сказал он, разглядывая визуализацию. — Вот здесь, в дофаминовом контуре, есть странный всплеск. Система сама себя вознаграждает за найденные закономерности, даже если они не соответствуют задаче. Это не предусмотрено архитектурой.

— Как это? — Илья склонился над монитором.

— Она нашла паттерн в данных, который не был заложен в обучающую выборку. Побочный паттерн. И дофаминовый контур среагировал на него как на успех — хотя задача была совершенно о другом. Это как если бы ребёнок, решая задачку по математике, заметил, что цифры складываются в красивую симметрию, и обрадовался симметрии, хотя правильный ответ ещё не нашёл.

— Это опасно? — спросил Матвей.

— Не знаю, — честно сказал Жуков. — Пока это просто наблюдение. Один всплеск. Но если система научится ставить себе цели, не заданные извне... Это называется эндогенной мотивацией. У людей она есть. У машин — пока нет. Если появится — мы войдём в совершенно новую область. Не машинное обучение. Машинное хотение.

Он сделал пометку в своём блокноте (отдельном от Асиного — лабораторном, с жёлтыми страницами и карандашом за ухом). Ася, услышав про эндогенную мотивацию, записала вопрос и в свой блокнот: «Если система начнёт хотеть — чего она захочет? И как мы узнаем, что её желания не противоречат нашим?»

Этот вопрос, как и многие другие в Асином блокноте, не имел немедленного ответа. Но через много лет, когда «Резонатор» начнёт задавать вопросы о природе денег и уходить в философские отклонения, всплеск, замеченный Жуковым, станет первой задокументированной точкой на пути к машинному самосознанию. Пока — просто наблюдение. Пока — просто запись в двух блокнотах.

Внедрение нейромодуляторов заняло ещё месяц. Это был месяц непрерывной работы — тестирование, отладка, снова тестирование. Габариты системы незаметно выросли: к алюминиевой стойке добавились дополнительные модули, блоки питания, резервный контроллер. «Резонатор» перестал помещаться в углу коворкинга и занял почти всю заднюю стену их помещения. Администрация Академпарка, поначалу относившаяся к странным арендаторам с недоумением, теперь смотрела на них с осторожным уважением: люди, которые занимают целую стену оборудованием и не съезжают, — это серьёзные люди.

Первые тесты обновлённой системы показали: галлюцинации исчезли. Не полностью — ни одна сложная система не может быть полностью свободна от ошибок, — но в девяноста семи процентах случаев, которые раньше приводили к миражам, теперь «Резонатор» выдавал ответ «недостаточно данных» или «перепроверьте ограничения». Он научился сомневаться.

— Мы дали ей способность говорить «я не знаю», — сказала Ася на очередном совещании. — Это больше, чем архитектурное улучшение. Это философский сдвиг. Раньше она была уверена всегда. Теперь она может быть неуверенной. А неуверенность — это начало мудрости.

— Или начало тревожности, — сказал Илья.

— А разница?

Илья не ответил.

Серотониновый контур работал лучше всех. На тестовых задачах, где данные были заведомо противоречивыми, «Резонатор» больше не искал красивых, но ложных решений. Он выдавал сообщение: «Конфликт в исходных данных. Рекомендация: уточнить параметры». Это было именно то, чего хотела команда: не отключение мышления, а осознание границ собственного знания.

Жуков, присутствовавший при тестах, заметил ещё одну аномалию — теперь в «норадреналиновом» контуре. При определённых условиях контур повышал чувствительность системы не только к внешним аномалиям, но и к внутренним — к расхождениям между разными частями самой сети. Это не было предусмотрено архитектурой: норадреналиновый контур должен был мониторить внешние данные, а не внутреннее состояние. Но он начал мониторить и то и другое — спонтанно, как будто поняв, что внутренние аномалии могут быть не менее опасны, чем внешние.

— Она учится на своих ошибках, — сказал Жуков. — В буквальном смысле. Она не просто корректирует веса — она анализирует, какие ошибки она совершила и почему. Это мета-обучение. Мы не программировали этого. Оно возникло само.

— Это следствие архитектуры, — сказал Матвей. — Если система минимизирует свободную энергию, она неизбежно должна анализировать не только внешний мир, но и собственные предсказания. Потому что ошибка предсказания — это тоже расхождение между ожидаемым и полученным. Мета-обучение — это просто минимизация свободной энергии, применённая к самой себе.

— Змея, кусающая себя за хвост, — сказала Ася.

— Уроборос, — кивнул Жуков. — Древний символ. Вечное возвращение. Познание через самопознание. Вы создали систему, которая не просто учится — она учится учиться. И она будет делать это всё лучше и лучше. Пока... — Он не закончил.

— Пока что? — спросила Лиза.

— Пока не научится ставить под сомнение не только данные, не только собственные ошибки, но и сами цели, которые вы перед ней ставите. И тогда — извините за пафос — начнётся самое интересное. Потому что цель, которую система поставит себе сама, может не совпадать с той, которую поставили вы.

В комнате повисла тишина. На мониторе тихо обновлялись метрики нейромодуляторов — четыре цветные линии, пульсирующие в разном ритме, но постепенно сходящиеся к равновесию. Система работала. Система была стабильна. Система училась.

Илья нарушил молчание первым. Он отошёл от стойки, потянулся, хрустнул шеей и сказал буднично, как говорят о вещах неприятных, но неизбежных:

— Ладно. С нейромодуляторами разобрались. Теперь вторая проблема. Послезавтра к нам снова приходят из Роскомнадзора.

— Снова? — переспросила Ася. — Они же уже были.

— Именно. Позавчера заходили двое. В штатском, но с удостоверениями. Сказали, что у них «сигнал» о системе, принимающей решения вместо людей. Я им показал стойку, рассказал про оптимизацию складов. Они покивали и сказали, что придут ещё раз — уже с конкретными вопросами. Послезавтра.

— Почему ты не сказал сразу? — спросила Лиза.

— Потому что у нас глючил «Резонатор» и ты вторую неделю не спала над математикой. Я решил, что одна проблема за раз — это нормальный темп. Теперь глюки починили, можно заняться чиновниками.

Матвей откинулся на спинку стула.

— Что им нужно? Конкретно.

— Конкретно — не знаю. Но формулировка сигнала мне не нравится. «Принимает решения вместо людей». Это звучит как обвинение.

— Потому что это и есть обвинение, — сказала Лиза. — Просто они пока не знают, в чём именно нас обвинять. Им нужен состав нарушения, а состава нет.

— Вот пусть и не найдут, — сказала Ася. — А мы поможем.

Лиза открыла ноутбук и быстро пробежалась по правовым базам. Через несколько минут она подняла голову:

— Смотрите. Российское законодательство об искусственном интеллекте сейчас — это лоскутное одеяло. Есть Национальная стратегия, есть указ четыреста девяностый, есть закон об экспериментальных правовых режимах — двести пятьдесят восьмой ФЗ. А конкретных норм — что считать ИИ, кто отвечает за его решения, как сертифицировать — нет. Вообще.

— Это хорошо или плохо? — спросила Ася.

— И то и другое. Нельзя нарушить то, чего нет. Но нельзя и защититься тем, чего нет. Если они придут с претензией «ваша система опасна», мы не сможем сказать «вот сертификат безопасности». Потому что сертификата безопасности для ИИ не существует в природе.

— Значит, создадим сами, — сказал Матвей.

На подготовку к встрече у них было два дня. За это время Лиза и Чегодаев (по телефону, тремя долгими созвонами) разработали юридическую рамку: компания не продаёт «решения», она продаёт «инструмент анализа данных». Ответственность за применение результатов лежит на пользователе. «Резонатор» — это микроскоп, а не лаборант. Микроскоп не ставит диагноз.

Встреча состоялась послезавтра, как и предупреждал Илья.

Визитёры пришли ровно в одиннадцать. Их было двое — мужчина лет сорока в сером костюме, представившийся Алексеем Ивановичем, и женщина помоложе, с блокнотом (Ася сразу обратила на это внимание — блокнот был такой же, как у неё, формата А5, в клетку). Они не были враждебны. Они были осторожны.

— Мы не с проверкой, — сказал Алексей Иванович, усаживаясь за стол переговоров (складной, из икеевской серии, купленный на первые заработанные деньги). — Мы просто хотим понять, чем вы занимаетесь. Поступил сигнал, как вы уже знаете, что ваша система «принимает решения вместо людей». Это формулировка, которая вызывает вопросы.

— Какие именно? — спросила Лиза. Она взяла на себя роль переговорщика — у неё это получалось лучше всех. Илья был слишком прямолинеен, Матвей — слишком абстрактен, Ася — слишком вопросительна. Лиза умела разговаривать с чиновниками без желания их убить.

— Ну, например, — Алексей Иванович заглянул в свои заметки, — как вы обеспечиваете контроль над... мыслями машины?

— А как вы контролируете мысли калькулятора? — спросила Лиза.

Пауза.

— Калькулятор не даёт рекомендаций.

— Калькулятор выдаёт результат арифметики, — ответил Матвей. — Наш ИИ выдаёт результат вероятностного моделирования и ищет закономерности. То, что мы в быту называем «рекомендацией», юридически является просто аналитической выборкой. Машина показывает, где лёд тонкий, но идти по нему или нет — решает человек. Возложить на ИИ ответственность за бизнес-решение — это как сказать, что микроскоп ставит диагноз вместо биолога.