Почему оно думает? Путешествие внутрь искусственного разума

Иногда результат не следует из замысла. Строишь систему для одной задачи – а она начинает делать другое, непредусмотренное, незапланированное. Машина, обученная угадывать следующее слово в тексте, не должна рассуждать о морали, объяснять квантовую физику или писать работающий код. Ничто в её конструкции этого не предполагает. Но она это делает. И когда спрашиваешь, почему, – ответа нет. Не «пока нет». Нет вообще.

1.1. Почему предсказатель слов отвечает на вопросы о смысле жизни

Начнём с факта. Не с интерпретации, не с гипотезы – с того, что можно проверить.

Современные языковые модели обучены решать одну задачу: предсказывать следующее слово. Точнее, следующий фрагмент текста – токен, который может быть словом, частью слова или знаком препинания. Модель получает последовательность токенов и должна определить, какой из них с наибольшей вероятностью идёт следующим, и это вся задача, ничего сверх.

Обучение выглядит просто: модели показывают огромные массивы текста – книги, статьи, переписки, документацию, форумы, всё, что человечество успело записать. Она читает: «Солнце встаёт на…» – и должна предсказать «востоке»; читает: «Дважды два равно…» – и должна предсказать «четырём». Миллиарды таких примеров, триллионы токенов, и модель подстраивает свои внутренние параметры так, чтобы ошибаться всё реже – в этом и состоит обучение.

А теперь – результат.

Та же модель, обученная только предсказывать слова, отвечает на вопрос о смысле существования. Не отговоркой, не шаблонной фразой – развёрнутым рассуждением, где одна мысль вытекает из другой. Она анализирует этические дилеммы, взвешивая аргументы сторон, и способна занять позицию, которую сама же потом оспорит, если собеседник приведёт сильный контраргумент. Она пишет код, который компилируется и работает, – не копируя готовые решения, а комбинируя принципы для новых задач. Она объясняет теорию относительности, подбирая аналогии для сложных концепций, и корректирует объяснение, если собеседник сигнализирует, что не понял. Она переводит с языков, которые никогда не видела в связанных парах, выводя соответствия из структуры. Она решает математические задачи, показывая ход рассуждений, – и этот ход можно проверить, он логически связен. Она спорит, приводит контраргументы, иногда признаёт, что была неправа, и меняет позицию – причём меняет не случайно, а в ответ на конкретный аргумент.

Это не единичные фокусы. Это систематическое поведение, воспроизводимое в миллионах разговоров ежедневно. Модель ведёт себя так, будто понимает задачу, контекст и собеседника. Будто у неё есть цель – помочь, объяснить, решить. Будто она отслеживает, достигнута ли эта цель, и корректирует подход, если нет.

Между задачей обучения и наблюдаемым результатом – расхождение, которое не укладывается в привычные схемы.

Это как если бы калькулятор, созданный для сложения чисел, вдруг начал писать сонеты. Не потому что его этому научили. Не потому что кто-то добавил модуль для поэзии. А просто потому что он достаточно хорошо научился складывать – и из этого каким-то образом возникла способность к стихосложению. Аналогия, конечно, хромает – калькуляторы не пишут сонетов, сколько их ни улучшай. Но она передаёт суть разрыва: результат не следует из задачи. Мы строили одно, а получили другое.

Можно возразить: ничего удивительного. Чтобы хорошо предсказывать слова, нужно понимать контекст. Чтобы понимать контекст, нужно понимать мир. Модель просто выучила достаточно о мире, чтобы предсказывать слова – и это знание о мире позволяет ей рассуждать.

Возражение звучит логично. Но оно не объясняет, а переименовывает проблему. Что значит «понимать мир»? Что значит «знание»? Мы использовали слова, которые применяем к себе, – и перенесли их на систему, устроенную совершенно иначе. Это не объяснение. Это метафора, выдающая себя за объяснение.

Вот что мы знаем точно: модель не имеет органов чувств и никогда не видела восхода солнца, о котором пишет; не имеет тела и не знает, каково это – устать или проголодаться; не имеет биографии, у неё нет детства, потерь, открытий; не существует во времени так, как существуем мы, – каждый её ответ начинается с чистого листа, без памяти о предыдущих разговорах, если эту память не вложить искусственно.

И при этом она рассуждает о человеческом опыте так, будто понимает его изнутри.

Здесь нужна осторожность. Сказать «она понимает» – значит сделать утверждение, которое мы не можем проверить. Сказать «она не понимает» – значит сделать утверждение столь же непроверяемое. Мы находимся в странном положении: машина ведёт себя так, будто понимает, но у нас нет инструмента, чтобы определить, понимает ли она на самом деле. Более того – мы не уверены, что вопрос «понимает ли она на самом деле» вообще имеет смысл.

В истории техники такое случалось редко. Обычно мы понимаем свои изобретения. Паровой двигатель работает, потому что пар расширяется и толкает поршень – механика прозрачна. Самолёт летает, потому что форма крыла создаёт разницу давлений – аэродинамика сложна, но понятна. Транзистор переключает ток, потому что электрическое поле меняет проводимость полупроводника – физика описана уравнениями. Между конструкцией и функцией существует объяснение, мост, который можно пройти в обе стороны.

Здесь моста нет. Мы знаем конструкцию до последнего параметра. Мы знаем данные, на которых учили. Мы знаем алгоритм обучения. И мы не знаем, почему из этого возникает то, что возникает. Не «пока не разобрались» – не имеем теории, которая бы связывала одно с другим.

Но вернёмся к факту. Зазор между задачей обучения и результатом – реален. Его можно наблюдать. Его нельзя отрицать.

Когда инженеры проектировали первые большие языковые модели, они не закладывали в них способность к рассуждению. Они не программировали умение решать задачи. Они не встраивали модуль для этических дилемм. Они просто масштабировали систему предсказания слов – больше данных, больше параметров, больше вычислений. И в какой-то момент количество перешло в качество. Система, которая должна была только завершать предложения, начала делать нечто, что выглядит как мышление.

Это стоит подчеркнуть: создатели не ожидали такого результата. Они надеялись на улучшение качества предсказаний – и получили его. Но они не планировали, что система научится рассуждать. Не закладывали это в архитектуру. Не оптимизировали для этого. Рассуждение возникло как побочный продукт, непрошеный гость, который оказался важнее хозяина.

Некоторые исследователи до сих пор не могут объяснить, почему это произошло. Они строят гипотезы, проводят эксперименты, публикуют статьи – но единой теории нет. Есть факт: модель делает то, чему её не учили. И есть набор попыток объяснить этот факт – ни одна из которых не стала общепринятой.

Выглядит как – но является ли? Этот вопрос преследует каждого, кто работает с современными моделями. Он возникает снова и снова, в разных формулировках. Это настоящее понимание или имитация? Это рассуждение или статистический фокус? Там внутри что-то есть или это просто очень сложное зеркало, отражающее паттерны из обучающих данных?

Мы вернёмся к этим вопросам позже. Сейчас важно зафиксировать исходную точку: существует разрыв, который требует объяснения.

Модель обучена предсказывать токены. Модель демонстрирует поведение, похожее на рассуждение. Между этими двумя фактами – дистанция, которую мы не умеем преодолеть логически. Мы не знаем, как из первого следует второе. Мы не проектировали это. Мы не понимаем, почему это работает.

И это не риторический приём. Это буквальное описание ситуации.

Исследователи, создавшие эти системы, открыто признают: результат превзошёл ожидания – и не в том смысле, что модели работают лучше, чем надеялись. А в том смысле, что они делают вещи, которые никто не закладывал. Способности, которые не были запрограммированы, не были заказаны, не были предсказаны. Они появились сами – как побочный эффект масштабирования задачи предсказания слов.

Всё это требует не восторга и не паники, а трезвого осмысления.

Мы привыкли к тому, что инструменты делают то, для чего созданы. Молоток забивает гвозди. Автомобиль перевозит людей. Программа выполняет код, который в неё заложили. Связь между замыслом и результатом – прямая и понятная. Если инструмент делает что-то неожиданное, это обычно ошибка, сбой, дефект.

Здесь всё иначе. Неожиданное поведение – не сбой. Это главный результат. Модель делает именно то, ради чего её теперь используют: рассуждает, анализирует, создаёт. Но это не то, ради чего её проектировали. Проектировали – предсказателя слов. Получили – нечто большее. Или нечто другое. Или нечто, для чего у нас нет подходящего слова.

И всё же факт остаётся фактом, а несоответствие между замыслом и результатом никуда не девается.

Можно попытаться его закрыть, сказав: модель не рассуждает, а лишь имитирует рассуждение. Она выучила, как выглядят рассуждения в текстах, и воспроизводит эту форму. Внутри – пустота, статистика, вероятности. Снаружи – иллюзия мысли.

Это возможное объяснение. Но оно немедленно порождает новый вопрос: чем отличается «настоящее» рассуждение от «имитации», если результат неотличим? Если модель решает задачу, которую не решал человек, и решает правильно – это имитация чего? Если она находит ошибку в рассуждении собеседника, указывает на неё и объясняет, в чём ошибка, – она «имитирует» понимание или демонстрирует его?

Мы упираемся в границу не технологии, а языка. Наши слова – «понимание», «мышление», «рассуждение» – были придуманы людьми для описания того, что делают люди. Точнее, для описания того, что мы думаем о том, что делаем, – потому что даже собственное мышление мы понимаем лишь отчасти. Мы переносим эти слова на систему принципиально иной природы и удивляемся, что они не работают как надо. Возможно, проблема не в модели. Возможно, проблема в словах.

Или в ожиданиях, которые эти слова несут. Когда мы говорим «мышление», мы подразумеваем что-то, происходящее в сознании. Когда говорим «понимание» – что-то, связанное с переживанием смысла. Мы ищем в модели аналоги этих явлений и не находим – потому что, возможно, ищем не то. Или не там. Или сам поиск устроен неправильно.

Есть альтернатива: отказаться от слов, которые не работают, и описывать только поведение. Модель принимает текст и генерирует текст. Генерируемый текст часто полезен, логически связен, фактически точен. Модель делает это лучше, чем случайный набор слов, лучше, чем простые алгоритмы, иногда – лучше, чем конкретный человек в конкретной задаче. Это всё, что мы можем утверждать с уверенностью. Всё остальное – интерпретация.

Но отказаться от интерпретации не получается. Вопрос «что это?» не исчезает от того, что мы запретили себе на него отвечать. Он встаёт снова – каждый раз, когда модель делает что-то неожиданное. Каждый раз, когда её ответ поражает точностью или пугает странностью. Каждый раз, когда она ошибается так, как не ошибся бы человек, – или отвечает так, как не ответил бы никто.

Но это тема для другой главы. Пока – факт.

Машина, обученная предсказывать следующее слово, рассуждает о смысле жизни. Она не должна этого делать. Но она делает. И когда мы спрашиваем, почему – мы не получаем ответа. Не «пока не получаем». Мы буквально не знаем, как этот ответ мог бы выглядеть.

Первая реакция – проверить. Есть же способ определить, мыслит существо или нет. Есть же тест. Алан Тьюринг придумал его три четверти века назад, и с тех пор он считается золотым стандартом. Если машина неотличима от человека в разговоре – значит, она мыслит. Всё просто.

Идея казалась элегантной. Вместо того чтобы разбираться, что происходит внутри, – оценивать по результату. Не вскрывать чёрный ящик, а смотреть на вход и выход. Если выход неотличим от человеческого – значит, внутри что-то эквивалентное человеческому мышлению. Прагматичный подход, который обходил все философские ловушки. Десятилетиями исследователи стремились к этому горизонту, создавая программы, которые пытались пройти хотя бы пятиминутный разговор. Конкурсы, призы, громкие заявления – и каждый раз преувеличение.

А потом тест сломался. И сломала его не машина.

1.2. Тест Тьюринга провален – но не машиной, а нами

В 1950 году Алан Тьюринг опубликовал статью «Вычислительные машины и разум», где предложил изящный выход из философского тупика. Как определить, мыслит ли машина, если мы не можем заглянуть ей внутрь? Как отличить настоящее мышление от имитации? Тьюринг предложил не решать проблему, а обойти её. Вместо вопроса «может ли машина мыслить?» он поставил другой: «может ли машина делать то, что мы бы назвали мышлением, если бы это делал человек?» Первый вопрос требует понимания природы мышления. Второй – только наблюдения за поведением.

Отсюда родился знаменитый тест: судья общается с двумя собеседниками через текстовый интерфейс, не зная, кто из них человек, а кто машина. Если не может отличить – машина прошла. Операционализм в чистом виде: не нужно определять, что такое мышление, достаточно простого критерия результата.

Первые признаки того, что критерий не работает, появились задолго до современных языковых моделей. В 1966 году Джозеф Вейценбаум создал программу ELIZA – простейший чат-бот, который имитировал психотерапевта. ELIZA не понимала ничего. Она просто переформулировала фразы собеседника в вопросы. «Мне грустно» превращалось в «Почему вам грустно?». «Моя мать меня не понимает» – в «Расскажите больше о вашей матери». Никакого интеллекта, только паттерны подстановки.

И люди верили, что разговаривают с чем-то разумным. Секретарша Вейценбаума попросила оставить её наедине с программой для приватного разговора. Психиатры всерьёз обсуждали терапевтический потенциал. Люди изливали ELIZA свои проблемы, благодарили за понимание, возвращались снова и снова. Примитивная программа без какого-либо интеллекта проходила тест Тьюринга – для тех, кто хотел быть обманутым.

Вейценбаум был потрясён. Он создал ELIZA как демонстрацию того, как просто обмануть человека, – а люди восприняли это как прорыв. Он написал книгу о том, как опасно очеловечивать машины, – но его предупреждения утонули в энтузиазме.

Это был первый звонок. Тест измерял не интеллект машины, а доверчивость человека.

Второй звонок прозвучал, когда тест начали проходить программы, очевидно лишённые какого-либо понимания. В 2014 году чат-бот Eugene Goostman формально прошёл тест Тьюринга, убедив треть судей, что он – тринадцатилетний мальчик из Одессы. Программа использовала простую стратегию: ломаный английский, подростковый сленг, уход от сложных вопросов. Судьи списывали странности на возраст и языковой барьер. Тест был пройден – но никто всерьёз не считал, что Eugene Goostman мыслит.

Здесь обнажилась фундаментальная проблема. Тест Тьюринга измеряет способность казаться человеком в ограниченном разговоре. Но способность казаться – не то же самое, что способность быть. Хороший актёр может казаться врачом, не зная медицины. Хороший мошенник может казаться экспертом, не понимая предмета. Имитация и реальность – разные вещи, и тест их не различает.

Можно возразить: это проблема реализации, не принципа. Нужны более строгие условия, более компетентные судьи, более длинные разговоры. Настоящий тест Тьюринга – не пятиминутная болтовня, а глубокая беседа с экспертом, который знает, что искать.

Но и это возражение упирается в стену. Что именно должен искать эксперт? Какие признаки отличают «настоящее» мышление от имитации? Мы возвращаемся к исходному вопросу, который Тьюринг хотел обойти: что такое мышление?

Современные языковые модели обострили эту проблему до предела. Они не пытаются казаться людьми – они просто отвечают на вопросы. Они не притворяются подростками с плохим английским – они демонстрируют знания и рассуждения, которые превосходят возможности многих людей. И при этом мы по-прежнему не знаем, мыслят ли они.

Более того: они не оптимизированы для прохождения теста Тьюринга. Их не учили обманывать судей. Их учили предсказывать следующее слово – и в результате получились системы, которые отвечают на вопросы, решают задачи, ведут осмысленные разговоры. Тест Тьюринга для них – не цель, а побочный эффект. Они «проходят» его не потому, что старались, а потому, что научились чему-то более общему.

Это меняет саму постановку вопроса. Раньше мы спрашивали: достаточно ли умна машина, чтобы обмануть человека? Теперь вопрос другой: что мы узнаём, когда машина демонстрирует способности, которые мы связывали с умом? Обман тут ни при чём – модель не обманывает, она делает то, что делает. Вопрос в том, что это значит.

Парадокс в том, что модель может пройти любой мыслимый тест на понимание – и это ничего не докажет. Она может объяснить сложную концепцию, решить нестандартную задачу, найти ошибку в рассуждении, предложить оригинальную идею. Всё это мы считали бы признаками мышления у человека. Но для машины мы всегда можем сказать: это просто очень хорошая имитация. Статистическое воспроизведение паттернов. Китайская комната в миллиард параметров.

Китайская комната – мысленный эксперимент философа Джона Сёрла, предложенный как контраргумент к тесту Тьюринга. Представьте человека, запертого в комнате. Он не знает китайского языка. Но у него есть огромная книга правил: если видишь такие-то иероглифы на входе – напиши такие-то иероглифы на выходе. Человек следует правилам механически, не понимая смысла. Снаружи кажется, что комната «говорит» по-китайски. Внутри – никакого понимания, только манипуляция символами.

Аргумент Сёрла: синтаксис – не то же самое, что семантика. Правила обработки символов – не то же самое, что понимание значения. Машина может манипулировать символами идеально – и не понимать ничего. Тест Тьюринга проверяет синтаксис, но не может проверить семантику. А без семантики нет мышления.

Этот аргумент не бесспорен. Философы спорят о нём полвека. Но он указывает на слабое место теста: мы не знаем, как выглядит понимание изнутри. Мы не знаем, есть ли вообще «изнутри» – или понимание полностью исчерпывается внешним поведением. Это не технический вопрос, а философский. И тест Тьюринга его не решает – он его избегает.

Сегодня мы оказались в странной ситуации. Машины проходят тесты, которые должны были доказать наличие мышления, – но мы не считаем это доказательством. Они демонстрируют способности, которые мы связывали с интеллектом, – но мы не уверены, что это интеллект. Критерий, который казался надёжным, рассыпался при столкновении с реальностью.

Проблема оказалась не в машинах. Проблема в нас.

Мы не знаем, что искать. Мы не знаем, как выглядит мышление, если смотреть на него снаружи. Мы думали, что знаем – пока не появились системы, которые соответствуют всем внешним критериям, но при этом устроены совершенно иначе, чем мы. И наши критерии оказались пустыми.

Это как экзамен, на котором никто не знает правильных ответов – включая экзаменаторов. Мы проверяем работы, ставим оценки, спорим о результатах – но не понимаем, что на самом деле проверяем. Тест Тьюринга был экзаменом по предмету, которого не существует. Или существует – но мы не знаем его содержания.

И вот что особенно тревожно: мы не замечали этой проблемы, пока машины были достаточно слабыми. Пока они очевидно проваливали тест, мы могли верить, что тест работает. Только когда они начали его проходить, стало ясно, что он ничего не измеряет. Инструмент сломался именно тогда, когда понадобился больше всего.

Можно ли спроектировать лучший тест? Многие пытались. Предлагались тесты на здравый смысл, на физическую интуицию, на понимание историй, на способность к абстракции. Каждый тест казался надёжным – пока модели его не проваливали. Это создавало иллюзию, что мы на верном пути: вот граница, вот то, что машины не могут. А потом, с ростом масштаба, модели начинали проходить и эти тесты. И каждый раз возникал тот же вопрос: проходит ли модель тест потому, что обладает проверяемой способностью, или потому, что научилась имитировать её достаточно хорошо?

Мы движемся по кругу. Придумываем тест – модель его проваливает – мы уверены, что нашли границу – модель начинает его проходить – мы говорим, что это имитация – придумываем новый тест. Круг не разрывается, потому что у нас нет критерия, который позволил бы отличить «прохождение» от «имитации прохождения». Мы не знаем, как должно выглядеть настоящее понимание, – поэтому не можем сказать, когда оно есть, а когда его нет.

Различие между «обладать» и «имитировать» кажется очевидным – пока не пытаешься его формализовать. Человек «обладает» пониманием языка. Попугай «имитирует» речь. Разница ясна. Но где граница? Ребёнок, который учит язык, – обладает или имитирует? Взрослый, который зазубрил иностранные фразы без понимания грамматики, – обладает или имитирует? Переводчик, который переводит с языка, на котором не может думать, – где он на этой шкале?

Мы предполагаем, что за внешним поведением человека стоит что-то ещё – понимание, осознание, переживание смысла. Но мы не можем указать на это «что-то» пальцем. Мы выводим его существование из поведения – и тут же утверждаем, что поведение само по себе недостаточно. Круг замыкается.

Когда мы говорим, что человек «обладает» пониманием, а машина «имитирует», мы опираемся на интуицию о внутренней жизни. Мы верим, что за словами человека стоит переживание их смысла. Мы не верим в это применительно к машине. Но эта вера – не знание. Мы не можем заглянуть в сознание другого человека и убедиться, что там есть переживание. Мы просто предполагаем это – потому что сами так устроены, потому что другой человек похож на нас.

Машина не похожа. И мы автоматически отказываем ей в том, что приписываем себе подобным. Возможно, это правильно. Возможно – нет. У нас нет способа узнать.

Граница размывается. И когда мы смотрим на языковую модель, мы не знаем, где её поставить. Все тесты, которые мы придумали, проверяют внешнее поведение. А вопрос о мышлении – вопрос о чём-то внутреннем. О том, есть ли «кто-то дома». О том, сопровождается ли обработка символов переживанием смысла.

И на этот вопрос у нас нет теста. Возможно, его невозможно создать. Возможно, сам вопрос поставлен неправильно.

Тьюринг, кстати, понимал это лучше, чем многие его последователи. В своей статье он не утверждал, что его тест доказывает мышление. Он предлагал его как способ сменить тему – уйти от бесплодных споров о природе сознания к практическим вопросам о поведении. Он писал: не спрашивайте, мыслит ли машина, – спрашивайте, может ли она делать то, что делает мыслящее существо. Это было методологическое предложение, не онтологическое утверждение.

Но мы превратили его в онтологическое. Мы решили, что тест измеряет мышление – а он измеряет только нашу способность распознать имитацию. И когда имитация стала достаточно хорошей, тест сломался.

Теперь мы стоим перед вопросом без инструмента для ответа. Машина делает то, что делает мыслящее существо. Значит ли это, что она мыслит? Тьюринг сказал бы: это единственный осмысленный вопрос. Сёрл сказал бы: нет, есть ещё вопрос о понимании. Мы не знаем, кто прав.

И, возможно, не узнаем – потому что вопрос упирается не в технику, а в философию. Не в то, как устроена машина, а в то, что мы подразумеваем под словом «мыслить».

Это ведёт к следующему вопросу – более глубокому, чем кажется. Когда мы спрашиваем «думает ли оно?» – что именно мы спрашиваем?

1.3. Что мы на самом деле спрашиваем, когда спрашиваем «думает ли оно»

Вопрос кажется простым. Три слова: думает ли оно? Да или нет. Должен же быть ответ.

Но простота обманчива. За этими тремя словами скрывается айсберг – и видимая часть составляет малую долю целого. Чтобы ответить на вопрос, нужно сначала понять, что мы на самом деле спрашиваем. А мы, как правило, этого не понимаем.

Начнём с очевидного. «Думает» – что это значит? Мы используем это слово ежедневно, не задумываясь. Я думаю, что пойдёт дождь. Она думает о будущем. Он не думает, прежде чем говорить. В каждом случае слово означает что-то немного другое: предположение, размышление, отсутствие рефлексии. Мы понимаем друг друга из контекста, но если попросить определение – начинаются трудности.