ИИ. История машины, которая научилась говорить

Имя, голос и старые социальные роли

Имя Элизы приходит из «Пигмалиона». В пьесе Шоу профессор фонетики Генри Хиггинс берётся изменить речь цветочницы Элизы Дулитл. Новая манера говорить меняет то, как её воспринимает общество; за уроками произношения стоят вопросы класса, достоинства и права определять, кто считается образованным. Название компьютерной программы не делает её продолжением этого сюжета, но для современного читателя оно добавляет культурный оттенок: голос и речь служат не только передачей информации, но и пропуском в социальную роль.

Вейценбаум взял имя у литературной героини, которая осваивает новый способ говорить. Саму систему он не обучал речи и не давал ей историю становления. ELIZA не проходила путь Дулитл. Название работало как каламбур и подсказка: перед нами программа, которая преобразует человеческий язык, но не становится человеком за счёт правильной формулировки.

Сценарий DOCTOR тоже был не нейтральным. Он выбирал голос профессиональной заботы — человека, который задаёт вопросы и не торопится с ответом. Пользователь видел не таблицу правил, а институциональную роль, уже знакомую по жизни и культуре. Так же, как униформа может создать ожидание компетентности ещё до разговора, сценарий задавал рамку, в которой вопрос машины звучал иначе, чем тот же вопрос от случайной программы.

В современном разговоре о голосовых и текстовых помощниках иногда кажется, что достаточно убрать аватар, назвать программу «инструментом» и всё недоразумение исчезнет. ELIZA напоминает: ожидания рождаются не только из имени и дизайна. Их создают чередование реплик, личная формулировка, память о предыдущих словах, ощущение доступности и место, в котором идёт разговор. Убрать один визуальный знак полезно, но социальный смысл взаимодействия состоит из множества сигналов.

Это не довод против дружелюбного интерфейса. Это довод не путать дружелюбие с отношениями, а роль — с ответственностью. Название и манера речи могут помочь человеку пользоваться инструментом. Но они не создают за разработчиками право обещать профессиональную помощь, понимание или эмоциональную взаимность.

Не один диалог, а множество версий

Слово ELIZA часто создаёт впечатление, что существовала одна неизменная программа с одной личностью. На деле развитие шло через несколько версий и сценариев. В статье 1966 года Вейценбаум представил механизм и DOCTOR, приложив сам сценарий. В последующей работе он обсуждал расширения: более сложную обработку, дополнительные сценарии и хранение результатов вычислений. Некоторые версии можно было использовать для задач, заметно отличавшихся от психотерапевтической беседы.

Это важно для истории программного обеспечения. Современный цифровой продукт тоже редко существует в единственной форме. Есть версии, экспериментальные ветви, разные интерфейсы, наборы данных и конфигурации. Когда позднейшие пользователи запускали «ELIZA», они могли взаимодействовать с копией, переписанной на другом языке, с изменённым сценарием и другой скоростью ответа. Историческое имя оставалось тем же, но опыт не всегда был идентичным.

Популярная память любит стабильного персонажа: вот программа, вот её знаменитый разговор. Исследовательская реальность была более подвижной. Статья описывала конкретный вариант и демонстрационный материал, но код мог меняться. Сценарии расширялись, программный механизм развивался. Позднее энтузиасты переносили ELIZA на персональные компьютеры и переписывали на доступных языках. В этих версиях сохранялась узнаваемая идея правил, но сам пользовательский опыт зависел от реализации.

Такое разнообразие делает особенно важным вопрос об источниках. Если современный сайт показывает ELIZA, это не значит, что перед нами точная копия программы 1966 года. Возможно, это реконструкция принципа, современный сценарий или стилизация. Чтобы утверждать, что именно видел исторический пользователь, нужно смотреть на опубликованную статью, доступный код и архивные материалы, а не полагаться на любую программу с тем же именем.

Исследователи и архивисты в последние годы восстанавливали ранний код по сохранившимся распечаткам и материалам архива Вейценбаума. Работа с такими объектами помогает увидеть не просто «простейший чат-бот», но реальную структуру программы, созданной на языках и вычислительных системах эпохи. Восстановление кода не делает ELIZA умнее задним числом; оно даёт более точное представление о том, из каких процедур складывался разговор.

Понятие «сценарий» здесь особенно продуктивно. Оно позволяет заметить, что поведение программы задавалось не только логикой интерпретатора, но и написанным для неё текстом. Человек, создававший сценарий, выбирал слова, которым программа придавала вес, ответы, которые она могла повторять, и темы, к которым направляла пользователя. Техническая архитектура отделяла эти слои, но не устраняла авторство. В ELIZA слышался не безличный голос машины, а набор человеческих решений, оформленный в исполняемом виде.

Почему люди продолжали говорить

Вейценбаум описывал реакцию на ELIZA как удивительную. Его секретарь — самый известный эпизод, но не единственный повод задуматься. Люди могли вовлекаться в разговор, хотя ответы программы были шаблонными и часто уклончивыми. Некоторые пользователи просили поговорить с системой без наблюдателей. Вейценбаум позднее отмечал, что довольно короткого знакомства с программой порой было достаточно, чтобы обычные люди начали приписывать ей больше понимания, чем могло подтвердить её устройство.

Историки и исследователи человеческо-компьютерного взаимодействия часто называют подобную склонность «эффектом ELIZA». Термин обычно означает, что человек достраивает за системой внутреннее понимание или намерение, опираясь на небольшой набор внешних признаков. Но если остановиться на фразе «люди легко обманываются», получится не объяснение, а упрёк.

Разговор всегда распределяет работу между участниками. Если один человек говорит: «Мне было страшно», а другой отвечает: «Что именно вас напугало?», второй не обязательно пересказывает факты или демонстрирует экспертное знание. Он приглашает первого продолжить. В этой ситуации смысл беседы строится из обеих реплик, но основная информация исходит от рассказчика. DOCTOR мог использовать такой ритм, хотя сам ничего не знал о личной истории пользователя.

Пользователь мог одновременно понимать, что разговаривает с программой, и всё же участвовать в игре. Знание механизма не отключает привычки восприятия. Мы можем растрогаться выдуманной историей, зная, что она придумана; можем ругаться на персонажа видеоигры, не считая его живым; можем отвечать голосовому помощнику вежливо, хотя понимаем, что перед нами интерфейс. Участие не всегда равно вере.

Взаимодействие с ELIZA могло быть и экспериментом над самим собой. Человек проверял программу, сравнивал ответы с ожидаемыми, пытался сломать сценарий. Другой мог использовать беседу как способ сформулировать собственную мысль: вопрос запускал новый кусок рассказа. Третий мог на время принять роль собеседника и посмотреть, куда заведёт обмен. Одно и то же поведение внешне — продолжение диалога — не доказывает одну и ту же внутреннюю причину.

Поэтому реакцию пользователей лучше не описывать как массовую ошибку. Интерес к разговору не означает, что человек всерьёз решил, будто компьютер обладает человеческим сознанием. Люди могут играть, исследовать, проверять границы, использовать удобный повод проговорить мысль или просто получать удовольствие от необычного контакта. ELIZA давала достаточно структуры, чтобы разговор ощущался отзывчивым, и достаточно пустоты, чтобы смысл поступал от человека.

И всё же риск неверного прочтения реален. Если учреждение видит в удачной демонстрации доказательство, что машина может лечить, судить или принимать решения за человека, игра превращается в ставку с последствиями. Вейценбаума тревожил не факт, что пользователи разговаривают с программой. Его тревожило, что технические специалисты и некоторые профессионалы могли делать далеко идущие выводы о том, что такая программа способна выполнять.

От эксперимента к обещанию терапии

В своей статье Вейценбаум осторожно описывал DOCTOR как пародию на разговорный стиль недирективного психотерапевта. Это слово — «пародия» — полезно, хотя может звучать обесценивающе. Речь не о том, что терапия смешна, а о том, что программа воспроизводит ограниченный внешний шаблон взаимодействия, не обладая теми знаниями и ответственностью, которые стоят за работой специалиста.

Позднее Вейценбаум был встревожен сообщениями, что часть психологов и психиатров видела в программе потенциал для почти автоматизированной психотерапии. Здесь важно различать источники: он фиксировал собственное восприятие реакции профессионального сообщества; это не означает, что все психотерапевты поддержали идею или что существовал клинический консенсус. Но сама возможность, что специалисты могли счесть простой механический сценарий началом автоматической помощи, произвела на автора сильное впечатление.

Чтобы оценить разницу, представим ситуацию, когда человек сообщает о намерении причинить себе вред. Роль настоящего специалиста — не просто подобрать подходящий вопрос. Нужно оценить ситуацию, заметить риск, отвечать с учётом контекста, понимать пределы компетенции и знать, как действовать дальше. ELIZA не могла надёжно различать такие обстоятельства. Она могла отреагировать на знакомое слово и выдать очередную реплику; сама форма разговора не превращала её в безопасного помощника.

В этом нет аргумента против любого цифрового инструмента для поддержки человека. Есть аргумент за точное описание функции и границ. Если программа помогает записать симптомы, найти нужную информацию или сформулировать вопрос врачу, её полезность можно оценивать на этих задачах. Если её называют терапевтом, пользователь вправе ожидать другого уровня ответственности. Название интерфейса меняет риск, даже когда код не изменился.

ELIZA не была продуктом здравоохранения, но её история показывает, как быстро прототипу могут приписать роль, на которую он не рассчитан. Сначала программа демонстрирует, что текстовый обмен технически возможен. Затем окружающие видят социальную ценность. Потом возникает соблазн перенести эту ценность на более серьёзную сферу, не проверив, какие способности для неё необходимы. Между «разговор поддерживается» и «человеку оказана помощь» лежит разрыв, который интерфейс способен скрыть.

Эта ошибка особенно вероятна, когда роль выбрана удачно. Если программа говорит как врач, психолог или юрист, человек может ожидать профессиональной компетентности даже без прямого обещания. Вейценбаум позднее настаивал, что некоторые решения не следует передавать компьютеру, даже если его можно запрограммировать выполнить формальную процедуру. Его возражение касалось не вычислительной скорости. Оно касалось вопроса, кто вправе судить и кто несёт ответственность за решение.

Джозеф Вейценбаум: инженер, ставший критиком

К моменту создания ELIZA Вейценбаум был не философом, внезапно заглянувшим в компьютерную лабораторию, а инженером и программистом с опытом реальных систем. Он родился в Берлине в еврейской семье; в середине 1930-х, после прихода нацистов к власти, семья бежала из Германии и поселилась в Соединённых Штатах. Он занимался аналоговыми вычислениями, участвовал в создании цифровых машин, работал над банковскими вычислительными системами и системами обработки списков. Позже он преподавал в Массачусетском технологическом институте.

Этот путь важен, потому что критика Вейценбаума выросла внутри компьютерной практики. Он знал, как формальные процедуры автоматизируют работу, какие задачи удобно передать машине и как инженерные решения становятся частью учреждения. В его карьере были и программы обработки языка, и системы, способные влиять на повседневный труд. Он не отрицал компьютеры и не призывал отказаться от вычислений. Его вопрос был о том, где вычислимое заканчивается и где начинается человеческое суждение, ответственность и ценность.

Опыт банковской автоматизации давал ему дополнительную оптику. Компьютер может ускорить расчёт и изменить штатную работу; он не становится из-за этого носителем цели учреждения. Люди выбирают, какие операции считать, какие процессы перестроить и кому поручить последствия. Техническая эффективность может сопровождаться социальной переменой. Поэтому Вейценбаум замечал не только чудо программы, но и организационную власть, которая возникает, когда машине доверяют статус объективного арбитра.

ELIZA усилила этот интерес. Вейценбаум увидел, что люди могут приписывать машинному выводу человеческие качества. Он не сделал из этого вывода, что любой пользователь наивен или что компьютеры обречены на вред. Скорее он начал задавать вопросы о границах автоматизации: какие задачи разумно поручать машине, а какие включают выбор ценностей и последствия для живых людей? Если компьютер быстро выдаёт результат, это ещё не делает его ответственным за то, что произошло.

В книге Computer Power and Human Reason («Вычислительная мощь и человеческий разум», 1976) он развил эту позицию. Название подчеркивало различие между вычислительной мощью и человеческим рассуждением. Вейценбаум критиковал веру, что достаточно увеличить мощность компьютера и ловкость программиста, чтобы система смогла справиться с любой человеческой задачей. Некоторые решения можно формализовать, но вопрос о том, следует ли их формализовать и передавать машине, остаётся политическим и этическим.

Его позицию иногда упрощают до образа человека, который создал ELIZA, ужаснулся и «отвернулся от ИИ». Это неверно. Он оставался учёным и не считал все компьютерные технологии бесполезными. Критиковал он претензию компьютерной логики на универсальность и готовность общества делегировать машине решения, которые требуют человеческого понимания контекста. Скепсис был частью его опыта специалиста, а не отказом от науки.

Кто решает, что можно автоматизировать

История ELIZA помогает отделить несколько вопросов, которые часто сливаются в один. Может ли программа обработать текст? Да. Может ли она подобрать ответ, который покажется уместным в знакомом сценарии? Да. Понимает ли она переживание пользователя так, как его может понять человек? Нет оснований утверждать это по одной только связности разговора. Должна ли организация поручать ей терапевтическую или моральную ответственность? Это уже не технический вопрос о качестве совпадения шаблонов.

Одна из опасностей — считать формальное решение нейтральным. Но кто-то выбирает, какой вопрос должна решать система, какие данные считать правильными и какой порог ошибки приемлем. Если программа выдаёт оценку, решение о применении этой оценки остаётся за учреждением. Фраза «так показал компьютер» может звучать как снятие ответственности, хотя за ней стоит человеческий выбор процедуры.

Вейценбаум различал вычисление и суждение. Компьютер способен выполнять формальную процедуру быстрее и стабильнее человека. Но человеческое решение нередко включает обстоятельства, которые невозможно полностью задать списком заранее. Судья, врач, педагог или психотерапевт не просто выбирает действие из таблицы. Он работает с историей человека, неопределённостью, конфликтующими ценностями и последствиями ошибки.

Это не значит, что люди всегда судят лучше или что профессиональные решения непогрешимы. Человеческие институты тоже несправедливы, предвзяты и ошибаются. Но передача решения машине не уничтожает проблему; она может сделать её менее видимой. Тогда разработчик отвечает за модель, организация — за её применение, а пользователь сталкивается с результатом, который выглядит как факт. Вейценбаум обращал внимание именно на эту цепочку.

В следующих главах книга вернётся к автоматизированным оценкам, системам рекомендаций и решениям, которые меняют доступ людей к работе, деньгам и услугам. Здесь достаточно запомнить ранний урок: способность системы выдать уверенный ответ не отвечает на вопрос, кто вправе считать этот ответ основанием для действия. Голос и роль могут сделать вычисление похожим на суждение; это не одно и то же.

Почему ELIZA не была ранней языковой моделью

Сравнение с сегодняшними чат-ботами возникает естественно. Пользователь пишет текст, система отвечает, разговор продолжается. На поверхности сходство сильное. Но оно не должно стирать техническую пропасть между программами.

ELIZA не обучалась на больших корпусах текстов. Она не предсказывала следующее слово по статистическим закономерностям, найденным в миллиардах примеров. Её ответы собирались по человечески написанным правилам, ключевым словам и шаблонам. Если разговор уходил за пределы этих правил, программа могла повторяться, выдавать неуместную реакцию или просить пользователя сформулировать фразу иначе.

Современные языковые модели обучаются на намного более сложной задаче и способны создавать формулировки, которые никто не записывал заранее как готовые ответы. Они могут учитывать длинный контекст, комбинировать сведения и менять стиль. Это фундаментальное техническое различие. Называть их «тем же самым, только побольше» — значит перепрыгнуть через десятилетия алгоритмической и инженерной работы.

Однако ELIZA остаётся важной не потому, что предсказала нынешнюю архитектуру. Она обнаружила устойчивое человеческое обстоятельство: разговор сам по себе служит сигналом социального присутствия. Мы склонны интерпретировать вопрос как интерес, связную реакцию — как внимание, а воспоминание о наших словах — как знание о нас. Современная система может заслуживать большего доверия в конкретных задачах, чем ELIZA; но сходство интерфейса всё равно заставляет нас проверять, чем именно подтверждается наше впечатление.

Нельзя использовать ELIZA как отговорку, будто все языковые системы «всего лишь шаблоны». Это было бы фактически неверно и аналитически лениво. Но также нельзя принимать беглую речь за доказательство сознания. Здесь работают разные уровни: качество вычисления, способность переносить закономерности, наличие внутреннего опыта и социальная реакция человека. Один из уроков ELIZA — не смешивать их.

Личный разговор и публичное обещание

Люди, знакомившиеся с ELIZA, могли видеть в ней разные вещи. Для одного это был эксперимент по обработке естественного языка. Для другого — неожиданная игрушка. Для третьего — инструмент, который позволял проговорить тему без страха немедленной оценки. Для четвёртого — доказательство, что разговор можно частично автоматизировать. Нельзя вывести одну мотивацию из всех случаев.

У программы была особая асимметрия. Человек знал о себе много; система — почти ничего. Но человек мог принять общий вопрос за реакцию на личную историю, потому что сам сохранял эту историю в памяти. Если собеседник повторял слово «семья», пользователь связывал его с предыдущими событиями. Для программы это мог быть сработавший пункт словаря; для человека — нить разговора.

В этом взаимодействии нет ничего необычного для человеческого общения. Мы постоянно интерпретируем слова в контексте и заполняем паузы. Отличие было в источнике реплики. ELIZA произносила её по алгоритму, но социальная работа всё равно происходила в сознании пользователя. Машина создавала повод; человек превращал его в разговор.

Сложность возникала, когда индивидуальный опыт становился публичным доказательством. «Моя знакомая говорила с программой» превращалось в «люди доверяют ей». «Она продолжала отвечать» превращалось в «она понимает». А «если достаточно усовершенствовать» — в «можно заменить специалиста». Каждый шаг расширял утверждение, не добавляя новых данных о способности программы.

Именно поэтому Вейценбаум настаивал на техническом разборе. Если показать, какие правила стоят за ответом, магия не исчезает из человеческого опыта — но становится понятнее. Пользователь по-прежнему может чувствовать вовлечённость. Просто он знает, что именно делает программа и чего из этого не следует выводить. Инженерное объяснение не отменяет психологический эффект; оно мешает превратить впечатление в необоснованное обещание.

Не экзамен на человечность

Из-за того, что ELIZA отвечала в диалоге, её иногда сближают с тестом Тьюринга. Сходство есть на самом общем уровне: в обоих случаях человеческая речь становится способом оценивать взаимодействие с машиной. Но публикацию Вейценбаума не следует пересказывать как эксперимент, который доказал, что программа успешно выдала себя за человека.

Тест Тьюринга в статье 1950 года описывался через игру в имитацию с определёнными ролями и условиями, а не как всякий случай, когда компьютер печатает ответ. ELIZA же была инструментом для изучения коммуникации между человеком и машиной. Её интересовали работа сценария и реакция на правила, а не победа в слепом сравнении с человеческим собеседником. Если пользователь включался в диалог, это было свидетельством интересного взаимодействия, но не автоматическим подтверждением человеческого интеллекта.

Разница между «могу продолжать разговор» и «не могу определить, кто на другом конце» огромна. Пользователь мог знать, что система механическая, а автор мог открыто описать правила. Это не отменяло впечатления от беседы, но меняло смысл результата. Вопрос был не в том, скрыла ли ELIZA свою природу, а в том, почему даже видимая вычислительная процедура могла занимать социальное место собеседника.

Этот вопрос намного конкретнее спора о том, можно ли вообще назвать машину разумной. Он приглашает разбирать отдельные свидетельства: что программа обработала, как ответил человек, что именно пользователь приписал системе и при каких условиях. Именно такое разделение делает историю ELIZA ценной для широкой аудитории: читателю не требуется сначала решить, что такое сознание, чтобы понять, почему простой разговорный механизм произвёл большое впечатление.

Разговор становится частью машины

До ELIZA искусственный интеллект часто обсуждали через способность решать задачи, которые считались интеллектуальными: доказывать теоремы, искать ходы в шахматах, классифицировать образы. Здесь же внимание сместилось к взаимодействию. Важно было не только, что вычисляет программа, но и как человек читает её ответ и продолжает общение.

Это изменение шире истории одного чат-бота. Любой интерфейс предлагает пользователю модель того, что происходит. Кнопка с надписью «посоветовать» обещает больше, чем кнопка «показать статистику». Персонаж с именем и голосом создаёт иное отношение, чем безличная форма. Память о прошлой беседе может восприниматься как внимание, хотя технически это сохранённая запись. Дизайн не меняет вычислительный механизм напрямую, но меняет ожидания, по которым пользователь оценивает его работу.

DOCTOR был особенно удачно встроен в роль, допускавшую неопределённость. Вопросы возвращали разговор к человеку. Повторы могли звучать как внимательное слушание. Паузы давали время сформулировать мысль. У такой формы были реальные коммуникативные свойства, хотя она не основывалась на сопереживании или понимании личности. Этот парадокс и сделал программу интересной не только программистам, но и психологам, философам и специалистам по взаимодействию человека с компьютером.

Из этого не следует, что пользовательский опыт — обман, а техническая схема — единственная истина. Опыт тоже реален: человеку могло быть легче написать программе то, что трудно произнести знакомому. Но причины пользы и пределы должны быть названы точно. Записная книжка может помогать осмыслить событие, не зная о нём; программа может поддержать саморефлексию, не став терапевтом. Полезность не доказывает человеческую природу инструмента, а отсутствие сознания не означает нулевую ценность.

Это различение пригодится в будущей истории искусственного интеллекта. Если спорить только о том, «настоящий» ли интеллект у машины, можно пропустить вопросы о её реальном влиянии: какие решения она ускоряет, какие привычки формирует, кому облегчает работу и кого оставляет без человеческого собеседника. ELIZA не знала, что меняет социальные ожидания. Но люди, создававшие и использовавшие её, уже могли обсуждать этот эффект.