ИИ. История машины, которая научилась говорить
- -
- 100%
- +
У терминала не было человеческого лица
В ранних воспоминаниях об ELIZA акцент обычно падает на ответы программы, но сам терминал был не менее важной частью опыта. Пользователь не видел мигающего аватара и не слышал человеческий голос. Он печатал на устройстве, которое выводило строки на бумагу. Это оставляло заметную дистанцию: перед ним была вычислительная машина, а не персонаж на экране. И всё же ритм обмена репликами достаточно быстро создавал место для воображаемого собеседника.
ELIZA работала на системе с разделением времени, благодаря которой один большой компьютер мог обслуживать разных пользователей. Это отличалось от пакетного режима, где человек отдавал задание и ждал результат, иногда не взаимодействуя с машиной по ходу вычислений. В интерактивном режиме пользователь мог ввести фразу, получить реакцию, уточнить мысль и продолжить. С точки зрения архитектуры это был обмен с общим ресурсом; с точки зрения сидящего за терминалом — отдельная беседа.
Ирония в том, что ощущение «приватного разговора» возникало в инфраструктуре, которая по устройству была коллективной. Мэйнфрейм находился в вычислительном центре, программа работала в общей среде, а терминалы подключались к ресурсу учреждения. У пользователя не было оснований считать этот канал исповедальней с гарантированной тайной. Тем не менее персональный ритм вопроса и ответа мог восприниматься интимно. Интерфейс сузил мир до печатной строки перед человеком, хотя сама вычислительная система оставалась частью организации.
Сегодня такая деталь напоминает, что интерфейс не только помогает взаимодействовать с алгоритмом. Он управляет ожиданием о том, кому видны слова, кто хранит историю и насколько личным является место общения. Вейценбаум в 1966 году создавал эксперимент, а не сервис с обещанием конфиденциальности. Пользователь мог довериться разговору психологически, хотя техническая среда не была устроена как защищённая консультация.
Какой успех можно было считать успехом
Для одной аудитории ELIZA была любопытной программой, которая умеет поддерживать текстовый обмен. Для другой — исследованием того, насколько разговор можно свести к формальным преобразованиям. Для третьей — началом автоматической психологической помощи. Эти прочтения неравноценны, но они могли появиться из одного и того же опыта.
Если задача состояла в демонстрации обработки текста, достаточно показать, что программа находит заданные конструкции и генерирует ответ. Если задача — поддержать связный диалог, нужно проверять уже больше: как часто программа повторяется, может ли работать с неожиданной формулировкой, помнит ли тему, как долго пользователь ощущает связность. Если речь о психологической помощи, критерии становятся ещё строже: безопасность, уместность, последствия и сравнение с профессиональной поддержкой. Одно испытание не закрывает все эти уровни.
В этом отношении ELIZA полезнее не как ранняя победа машины над человеческим разговором, а как пример того, насколько по-разному может пониматься слово «работает». Система могла выполнить техническое преобразование правильно и при этом ответить странно. Могла поддержать беседу несколько ходов и затем сорваться в повтор. Могла оказаться полезной человеку как повод подумать, но не иметь ни терапевтической компетентности, ни доказанной клинической эффективности. Смешение результатов превращает демонстрацию в обещание.
Подобная путаница возникает, когда публичное описание заменяет измерение. «Люди продолжали разговаривать» говорит о поведении пользователей. «Программа обработала ключевое слово» говорит о работе кода. «Человек почувствовал, что его выслушали» говорит о субъективном опыте. Это связанные, но разные наблюдения. Чтобы понять систему, нужно сохранять их раздельными, даже если история делает их частью одного яркого эпизода.
Вейценбаум сам помог разделить эти уровни, подробно описав работу ELIZA. Его техническое изложение было частью аргумента: если показать правила простыми словами, читатель сможет оценить, что программа делает, а что ей приписывает наблюдатель. Он не считал, что техническое объяснение отменит ощущение разговора. Он хотел, чтобы это ощущение не путали с доказательством общего понимания.
Личный текст не всегда требует веры
Мы можем представить близкую сцену: человек печатает о семейной ссоре, программа отвечает общим вопросом, и пользователь продолжает рассказ. Может быть, он уверен, что за ответом нет человека. Может быть, ему просто легче написать, чем объяснить всё знакомому. Может быть, он проверяет, насколько далеко продвинется программа. Продолжение разговора само по себе не показывает, какая из этих причин сработала.
Это важно, потому что человеческое участие в диалоге часто принимают за доказательство доверчивости. Но людям не нужно верить в сознание системы, чтобы разговаривать с ней. Мы вежливы с навигацией, кричим на неисправный принтер, разговариваем с домашним животным и пишем в дневник. В каждом случае социальное поведение может включаться по-разному. Машина способна стать адресатом фразы, не став человеком.
Вместе с тем личный текст остаётся личным. Если пользователь раскрывается, разработчик и организация должны думать, что сохраняется, кому доступно и каково последствие неверного ответа. Это современное расширение урока ELIZA, а не утверждение, что программа 1966 года собирала такие данные или имела современные сетевые функции. Исторический опыт просто делает вопрос видимым: интерфейс может вызвать откровенность раньше, чем пользователь разберётся в технических и институциональных условиях.
Поэтому суть эффекта ELIZA не в том, что «нормальные люди верят машинам». Более аккуратно сказать: форма диалога способна активировать привычки общения даже тогда, когда обе стороны знают, что одна из них — программа. Это наблюдение полезно для дизайна и оценки систем. Не нужно презирать пользователей за участие; нужно понимать, какие сигналы интерфейс подаёт, какие ожидания вызывает и кто несёт ответственность, если эти ожидания не совпадают с реальными возможностями.
От впечатления — к ответственности
Через десять лет после публикации ELIZA Вейценбаум выпустил книгу о вычислительной мощи и человеческом разуме. Изобретатель разговорной программы оказался одним из наиболее заметных критиков чрезмерного доверия к компьютерам. В массовом пересказе это выглядит как раскаяние: создал искусственного собеседника, понял опасность и отвернулся от своего изобретения. Реальная позиция была содержательнее. Он не отрицал техническую ценность машин. Он спрашивал, кто и на каком основании расширяет их власть в человеческих делах.
Вейценбаум считал, что общество слишком легко принимает удобную формализацию за полноценное понимание. Если аспект жизни можно представить числами и правилами, организация может решить, что его можно вычислить и тем самым решить. Но формальная модель всегда выделяет одни свойства и оставляет другие вне рамки. Выбор рамки сам по себе ценностный. Компьютер затем действует внутри неё, иногда с большой скоростью и последовательностью.
В этой логике история ELIZA — не только психологический курьёз. Программа давала человеку ощущение слушателя; учреждение могло бы увидеть в ней более дешёвый способ обеспечить консультацию. Пользователь видел реакцию; разработчик — механизм. Именно между этими перспективами и появляется вопрос ответственности. Кто должен объяснить ограничения? Кто принимает решение о применении? Кто отвечает, если удобный разговор заменил нужную помощь?
Вейценбаум не мог ответить на каждый вопрос будущей индустрии, и ему не следует приписывать предвидение всех сегодняшних систем. Но он рано сформулировал конфликт, который никуда не исчез: способность автоматизировать операцию не доказывает, что её надо автоматизировать. Скорость и повторяемость ценны, но не заменяют моральное суждение. Данные и правила могут улучшить работу, но не решают сами, какие цели достойны преследования.
В этом смысле он продолжил разговор, начатый самой ELIZA. Программа показывала, как пользователь приписывает значение ответу; критика Вейценбаума показывала, как общество приписывает значение вычислительной процедуре. В обоих случаях человек склонен заполнять пустоты: в первом — образ собеседника, во втором — образ объективной машины, которая якобы принимает решение вместо нас.
Программа умела отвечать. Слушать — другое дело
ELIZA не была тайным психологом в терминале. Она не знала пользователя, не понимала его историю и не могла нести ответственность за последствия разговора. Она принимала английский текст, находила ключевые слова, применяла правила разложения и преобразования, а затем выдавала ответ из подготовленного сценария. Всё это можно было объяснить достаточно простым языком — и всё равно разговор с ней мог ощущаться личным.
В этом сочетании механизма и впечатления и заключается сила главы. Машина ничего не чувствовала, но заставила людей обсуждать чувства. Она не понимала чужие слова так, как их понимает человек, но показала, что часть разговора может поддерживаться за счёт участия самого собеседника. Она не стала терапевтом, однако заставила инженеров спросить, где проходит граница между языковым поведением и человеческой ответственностью.
После перцептрона ELIZA предложила почти противоположную модель. Перцептрон корректировал числовые связи по примерам. DOCTOR следовал правилам, написанным человеком заранее. Но обе истории вывели на похожий вопрос: что именно мы наблюдаем, когда программа выдаёт убедительный результат? В одном случае это классификация, в другом — разговор. Ни там, ни там один впечатляющий эпизод не позволяет автоматически заключить, что машина приобрела весь набор способностей, который мы связываем с человеком.
При этом сама ELIZA не вызвала кризис финансирования и не стала причиной первой зимы ИИ. Она была одним заметным эпизодом в более широком поле ожиданий: программа могла впечатлить публику, не решив задачу общего понимания языка. Её история помогает увидеть, как разрыв между показом и обещанием увеличивается; историю того, как разные проекты и финансирующие учреждения реагировали на этот разрыв, предстоит рассмотреть отдельно.
Дальше тема выйдет из лаборатории и упрётся в ожидания, бюджет и масштаб задач. Теорема могла быть доказана, образ — классифицирован, фраза — обработана. Но когда исследовательская демонстрация превращалась в обещание системы общего назначения, оставался вопрос о расстоянии между аккуратной задачей и реальным миром. Именно это расстояние станет одним из главных героев следующей главы — о первой зиме искусственного интеллекта, которую нельзя объяснить одной причиной.
Глава 6. Зима, которую нельзя объяснить одной причиной
Слово «зима» обещает ясную картину. Ещё вчера в лабораториях говорили о машинах, которые будут переводить, видеть и рассуждать; сегодня якобы иссякли деньги, погас свет и исследователи разошлись пережидать холод. У этой истории есть удобный жанр: сперва все поверили в будущее, затем несколько критиков показали ошибку, финансирование исчезло, а искусственный интеллект на годы пропал.
Так не было.
Компьютеры продолжали работать. Статьи выходили. Исследователи строили программы, роботов и новые способы описывать знания. Менялись гранты и критерии оценки; часть направлений теряла поддержку, часть выживала, часть переименовывала себя или доказывала пользу на более узких задачах. Даже слово «зима» появилось как позднее обобщение многих процессов, а не как официальная дата, в которую весь мир отменил исследования.
Охлаждение, однако, было реальным. К началу 1970-х финансирующие организации и исследователи всё чаще спрашивали, где заканчиваются впечатляющие демонстрации и начинаются результаты, которые можно получить в рабочей среде. Отчёты ALPAC в США и Лайтхилла в Великобритании стали заметными эпизодами этого спора. Они не были взаимозаменяемы и не действовали в одинаковых странах; каждый оказался частью собственной институциональной истории. Между ними лежали технические ограничения, невыполненные обещания, разные представления о том, для чего нужна наука, и реальные решения о распределении денег.
Чтобы понять первую зиму, нужно не искать одного виновника, а посмотреть, как надежда превратилась в обязательство отчитаться.
Демонстрация становится обещанием
Молодая технология получает в лаборатории особую привилегию. Ей разрешают работать в небольшом, тщательно подготовленном мире, потому что даже узкий успех может открыть новый способ мышления. Программа доказывает одну теорему; машина переводит несколько предложений; робот переставляет блоки в комнате, где ничего неожиданного не происходит. В этот момент задача не в том, чтобы сразу построить универсальную систему. Важно показать, что компьютер вообще способен выполнить такой тип действия.
Но у демонстрации быстро появляется вторая жизнь. Вопрос «может ли машина сделать это при заданных условиях?» сменяется вопросом «когда она будет делать это везде?». Если переводит короткий текст — когда переведёт статью? Если видит заранее выбранную фигуру — когда разберётся с обычной фотографией? Если задаёт вопрос по шаблону — понимает ли язык? Если робот перемещает предмет на чистом столе — сможет ли он работать в комнате, где вещи лежат не по инструкции?
Каждый следующий вопрос расширяет задачу. Иногда расширяет слишком быстро.
Исследователь может показать, что метод работает на нескольких примерах. Заказчик ждёт надёжного инструмента. Журналист описывает будущее, которое обещает технология. Руководитель гранта должен решить, за что платит общество. Эти ожидания не всегда одинаковы, но они часто сходятся в одной фразе: «Это уже почти готово». Затем выясняется, что между работающим опытом и системой, пригодной для широкого применения, лежит новый слой инженерии.
В 1950-е и 1960-е многие направления искусственного интеллекта росли в атмосфере высоких ожиданий. После войны вычислительные машины расширяли возможности науки и обороны; государственные ведомства поддерживали исследования языка, распознавания сигналов и автоматизации. Холодная война придавала некоторым задачам срочность: понимание зарубежных публикаций, обработка информации, связь и принятие решений. Если компьютер мог ускорить доступ к знанию, это имело практический смысл.
Сама срочность делала обещания привлекательнее. Машинный перевод казался не философской мечтой, а способом быстрее читать научные и технические материалы на русском языке. Машинное зрение обещало помочь разбирать изображения. Автоматизация и робототехника могли освободить людей от определённых операций. Но практическая ценность зависела от качества, скорости, стоимости и количества человеческой работы, нужной после машины. Компьютерная демонстрация отвечала лишь на часть этих вопросов.
Когда вложения росли, рос и спрос на сравнения. Заказчику было мало узнать, что программа выдала текст. Он хотел понимать, быстрее ли это, точнее ли, дешевле ли обычного процесса. Если систему приходится долго настраивать, исправлять вручную и ограничивать узкой предметной областью, её нельзя оценивать только по впечатлению от демонстрации. Это не атака на фундаментальную науку; это различие между исследовательским результатом и обещанием готового продукта.
Первая зима начиналась не с момента, когда машина перестала удивлять. Она начиналась там, где окружающие перестали считать удивление достаточным отчётом о пользе.
Переводчик в центре государственной задачи
Машинный перевод стал одним из самых заметных ранних испытаний. В январе 1954 года университет Джорджтауна и IBM провели публичную демонстрацию перевода с русского на английский. Это был небольшой эксперимент с ограниченным словарём и специально подготовленными предложениями. Его сила заключалась не в том, что машина уже могла переводить любую книгу, а в другом: вычислительная система смогла продемонстрировать саму возможность автоматического перехода от языка к языку.
Пресса услышала возможность масштабирования. Если компьютер переводит простые предложения, возможно, он скоро поможет разбирать большие объёмы советской научной литературы. Для государства это была понятная ставка. Человеческих переводчиков было не так легко нанять в количестве, нужном для всего потока документов; значительная часть материалов могла быть полезна специалистам, даже если перевод не был литературным. Черновой перевод, который передаёт общий смысл, мог бы сэкономить время.
Но перевод — не подстановка одного слова вместо другого. Слова меняют значение в зависимости от контекста, порядок и грамматика различаются, устойчивые выражения нельзя всегда понять буквально, а технические термины требуют предметного знания. Система может выдать грамматически узнаваемый текст и при этом перепутать отношение между объектами. Ошибка в одном слове способна изменить смысл всего предложения. Человеческий переводчик не только знает словарь: он использует контекст, культуру и профессиональную практику.
В середине 1960-х американские ведомства попросили более трезво оценить состояние направления. Для этого был создан Automatic Language Processing Advisory Committee — Комитет по автоматической обработке языков, известный по аббревиатуре ALPAC. Его возглавил Джон Пирс, инженер и исследователь Bell Labs; в работу вошли специалисты разных областей, в том числе лингвисты и исследователи машинного перевода. Перед комиссией стоял не общий вопрос «может ли компьютер когда-нибудь понимать язык?». Её интересовало практическое состояние перевода для американских нужд и оправданность вложений в системы, которые обещали полезный результат в обозримый срок.
Именно поэтому отчёт 1966 года обсуждал не только алгоритмы. Комиссия рассматривала объём и качество доступных переводов, сроки, стоимость, потребности читателей, работу человеческих переводчиков и процессы постредактирования — исправления машинного текста человеком. Если после перевода специалисту всё равно приходится тщательно сверять и переписывать каждое предложение, вопрос не в том, «сработал» ли компьютер вообще. Вопрос — стало ли всей организации лучше.
В этом месте часто возникает карикатура: будто люди из ALPAC не поняли технологию и просто заявили, что машинам запрещено переводить. Но комиссия занималась оценкой системы в конкретных условиях. Её выводы можно критиковать, и позднейшие исследователи критиковали их; однако прежде нужно понять, что именно сравнивалось. Техническая возможность преобразовать текст не тождественна практической замене переводчика.
Перевод — это процесс, а не кнопка
Публичная демонстрация автоматического перевода обычно показывает экранный момент: предложение вошло, предложение вышло. Но заказчику важен весь процесс до и после этого момента. Нужно подготовить словарь, выбрать тип текстов, провести вход через машину, проверить сомнительные места, исправить результат, передать читателю. Если исходник сжатый и технический, одна ошибка может превратить «часть устройства удерживает давление» в противоположное утверждение. Если переводчик не знает предмета, даже грамматически правильная фраза способна ввести в заблуждение.
Постредактирование добавляет ещё одну задачу измерения. Если специалист исправляет машинный текст, нельзя считать лишь секунды вычисления. Нужно учесть, сколько времени он тратит на исправления и сверку с оригиналом. Иногда черновик ускоряет работу; иногда редактору легче начать с нуля; иногда машинная версия полезна для быстрого понимания, но не годится для публикации. Ответ зависит от жанра, языка, точности, ставки ошибки и навыков человека.
Представим две задачи. В одной нужно быстро понять, о чём научная статья, чтобы решить, стоит ли читать её целиком. Черновой перевод может быть полезен даже с неловкими формулировками. В другой нужно перевести инструкцию, по которой техник будет ремонтировать оборудование. Тут цена неверного значения намного выше, а человеческая проверка обязательна. Одна и та же технология может быть удачной в первом процессе и непригодной во втором.
ALPAC оценивал перевод именно как часть рабочего конвейера. В его материалах обсуждались потребность в переводах, скорость получения, качество, стоимость и роль человеческого редактирования. Такой взгляд мог разочаровать команду, чья задача состояла в том, чтобы показать вычислительную возможность. Но именно он был необходим государственным заказчикам, которые хотели знать, сэкономит ли компьютер время и деньги для реального читателя.
Отчёт также обращал внимание на то, что больше переведённых страниц не автоматически означает больше пользы. Если в огромном массиве материалов лишь небольшая доля действительно нужна, ценность может заключаться в поиске, аннотировании или выборе текстов, а не в переводе всего подряд. Это меняло постановку задачи: иногда труднее не преобразовать каждое предложение, а понять, какой текст вообще стоит преобразовывать.
Для общества здесь видна человеческая ставка. Машинный перевод обещает сократить потребность в ручной работе; одновременно люди остаются теми, кто готовит словари, маркирует ошибки, проверяет тексты и несёт ответственность за опубликованный смысл. Автоматизация может убрать часть операций и добавить другие. Если измерять только компьютерное время, труд человека исчезает из расчёта — а вместе с ним исчезает и честная оценка результата.
Что ALPAC написал — и чего не писал
Отчёт ALPAC оценивал тогдашний машинный перевод как недостаточно качественный и неэффективный по сравнению с человеческим переводом. В нём говорилось об отсутствии немедленной или предсказуемой перспективы полезного машинного перевода в том виде, которого ожидали финансирующие организации. Это было суровое заключение о состоянии работ и ближайшей отдаче, а не доказательство вечной невозможности перевода компьютером.
Разница принципиальна. Отчёт не говорил, что языковые исследования бесполезны. Он призывал продолжать работу по вычислительной лингвистике, улучшать методы оценки переводов, поддерживать средства, помогающие людям переводить, и разбираться в реальной потребности читателей. В рекомендациях были словарные и редакторские инструменты, организация переводческого процесса и оценка качества. Комиссия не предлагала просто закрыть любую работу с языком.
Однако в последующие годы финансирование практических систем машинного перевода в США действительно сократилось, а сам отчёт стал символом разочарования в направлении. Вот где возникает расхождение между документом и его последствиями. Текст отчёта может содержать более сложные рекомендации; учреждение, которое распределяет бюджеты, может услышать прежде всего: «обещанный результат не пришёл». Последующая память может ещё сильнее упростить историю: «ALPAC остановил машинный перевод».
Такой эффект характерен для оценки технологий. Комитет исследует конкретную программу и её пользу, но результаты оценки начинают воспринимать как суждение обо всей области. В ведомстве ищут решение, которое можно принять на основании отчёта; исследователь видит риск для долгой научной работы; историк позже пытается отделить первоначальный текст от решений, принятых после публикации.
ALPAC сравнивал системы не только с идеальным переводчиком, которого не существует, но и с реальной профессиональной работой и потребностями заказчиков. Для него было важно, сколько времени уходит на постредактирование, как читатели используют переводы и даёт ли система достаточный выигрыш. Такая проверка могла быть слишком узкой для оценки фундаментальной ценности языкового исследования, но достаточно уместной для вопроса об инвестициях в конкретный продукт.
Государство могло сделать два разных вывода. Первый: текущие машинные переводчики не обеспечивают обещанную экономию и качество. Второй: поэтому следует отказаться от всех связанных исследований. Первый вывод поддерживался отчетом гораздо лучше, чем второй. Но в реальном бюджете эти различия иногда стираются. Финансирование не всегда устроено так, чтобы ясно отделять фундаментальную работу от прикладных обещаний, особенно когда обе части продаются под одним названием.
У истории была и географическая сторона. Снижение практического финансирования в США не означало, что работа исчезла по всему миру. Исследования продолжались в других странах и организациях; в Канаде, Европе и Советском Союзе существовали свои задачи и программы. Позже появились работающие системы для ограниченных предметных областей. Понятие «зима машинного перевода» точнее, чем фраза «машины перестали переводить»: оно описывает охлаждение ресурсов и ожиданий в отдельных контекстах, а не исчезновение научной проблемы.