Искусственный интеллект. Путь к новому миру

Еще спустя два года появилось само понятие «искусственный интеллект». До этого ученые, например, Тьюринг, использовали Intelligent Machinery (в переводе с англ. – «интеллектуальная машина»). Термин, которой вошел в обиход, предложил американский информатик Джон Маккарти на легендарном Дартмутском летнем исследовательском семинаре по искусственному интеллекту, который считается точкой отсчета в этом направлении науки.

К концу 1960-х годов, по мнению ученых, бóльшая часть работы в области ИИ была выполнена – оставалось исправить мелкие ошибки. В это верили и главные спонсоры исследований и компьютерных разработок в США – правительство и Пентагон. Развитие области интересовало военных, так как компьютеры и программное обеспечение все чаще становились важнейшими компонентами систем вооружений. А без качественных информационных технологий их нельзя было довести до ума. Интерес военных к ИИ был обусловлен и общим стремлением к автоматизации в США. Это была центральная тема исследований в стране после окончания Второй мировой войны.

Значительная часть инвестиций поступала  через Управление перспективных исследовательских проектов – Defense Advanced Research Projects Agency, DAPRA (тогда – Advanced Research Projects Agency, ARPA). Оно было создано  в 1958 году в ответ на запуск Советским Союзом первого искусственного спутника Земли. Перед DARPA ставилась задача восстановить и сохранить первенство Штатов в сфере военных технологий. Организация оказала эпохальное влияние на развитие цифровой среды. Для примера, эта она финансировала разработку университетами распределенной компьютерной сети ARPANET, из которой вырос Интернет, навсегда изменивший то, как мы потребляем информацию, общаемся и работаем.

Особенно важным центром финансируемых управлением исследований был Стэнфордский исследовательский институт (SRI). Центр, основанный в 1966 году, внес значительный вклад в такие области, как языковой перевод и распознавание речи. Там, к примеру, создали  первого автономного робота по имени Шейки (Shakey): его разрабатывали с 1966 по 1972 год на основе исследований в области робототехники, компьютерного зрения и обработки естественного языка. Готовая модель могла рассуждать над собственными действиями: в то время как другим требовались инструкции для каждого конкретного шага, Шейки мог анализировать команды и разбивать их на простые действия. Основная часть программы писалась на одном из первых языков программирования – LISP, который в 1958 году создал уже упомянутый Джон Маккарти. Еще почти через 50 лет эта же организация запустила стартап Siri, который в 2010 году купила Apple.

Хотя ученым было что показать, этого оказалось недостаточно. Прогресс шел слишком медленно. Поэтому оптимизм сменился пессимизмом: интерес к ИИ постепенно начал угасать и в конечном итоге сменился  «зимой». В 1974 году DARPA сократила инвестиции в исследования ИИ. К тому моменту стало понятно, что заманчивые обещания ученых не сбываются: ошибок еще много и до умных автономных роботов с юмором и любовью к Шекспиру крайне далеко.

Интересно, что одним из главных разочарований, которое в итоге привело к закрытию спонсорских программ и в целом скепсису к сфере, стал машинный перевод, про который я упомянул ранее. После многолетних исследований ученые так и не смогли преодолеть фундаментальные проблемы машинного перевода – они недооценили многозначность слов и важность контекста. Из-за этого машина могла полностью исказить смысл фразы. Общеизвестным примером стал перевод на русский и обратно фразы The spirit is willing but the flesh is weak («Дух крепок, но плоть слаба»), превратившейся в результате в The vodka is good but the meat is rotten («Водка хорошая, но мясо протухло»). Во многом прогрессу препятствовали существующие технические ограничения – недостаток компьютерных мощностей и данных.

Впоследствии индустрия пережила еще несколько падений и подъемов. Первая оттепель наступила в 1980-х годах. Тогда исследователи осознали, что, объединяя персептроны Фрэнка Розенблатта в слои, можно решать более сложные задачи, чем раньше. Простые сети могли работать только с линейными данными. Многослойный же персептрон (MLP) мог обрабатывать нелинейные данные и обучаться на своих ошибках с помощью метода обратного распространения ошибки, а значит, осваивать новые навыки.

В дальнейшем ученые изобрели множество типов архитектур. В нашем мозге одновременно происходят процессы распознавания и образов, и текста, и картинок – и все это откладывается в памяти. Компьютерные же нейросети не столь универсальны: пришлось придумывать разные виды, каждый из которых лучше всего приспособлен для своей задачи. Например, в 1990-х появились сверточные нейронные сети (convolutional neural network, CNN) – разновидность нейронных сетей, создатели которой были вдохновлены возможностями и устройством человеческого зрения. Они фокусируются на распознавании образов и используются в приложениях компьютерного зрения. Концепцию предложили Ян Лекун, Леон Ботт, Йошуа Бенгио и Патрик Хаффнер в 1998 году в статье «Градиентное обучение в распознавании документов». Эта работа заложила основу сверточных нейронных сетей. Однако следующие десять лет модель оставалась на уровне теории из-за опять же слабого развития технологий, низких вычислительных мощностей, нехватки данных для обучения моделей и пр.

Хотя ученым удалось добиться множества интересных результатов, постепенно в индустрии наступила вторая «зима». Она во многом связана с развитием персональных компьютеров – они перетянули внимание на себя, и финансирование искусственного интеллекта вновь сократилось. Такая ситуация сохранялась до начала 2000-х годов. Еще десять лет понадобилось для того, чтобы ИИ вновь привлек внимание широкой общественности.

Прорыв случился в 2012 году. В тот год в Торонто проходило ежегодное соревнование разработок в области распознавания изображений – ImageNet Large Scale Recognition challenge. Среди участников была команда из исследовательской лаборатории ИИ в Торонтском университете. Ею руководил 64-летний британец Джефф Хинтон. Он начинал карьеру еще в 1970-х и был из тех немногих, кто продолжил исследования ИИ после первой «зимы». В интервью американскому The New Yorker он признавался , что это было непросто: «В хороших университетах нейросетями тогда занимались единицы. Вы не могли этим заниматься в MIT. Вы не могли это делать в Беркли. Вы не могли делать это в Стэнфорде».

В 1978 году он получил докторскую степень в области искусственного интеллекта в Эдинбургском университете. Уже будучи профессором департамента информатики Торонтского университета, он вместе с двумя аспирантами – выходцами из России Алексом Крижевским (Alex Krizhevsky) и Ильей Суцкевером (Ilya Sutskever) – разработал алгоритмы, с помощью которых они обучали компьютерные системы распознавать устную речь, автоматически считывать банковские чеки и мониторить промышленные установки для повышения безопасности. Все эти наработки со временем легли  в основу большой нейронной сети AlexNet, обученной распознавать  изображения объектов – цветов и автомобилей. На ImageNet исследователи впервые продемонстрировали  свою модель, что принесло им победу и мировую славу. Разработка спровоцировала новую волну интереса к ИИ и бум на венчурном рынке. Согласно данным исследования CB Insights , число сделок со стартапами с приставками ИИ за следующие пять лет выросло в 4,6 раза – с 150 в 2012 году до 698 в 2016 году.

Но что такого особенного было в AlexNet? Почему никто не мог с ней конкурировать, а после мероприятия случился бум? Во-первых, это была одна из первых сверточных нейронных сетей, которая продемонстрировала мощь глубокого обучения в компьютерном зрении. Она состояла из восьми слоев, что было значительно глубже, чем у предыдущих сетей. Такая глубина позволяла захватывать более сложные признаки изображений, что повысило качество распознавания. Во-вторых, AlexNet показала, что глубокие нейросети могут категоризировать данные, которые они до этого не видели. Представьте, что вы обучили модель распознавать кошек на наборе данных с разными конкретными изображениями нескольких пород: персов, британских голубых и пр. Модель могла определить породу у кошки на изображении, которое не участвовало в обучении. Сейчас это кажется данностью, но предыдущие поколения нейросетей этого не умели. Они могли определить породу кошки только на фотографии, которую уже видели и запомнили. А ведь способность обобщать данные и распознавать новые изображения – это как раз то, что делает возможным использовать нейросети для прикладных задач!

Прорыва не случилось бы, если бы не изменения на рынке. Большие наборы данных, которые необходимы для обучения нейросетей, стали доступнее благодаря развитию Интернета. Талант и визионерство команды из Университета Торонто проявились также и в том, что они использовали для обучения графические микропроцессоры; об этом писал в своей книге «Власть Роботов» Мартин Форд. Оказалось, что они могут служить «мощными ускорителями» для приложений, связанных с глубинным обучением. Они могли выполнять  более тысячи миллиардов операций в секунду вместо недели. К тому моменту такие процессоры в основном использовались в видеоиграх.

После признания «мощного синергетического эффекта глубокого обучения и графических процессоров» NVIDIA даже изменила траекторию своего движения, как пишет Форд. Так она превратилась в одну из самых значимых технологических компаний в мире. Об этом свидетельствует ее рыночная стоимость: с января 2012 года по январь 2020 года акции компании выросли на колоссальные 1500 %. Рост, кстати, продолжился в 2022 году, после появления ChatGPT и последовавшего бума в области ИИ, а как следствие – спроса на чипы компании. В 2023 году оценка ее стоимости достигла  1 трлн долларов.

По стопам своих исследований в 2012 году Хинтон и его партнеры запустили  собственный стартап DNNresearch. Правда, развивали его недолго: годом позже компанию приобрел  Google. IT-гигант вел  аналогичные исследования под руководством Джеффа Дина и надеялся за счет команды вывести их на новый уровень. Впоследствии это подразделение получило название Google Brain. Хинтон провел в Google 10 лет. Он покинул компанию только в 2023 году, чтобы открыто критиковать развитие нейросетей. По его мнению, они могут заполнить интернет фейковыми новостями, а также лишить людей работы. Его партнер, Суцкевер, ушел задолго до этого, еще в 2015 году. Тогда он стал главным ученым и сооснователем молодого стартапа, который только образовался и планировал составить конкуренцию Google. Этой компанией была OpenAI, которая еще спустя почти 10 лет совершила новую революцию на рынке ИИ.

В OpenAI Суцкевер возглавил разработку моделей-трансформеров. Это большие языковые модели, которые могут определять контекст и адаптироваться к различным задачам. Такие модели даже прозвали  «Т9 нового уровня». И это недалеко от истины: они могут читать огромные объемы текста, выявлять закономерности в том, как слова и фразы связаны друг с другом, и затем предсказывать, какое слово должно последовать за этим. Архитектуру для моделей-трансформеров разработали  в 2017 году в Google, Суцкевер приложил к этому руку еще до своего ухода из компании. Обычные глубокие нейронные сети (DNN) могли плохо понимать контекст в длинных последовательностях. Но архитектура «трансформер» решила эту проблему благодаря механизму самовнимания (self-attention). Он позволяет модели самостоятельно определять, какие слова в предложении важны и как они связаны друг с другом. Таким образом модель понимает контекст и взаимосвязи слов в тексте и обрабатывает длинные цепочки данных. По сути, основная функция нейросетей – предсказывать следующее слово или его часть, ориентируясь на предшествующие. Причем после генерации каждого нового слова модель заново прогоняет через себя весь предыдущий текст вместе с только что написанным дополнением – и пишет последующее слово уже с учетом него. Сделав несколько таких итераций, она отдает пользователю связный текст.

Архитектура трансформера впоследствии стала фундаментальной частью многих передовых моделей обработки естественного языка и машинного обучения. Так, в 2018 году Google представил BERT (Bidirectional Encoder Representations from Transformers) на основе такой архитектуры. В кратчайшие сроки BERT стал основным инструментом для решения задач обработки естественного языка. Фактически именно BERT стоял за каждым англоязычным запросом, вводимым через Google-поиск. В том же 2018 году OpenAI представил свою первую модель – GPT, которая в дальнейшем послужила основой для будущего мегахита ChatGPT‑3.5.

Важной вехой в истории развитии нейросетей стало появление GAN (Generative Adversarial Networks) – это технология глубокого обучения, которую предложили сотрудники Google Иан Гудфеллоу и его коллеги в 2014 году. Она позволяет генерировать новые данные на основе уже существующих. Это может быть текст, как в случае с ChatGPT, а также видео, картинки и музыка. GAN состоит из двух нейросетей – генератора и дискриминатора. Первая создает новые изображения или же музыку (в этой сфере технология также активно применяется), а дискриминатор определяет, насколько эти данные соответствуют реальным. Например, на основе изображений реальных котов можно создавать новые, практически не отличимые от настоящих. Все нейросети, которые генерируют новые данные на основе существующих, называют генеративным искусственным интеллектом. Подробнее о них я расскажу в следующей главе.