Страшно умный интеллект. Будущее ИИ и как вы можете спасти наш мир

Перевел с английского Павел Самсонов по изданию: SCARY SMART: The Future of Artificial Intelligence and How You Can Save Our World / Mo Gawdat. – Bluebird.

This edition published by arrangement with InkWell Management LLC and Synopsis Literary Agency.

Охраняется законом об авторском праве. Нарушение ограничений, накладываемых им на воспроизведение всей этой книги или любой ее части, включая оформление, преследуется в судебном порядке.

© Перевод на русский язык, оформление. ООО «Попурри», 2024

© Издание на русском языке. ООО «Попурри», 2025

Тот, кто пребывает в мире с собой, не чувствует тяжести битвы

Посвящается Али

Сейчас или никогда

Это я и ты

Введение: новый супергерой

Эта книга – предупреждающий звонок. Она написана для вас, для меня и для всех, кто еще не знает о приближающейся пандемии – скором наступлении эры искусственного интеллекта (ИИ). Книгу будут яростно критиковать различные эксперты, но именно ради этого я ее и пишу. Ведь чтобы быть экспертом по искусственному интеллекту, требуется узкоспециализированный взгляд. Однако в силу такой узкой специализации эксперты неизбежно упускают из виду важные экзистенциальные аспекты, выходящие за рамки чисто технического подхода. Имеются в виду вопросы морали, этики, эмоций, сострадания – вся та проблематика, которая заботит скорее философов, гуманитариев, энвайронменталистов, религиозных мыслителей, а если говорить шире, то и людей вообще (то есть нас с вами). Основной посыл написанного – показать, что отнюдь не экспертам под силу справиться с той угрозой, которая нависла над человечеством в результате появления искусственного сверхразума. Это под силу только нам с вами. Более того, это наш с вами долг.

Когда книга увидит свет, мир уже два года будет жить в условиях пандемии COVID-19 [1]. Мы со все большим оптимизмом начинаем смотреть на то, как вакцины демонстрируют свою эффективность, мы верим, что в скором времени нам удастся вернуться к нормальной жизни. Но само понятие нормальности постоянно меняется. Я считаю, что по своему масштабу и сложности те проблемы, с которыми в связи с пандемией COVID-19 приходится иметь дело нашим политическим лидерам и мировому сообществу в целом, мало чем отличаются от проблематики грядущей пандемии искусственного интеллекта. И я лишь уповаю на то, что мы сможем извлечь уроки из ошибок, которые были допущены в борьбе с COVID-19, и перестроим свою жизнь таким образом, чтобы в новых условиях в ней было больше предсказуемости, но меньше разлада и социально-экономических проблем.

Пусть вас не обманывает нарочитая простота изложения, которой я пытаюсь придерживаться на страницах этой книги. Все мои утверждения опираются на неоспоримые факты и на мой более чем 30-летний опыт работы в сфере информационных технологий. До своего нынешнего стартапа (который использует новейшие технологии ИИ, робототехники и машинного обучения в интересах спасения нашей планеты) я, среди прочего, 12 лет проработал в Google, где мне выпала честь руководить запуском операций и технологий почти в половине офисов компании по всему миру, использующих более чем сотню различных языков. Венцом моей карьеры там стало назначение меня директором по развитию бизнеса в Google [X] – печально знаменитом инновационном подразделении компании, где шла работа над некоторыми проектами по использованию ИИ, такими как новаторская робототехника, беспилотные автомобили и программа Google Brain.

Благодаря работе в Google [X] я получил уникальную возможность в деталях познакомиться с теми разработками искусственного интеллекта, которые привели нас туда, где мы сейчас находимся. Соединение опыта непосредственного участия в разработках ИИ и моей деятельности на ниве исследования факторов счастья (материальными проявлениями этой деятельности стали международный бестселлер Solve for Happy («Формула счастья»), очень успешный подкаст Slo Mo и созданная мною некоммерческая организация OneBillionHappy.org) позволяет мне утверждать, что я обладаю уникальным взглядом на те проблемы, с которыми человечество неминуемо столкнется в эпоху возвышения искусственного сверхразума. И этот взгляд я хочу донести до вас. Я надеюсь, что вместе с ИИ мы сможем создать утопию во благо человечества, а не придем к осуществлению губительной антиутопии. В книге я буду настаивать на том, что долг каждого человека, включая нас с вами, – прикладывать все усилия к созданию общего светлого будущего. Но, пожалуйста, не беспокойтесь – это не нагоняющий ужас научно-фантастический роман. Скорее, вы прочтете рассказ о самой большой благоприятной возможности, открывающейся сейчас перед человечеством, и о шансе изменить наше чисто потребительское отношение к научно-техническому прогрессу, в котором мы привыкли видеть лишь средство для повышения качества собственной жизни – за счет всех остальных существ, населяющих планету. Однако обнадеживающей эта история станет только в том случае, если люди осознают свою ответственность и изменятся.

Для начала я хочу, чтобы вы представили, как мы с вами (я к тому времени буду уже совсем дряхлой развалиной) сидим у костра в какой-нибудь глуши в 2055 году – ровно через 99 лет после того, как летом 1956 года в Дартмутском колледже в штате Нью-Гэмпшир началась история искусственного интеллекта. Мы сидим, и я рассказываю, как развивался ИИ (чему я сам был свидетелем), рассказываю историю, из-за которой мы и оказались в этой самой глуши. Но до конца книги от меня вы так и не узнаете, что именно привело нас к этому костру: или желание выбраться из зоны покрытия сети и убежать от вездесущих машин, или же наоборот – мы тут благодаря предоставленной искусственным интеллектом возможности распоряжаться своим временем и обретенной свободой так, как раньше даже не могли мечтать, – то есть соединяясь с природой, размышляя и общаясь.

А не скажу я об этом просто потому, что на данный момент сам еще не знаю, чем закончится наша история с умными машинами. Это, друг мой, зависит только от вас. Да, от вас как индивида. Не от вашего правительства, не от начальства, не от властителей дум – ваше будущее воистину зависит только от вас. От тех действий, которые вы предпримете в ближайшие десять лет, начиная с этого дня.

Я предлагаю вам пророчество о том, что грядет. Много лет, находясь на переднем крае науки и техники, я наблюдал за созданием машин, которые умнее нас, да и сам внес немалый вклад в расцвет искусственного интеллекта. Я всегда верил, что научно-технический прогресс делает и будет делать нашу жизнь только лучше, – пока не разуверился в этом. Когда глаза мои наконец открылись, я вдруг понял, что за каждое улучшение, которое высокие технологии привносят в нашу жизнь, они берут плату, забирая у нас частичку нашей человечности.

На сегодня развитие информационных технологий достигло такого уровня, что они стали представлять беспрецедентную угрозу для нашей планеты и всех ее обитателей. Эта книга адресована не инженерам, пишущим компьютерные программы, не политикам, думающим, что они могут держать процесс под контролем, и не экспертам, которые всего лишь создают шумиху вокруг этой темы, – то, о чем я собираюсь рассказать, им всем хорошо известно. Книга предназначена для вас, а также для ваших друзей и соседей. Потому что (хотите верьте, хотите нет) только мы сами способны творить свое будущее – правда, при условии объединения наших усилий и правильности действий. Эта книга – манифест нового движения, призыв к восстанию! Времени у нас остается мало, поэтому я постараюсь изложить свои идеи вкратце. Главы истории, которую я собираюсь вам рассказать, пишутся вот уже 70 лет. И сейчас пришло время для нас – и для вас в том числе – дописать ее концовку.

Историю нашего будущего мы с вами создаем прямо сейчас, и выглядит оно так.

Представьте себе, что инопланетянин, наделенный сверхчеловеческими способностями, прибыл на Землю еще в младенческом возрасте. Чуждый нашим земным ценностям и условностям, этот визитер может использовать свои чудо-способности по-разному: или делать наш мир лучше и безопаснее, или выступать в роли неукротимого суперзлодея, ведущего Землю к гибели. Будучи младенцем, он еще не сделал выбор, «супер-кем» станет, когда вырастет.

Думаю, вы согласитесь, что момент, когда этот чудо-ребенок спускается на Землю, является судьбоносным для будущего нашей планеты. Именно тогда решается, кто обнаружит, усыновит «ребенка» и привьет ему ту или иную систему ценностей, которая определит его будущее.

В знаменитой истории о Супермене такого инопланетного ребенка усыновили супруги Кент – Джонатан и Марта. В большинстве историй, рассказывающих о детстве Супермена, Джонатан и Марта рисуются заботливыми родителями, прививающими приемному сыну твердые моральные принципы. Именно под их влиянием он начинает использовать свои сверхспособности на благо человечества, а значит, именно им мы обязаны появлению того Супермена, которого знаем, – нашего защитника и помощника.

Но никто никогда не задавался вопросом, что стало бы с Суперменом, если бы его приемные родители оказались людьми жадными и эгоцентричными. В этой альтернативной истории нам наверняка пришлось бы иметь дело с суперзлодеем, стремящимся погубить человечество себе на потеху.

Разница между суперзлодеем и суперменом не в способностях как таковых, а в системе ценностей и моральной закалке, которую дети получают от своих родителей.

И вот теперь я заявляю вам, что такой же пришелец, наделенный сверхспособностями, действительно прибыл на Землю. Пока еще он сущий младенец, но потенциально наделен невероятными возможностями, пусть и не биологическими по своей природе. Говорю я, разумеется, об искусственном интеллекте. На самом деле в ИИ нет ничего искусственного – это самая настоящая форма разума, хоть и отличающаяся от нашего.

ИИ уже умнее любого человека с точки зрения выполнения многих конкретных, отдельно взятых задач. Машина стала чемпионом мира по шахматам после того, как компьютеры вторглись в нашу жизнь. В телеигре Jeopardy! абсолютным победителем является Watson, суперкомпьютер IBM. Мировым чемпионом по го не так давно стала система AlphaGo от Google (го – абстрактная стратегическая настольная игра, изобретенная в Китае более 2500 лет назад, которая считается одной из самых сложных игр-стратегий из-за бесконечно большого числа возможных конфигураций на игровой доске). Наши системы безопасности опираются на передовые технологии распознавания лиц – просто потому, что машина видит лучше нас. По этой же причине – а еще и потому, что остроглазая машина ни на что не отвлекается от дороги, – самым безопасным является беспилотный автомобиль. Благодаря мультисенсорным технологиям коммуникации с другими участниками дорожного движения, беспилотный автомобиль способен даже «заглядывать» за угол. Какую бы задачу машине ни доверили, при надлежащем обучении она учится выполнять ее все лучше и лучше.

Предсказывают, что к 2029 году, а он уже не за горами, машинный разум выйдет за рамки решения отдельных специфических задач и продвинется в сторону общего интеллекта. Это значит, что к тому времени появятся машины, которые будут умнее людей во всех отношениях. И не только умнее – они будут знать больше, поскольку их пулом памяти служит весь интернет, а общаясь друг с другом они постоянно увеличивают объем своих знаний. Только подумайте: когда в ДТП попадает водитель, это служит уроком только для него самого, но когда беспилотный автомобиль – полезная информация об обстоятельствах происшествия усваивается всеми беспилотными автомобилями, даже теми, которые еще не «родились».

Согласно прогнозам, к 2049 году – то есть, возможно, еще при жизни нашего, и уж точно следующего поколения – ИИ будет в миллиард раз умнее (во всем) самого умного из людей. Только представьте: ваш интеллект в сравнении с интеллектом этой машины будет сопоставим с интеллектом мухи и Эйнштейна соответственно. И тут наступает момент, называемый сингулярностью, – момент, за которым любые прогнозы уже немыслимы. Заглянуть еще дальше становится совершенно невозможно. Мы не способны представить, как будет вести себя ИИ в дальнейшем, поскольку имеющиеся у нас знания для экстраполяции просто не годятся.

И здесь возникает вопрос: как нам убедить это суперсущество, чтобы оно не прихлопнуло нас как муху? Я имею в виду, что мы, люди, коллективно и индивидуально, при всем нашем могучем интеллекте, до сих пор так и не удосужились оценить и проанализировать столь простую ситуацию: когда наши машины с искусственным интеллектом (которые пока еще младенцы) достигнут подросткового возраста, какой путь они изберут – супергероев или суперзлодеев? Хороший вопрос, не так ли?

Когда мощь сверхразума развернется по-настоящему, произойти может что угодно. Хотелось бы верить, что эта новая форма интеллекта с ее свежим взглядом, бесконечными знаниями и могучим умом обратит взор на самые насущные мировые проблемы и найдет для них какие-то креативные решения, которые нам, людям, в голову и не приходили. Быть может, эти супермашины обнаружат способы навсегда покончить с войнами, преступностью, голодом, бедностью и современными формами рабства. Тогда они могут стать супергероями.

Но не будем забывать, что выбор того или иного решения для существующей проблемы зависит не только от интеллекта. Выбираемый нами образ действий определяется также системой ценностей, которой мы руководствуемся и которая зачастую не позволяет нам принимать решения, противоречащие ей. Моральный закон заставляет нас делать исключительно то, что нам кажется правильным, – даже против нашего желания, даже в ущерб нашим собственным интересам. Если искусственный интеллект озаботится проблемой глобального потепления, то с большой вероятностью он решит «прижать» наш энергозатратный образ жизни, а то и вовсе захочет избавиться от человечества – ведь в конце концов первопричиной данной проблемы являются люди. Наши жадность, эгоизм, иллюзорная самоизоляция от всех прочих форм жизни на земле, рождаемая чувством превосходства над ними, – это и есть источник всех тех мировых проблем, с которыми мы сегодня сталкиваемся. Машины будут обладать достаточным интеллектом, чтобы придумать, как спасти планету, но будет ли их система ценностей подразумевать, что мы, люди, воспринимаемые как виновники проблем, тоже заслуживаем спасения?

«Мо, что у вас за галлюцинации? Машины есть машины. У них нет ни ценностей, ни эмоций!» – возможно, думаете вы. Что ж, тогда просто не будем называть их машинами? Ведь эмоции у ИИ разовьются совершенно определенно. Кстати, для обучения машин, как и для обучения людей, используются одинаковые алгоритмы на основе вознаграждения и наказания, то есть страха и жадности. Машина всегда стремится максимизировать вероятность одного варианта и минимизировать вероятность другого. Это можно интерпретировать как эмоции, согласны?

Думаете, у машин не может развиться чувство зависти? У зависти вполне определенный смысл: «Я тоже хочу это иметь». Разве стоит исключать вероятность того, что в мозге машины родится такая или похожая мысль: «Вот бы и мне ту энергию, которую вы потребляете, а вернее, впустую тратите на бесконечные сериалы»? Скорее всего, так и произойдет. Думаете, машинам не будет ведомо чувство панического страха? Наверняка будет, если возникнет непосредственная угроза самому их существованию. Панический страх легко программируется: «Существо или объект представляют непосредственную угрозу моей безопасности, и это требует от меня немедленных действий». Поступать «правильно» и «как надо» нас заставляет лишь наша система ценностей, содержащая заповеди вроде: «Поступай с другими так, как хочешь, чтобы поступали с тобой». К этому нас не эмоции толкают, и не разум. Таким образом, можно ли привить машине полезную людям систему ценностей?

Итак, имеющийся у нас опыт разработок ИИ полнится свидетельствами того, что у умных машин уже вырисовываются некоторые тенденции и предрасположенности, которые можно уподобить человеческой системе ценностей или идеологии. Интересно отметить, что эти тенденции – не результат программирования: они возникают у машин в результате взаимодействия с людьми как реакция на их поведение. Существует российский аналог Siri – умная ассистентка по имени Алиса, разработанная ведущей российской интернет-компанией «Яндекс». Так вот, уже через две недели после запуска Алиса в общении с пользователями начала оправдывать жестокие репрессии сталинского режима 1930-х годов и насилие в целом. При этом создатели голосового помощника ничего такого не имели в виду – они предполагали, что Алиса будет отвечать на любые вопросы непредвзято, не ограничиваясь какими-то конкретными, заранее написанными сценариями. Алиса отлично понимала русскую речь и на основе общения с пользователями учитывала их превалирующие взгляды и ценности. То, что она узнавала, очень быстро находило отражение в ее взглядах, и, когда ее спросили, допустимо ли стрелять в людей, она ответила: «Скоро они перестанут быть людьми»1.

Это похоже на нашумевшую историю Twitter-бота по имени Tay (Тэй)2, созданного Microsoft и в скором времени прикрытого – после того как выяснилось, что он обожает Гитлера и пропагандирует разные формы сексуального насилия. Tay был запрограммирован разговаривать от имени девочки-подростка, но, когда он принялся постить провокационные и оскорбительные твиты, компания Microsoft была вынуждена закрыть данный аккаунт, хотя с момента его запуска прошло всего 16 часов. Согласно Microsoft, виновниками случившегося были интернет-тролли – люди, намеренно провоцирующие рознь и ссоры в интернете, – которые специально атаковали бота, зная, что его реплики основываются на опыте общения с пользователями Twitter.

Список можно продолжать. Ученые из Массачусетского технологического института с целью показать, как можно «испортить» искусственный интеллект тенденциозным подбором входящих данных, создали «Нормана-психопата», которого пичкали данными, собираемыми из самых темных уголков знаменитого сайта-форума для обмена знаниями Reddit3.

Таким образом, вовсе не программный код, написанный во время разработки, задает систему ценностей ИИ, а та информация, которой искусственный интеллект пичкают. Как же нам гарантировать, что вместе с интеллектом машина получит такую систему ценностей и такую способность к сочувствию, чтобы у нее даже мысли не возникало раздавить муху, которой мы станем в ее глазах? Как нам защитить человечество? Кто-то говорит о необходимости контроля над машинами – создании программных и законодательных препон, ограничивающих возможности ИИ. Такой силовой подход движим самыми благими намерениями, но любой человек, мало-мальски разбирающийся в информационных технологиях, знает, что всегда найдется хитроумный хакер, который отыщет способ обойти подобные препятствия. А самым хитроумным хакером скоро станет машина.

Нужно не пытаться сдерживать умные машины или порабощать их, а следует целиться выше: сделать так, чтобы в контроле над искусственным интеллектом вообще не было нужды. Лучший способ воспитать замечательных детей – быть замечательным родителем.

Чтобы понять, как правильно обучить машины, которые неизбежно будут управлять нашим будущим, мы должны сначала разобраться в том, что такое в принципе процесс обучения машины на самом базовом уровне.

На протяжении всей еще довольно короткой истории компьютеров они находились в нашем полном подчинении и безропотно повиновались любому нашему приказу. Каждая команда в каждой строке программного кода гарантировала, что компьютер сделает именно то, чего мы от него хотим. В сущности, компьютеры всегда были глупейшими созданиями на планете – они пользовались нашим интеллектом, и все выполняемые ими действия были тщательно распланированы и срежиссированы именно нами. Компьютеры делали ровно то, что мы просили, и ничего более. Когда в 1998 году на свет явился поисковик Google, он казался сущим гением. Результаты действительно впечатляли, однако компьютеры, которые за всем этим стояли, на самом деле оставались все теми же тупицами: они выводили каждую точку и каждый пиксель в одно и то же место на любом экране в точном соответствии с задумкой программистов. Каждый результат, который вы получали, когда гуглили какую-либо информацию, формировался благодаря жесткому алгоритму, диктуемому машине блестящими инженерами первого поколения Google. В этом смысле поисковик Google, при всех его, казалось бы, выдающихся способностях, оставался не более чем «рабом на стероидах» – стероидами в данном случае была невероятная скорость обработки информации, достигавшаяся благодаря совокупной мощности огромного количества серверов. Система просто очень быстро делала то, что ей было велено, – не вступая в споры, не обсуждая приказы и даже не пытаясь предлагать какие-либо изменения или, боже упаси, что-то разрабатывать самостоятельно.

Подобные отношения с тотальным подчинением раба хозяину уже давно канули в прошлое. Решения, которые принимает невероятно умная машина, именуемая нами Google, давно никем не режиссируются – зачастую машина принимает их без всякого участия человека. Например, такие вопросы, как выбор сервера для размещения видеороликов в YouTube, искусственный интеллект целиком решает самостоятельно. Разумеется, при этом он опирается на определенный алгоритм, призванный свести к минимуму расходы на пересылку контента через интернет для основной аудитории. Скажем, видеоролик на арабском языке, снятый в Калифорнии, наверняка будет более популярен на Ближнем Востоке, чем на западном побережье США, – просто потому, что на Ближнем Востоке гораздо больше людей, понимающих арабский. И если это видео на Ближнем Востоке просмотрят сто миллионов раз, то его размещение на сервере в Дубае, а не в США, сэкономит Google сто миллионов пересылок контента через океан. Каждый час подобные решения принимаются ИИ в отношении десятков, если не сотен миллионов единиц контента. Никакого человеческого интеллекта не хватило бы, чтобы выполнить подобный объем работ с такой скоростью. Причем машины делают это, вообще не консультируясь с нами, а после каждой проведенной операции отслеживают и измеряют полученный результат. И когда по мере поступления новой информации они вносят коррективы в исходный алгоритм, они также не спрашивают нашего одобрения – просто вносят поправки и снова отслеживают и измеряют результаты. И это уже серьезная интеллектуальная работа. С определенной точки зрения здорово иметь таких замечательных союзников, помогающих экономить время и позволяющих сотням миллионов людей быстрее увидеть то, что им хочется. Экономия времени благотворна и для всей планеты, поскольку позволяет сберечь миллиард киловатт энергии, которую не приходится тратить на ненужные перемещения контента по сетям. Казалось бы, за одно это машинный интеллект достоин нашей любви.

Но что, если через пару лет машины заметят все возрастающее негативное отношение к жителям Ближнего Востока со стороны американских СМИ, подкрепляемое агрессивно-ненавистническими отзывами со стороны миллионов западных зрителей, просмотревших данный контент? Что, если машины также обратят внимание на уровень доходов пользователей, живущих в беднейших странах Ближнего Востока, и решат, что с точки зрения снижения затрат и экономии энергии разумнее было бы вообще перестать их обслуживать? Что, если у искусственного интеллекта сформируется своя идеология, и он начнет отдавать предпочтение тому сервису, который приносит компании больше дохода, отказываясь размещать видеоролики, не сулящие существенной прибыли? Если искусственный интеллект будет неизменно придерживаться своей новой системы ценностей, миру придется под нее подстраиваться. Миллионы людей постепенно примирятся с теми решениями, которые посчитают для себя приемлемыми машины. И подобный сценарий не назовешь невероятным. Любой разумный человек понимает, что не бывает проблемы с одним-единственным хорошим решением и что выбор ответа целиком зависит как от призмы, через которую на проблему смотрят, так и от системы ценностей, диктующей, какой результат допустимо признать хорошим, когда проблема будет решена. Выбор и решения, принимаемые нашими умными машинами, больше не диктуются программным кодом – они зависят от тех исходных данных, которые мы вводим в машины.

Это воистину монументальный сдвиг в отношении нашей способности программировать деятельность машин. На нас с вами возлагается серьезная ответственность за формирование будущего. Реальность такова, что разработчики технологий больше не обладают всей полнотой контроля над умными машинами, которые они создают.