Искусственный интеллект: необъяснимый, непредсказуемый, неконтролируемый. Роман Ямпольский. Саммари

Оригинальное название:

AI: Unexplainable, Unpredictable, Uncontrollable

Автор:

Roman Yampolskiy

www.smartreading.ru

Лампа Аладдина 2.0

Эта история стара как мир. Юноша находит в песках пустыни старую лампу и освобождает всемогущего джинна. Средневековый алхимик стремится познать самые сокровенные тайны природы, и это не ускользает от внимания высших сил. Праведный раввин, движимый самыми благородными намерениями, вызывает к жизни голема, но очень скоро существо выходит из-под контроля хозяина. Тот, кто был (или казался) помощником, стал господином.

Да, такой сюжет существует многие столетия, но только в наши дни он стал реальностью. В XXI веке люди создали сущность, которая умнеет с каждым часом и которую они все еще считают искусственной.

Искусственному интеллекту (ИИ) посвящены тысячи статей и сотни книг, его созданием и изучением занимается множество людей в разных странах. Но едва ли 1 % специалистов всерьез озабочены вопросом: а можем ли мы контролировать ИИ и в какой степени он нам подвластен?

Мы не знаем ответа на этот вопрос. Зато видим, что чем умнее ИИ, тем более необъяснимы с человеческой точки зрения, непроверяемы и непредсказуемы его решения.

Три веские причины опасаться

Как AlphaZero удалось одержать победу в го? Этого не знают даже те, кто его разработал. Виртуальному игроку была поставлена задача и дан карт-бланш в рамках имеющихся у него возможностей. С прочими формами ИИ человек сегодня заключает тот же контракт.

Это выглядит очень рискованно даже в тех случаях, когда цель перед ИИ поставлена благая или хотя бы безобидная. Футуролог Ник Бостром еще в 2003 году предложил мысленный эксперимент, в котором перед ИИ была поставлена одна-единственная задача – увеличить производство канцелярских скрепок. Эксперимент заканчивался тем, что в скрепки была переработана вся Вселенная. Цель не всегда оправдывает средства – мы это знаем, а ИИ – нет.

Момент, когда ИИ превзойдет интеллектуальные возможности человечества, называется переходом в сингулярность. Все, что будет происходить на Земле и во Вселенной в сингулярности, доступно нашему пониманию в той же мере, как то, что происходило до Большого взрыва.

Или мы преувеличиваем тьму незнания? Тот же Бостром склонен смотреть на вещи более оптимистично. Можно предположить, что ИИ будет действовать в рамках известных нам физических законов (если по ходу дела не откроет новые). Возможно, будет иметь место конкуренция между разными типами ИИ (а природа конкуренции неплохо изучена экономистами и психологами). Кроме того, ИИ ведь будет человеческим созданием, а значит, с высокой вероятностью позаимствует ценности своих создателей…

Но главный вопрос, конечно, в том, чего будет хотеть сверхинтеллект. Тут важна разница между конечными и инструментальными целями. Первые могут оказаться какими угодно, а вот инструментальные цели, как заключает Ямпольский, «можно свести к одному стимулу любых агентов – стать самым умным агентом, что в качестве побочного эффекта может породить сверхсознание, воздействие которого на поведение агента сделает его еще менее предсказуемым для нас».

Словом, сверхинтеллект не будет спрашивать у нас, как ему половчее насоздавать триллионы новых скрепок.

Известный факт: многие отличные эксперты – никудышные преподаватели. Они не могут объяснить, как делать то, что хорошо получается у них самих. Даже искренне желая поделиться знаниями, они топят собеседника в массе подробностей, деталей, оговорок. Таков фундаментальный парадокс объяснений (и, в сущности, самого общения): надо пренебрегать или точностью, или доступностью ответа.

Применимо ли это к ИИ? На 100 %. И это напрямую связано с его эффективностью. Так, глубокие нейросети представляют собой самый настоящий черный ящик, при этом дают точные результаты.

Не приходится надеяться на то, что один ИИ поймет другой лучше, чем человек. Любая передача информации связана с потерей точности или доступности.

Кроме того, мы, люди, преувеличиваем свою понятливость. Норма IQ взрослого человека – 90–110 баллов. Многие модели ИИ уже достигли этого уровня. IQ Уильяма Сайдиса (1898–1944), которого называют главным вундеркиндом всех времен, составлял 300 баллов. Очевидно, сверхинтеллект возьмет и эту планку. На каком языке он решит говорить с нами? Вот аналогия. Если ваш трехлетний сынишка захочет узнать, почему небо голубое, пуститесь ли вы в пространные рассуждения о природе цвета? И откуда ему знать, что вы ответили верно, если спросить больше не у кого?

Математика – самая строгая наука на свете. Никто не поверит на слово человеку, утверждающему, что он справился с гипотезой Гольдбаха. Его работа будет проверена математическим сообществом. Вероятно, будут привлечены и автоматизированные системы проверки (они тем незаменимее, чем более формализованные действия нужно проверять).

Математические верификаторы удивительно разнообразны: постепенные, вероятностные, верификаторы правильности аксиом и т. п. Суть, однако, в том, что идеального среди них не существует. Всегда остается противоречие, которое Ямпольский описывает с помощью ироничной реплики из пьесы римского сатирика Ювенала: «Кто сторожит самих сторожей?» На каждого сторожа нужен еще один. Возникает то, что математики именуют бесконечной регрессией верификаторов.

И это не единственная проблема. Иногда решения задач попросту огромны. Компьютерное доказательство задачи о булевых пифагоровых тройках заняло не укладывающиеся в человеческом уме 200 терабайт. Кстати, верификация – слабое место и в создании программного обеспечения: чаще всего оно доходит до потребителя в приемлемом, но не идеальном качестве.

Очевидно, наши представления о способах верификации будут расширяться – как и представления о том, какой способ верификации для каких задач годится лучше. Тем не менее в деле создания ИИ это остается слабым звеном.

Туманный облик ИИ

Итак, мы имеем дело с необъяснимой и непредсказуемой сущностью, чей ход мыслей далеко не всегда очевиден. Можно ли в таком случае говорить о контроле над ним?

Дело еще и в том, что абстрактного искусственного интеллекта не существует. Контроль над слабым ИИ (Narrow AI), решающим локальные задачи, – это одно, а контроль над сильным ИИ (Artificial General Intelligence) – совсем другое. Сильный ИИ в его нынешнем состоянии – это одно, а сильный ИИ спустя 10 лет – нечто иное.

Если не знаешь, чего ожидать, готовься к худшему – будешь лучше подготовлен. Поэтому Ямпольский предлагает исходить из худшего сценария. Чем мы рискуем? Все зависит от того, в какой мере мы полагаемся на виртуального помощника. Он может:

▶ выполнять наши команды беспрекословно (как это, скажем, делает Siri);

▶ следовать не букве, а духу команды, распознавая наше намерение;

▶ помогать только в тех случаях, когда это нужно нам;

▶ помогать в тех случаях, когда это, по его мнению, нужно нам;

▶ управлять нашими действиями;

▶ действовать вместо нас.

Представим, однако, такую ситуацию. Обитатель умного дома чувствует надвигающийся приступ безумия и кричит виртуальному помощнику: «Не выполняй моих команд!» Выполнять ли такую команду? Люди издавна знают дилемму под названием «парадокс лжеца», но будет ли знать про нее ИИ? А главное, как он поступит?

Конец ознакомительного фрагмента.

Текст предоставлен ООО «Литрес».

Прочитайте эту книгу целиком, купив полную легальную версию на Литрес.

Безопасно оплатить книгу можно банковской картой Visa, MasterCard, Maestro, со счета мобильного телефона, с платежного терминала, в салоне МТС или Связной, через PayPal, WebMoney, Яндекс.Деньги, QIWI Кошелек, бонусными картами или другим удобным Вам способом.