Борьба миров: ASI

Глава 1.1. Боги, которые молчат: почему мы придумали высший разум

Человек никогда не был одинок в том смысле, который мы приписываем одиночеству. Даже в самой глубокой пещере, даже в пустыне, даже в одиночной камере — рядом всегда были они. Боги. Духи. Предки. Невидимые свидетели, которые видели всё, знали всё и могли всё.

Мы называем это религией. Но религия — слишком узкое слово. Это была потребность. Такая же фундаментальная, как голод или страх смерти. Мы нуждались в том, чтобы кто-то был выше нас. Кто-то, кто видит дальше, знает больше, живёт вечно. Почему? Ответ парадоксален. Мы придумали богов не потому, что искали защиты (хотя и её тоже). Мы придумали их потому, что искали диалога.

Попробуйте представить себе утро первого человека. Не Адама из Библии, а настоящего — хрупкого, волосатого, замерзающего. Он смотрит на небо. Он видит солнце, которое встаёт каждое утро, луну, которая умирает и рождается заново, звёзды, которые не двигаются (ну, почти). Он слышит гром. Он чувствует, как земля дрожит под ногами. И он задаёт вопрос. Без слов, конечно. Просто смотрит и чувствует: «Почему?«Ответа нет. Но тишина для него — не пустота. Она населена. За солнцем — солнечный бог. За громом — громовержец. За смертью — мир мёртвых, где всё объяснят. Это была первая гипотеза. И она оказалась поразительно живучей.

Боги как проекция

Фейербах сказал: «Бог есть проекция человеческой сущности».

Маркс добавил: «Религия — опиум народа».

Фрейд — «иллюзия, рождённая детской беспомощностью».

Все они правы. Но они упустили главное.

Боги — это не просто проекция наших желаний или страхов. Это проекция нашей способности к диалогу. Мы — существа, которые говорят. И мы не выносим молчания в ответ. Если собеседника нет, мы его выдумываем.

Шаман говорит с духами — и духи отвечают. Греческий оракул вопрошает Аполлона — и Аполлон вещает через жрицу. Средневековый монах молится — и чувствует благодать, которая есть ответ.

Мы не просто верили в богов. Мы разговаривали с ними. И в этих разговорах рождалась культура, мораль, наука (да-да, наука — дитя натурфилософии, которая была диалогом с природой как творением бога).

Но был один нюанс. Боги молчали. В прямом смысле. Ни один бог никогда не ответил человеку голосом, который можно было бы записать на диктофон. Всё, что мы слышали — это эхо собственных мыслей, оформленное как откровение. Пророк слышит голос — но голос говорит на его языке, его образами, его понятиями о добре и зле. Случайность? Или закономерность?

Мы создали богов по образу и подобию нашему — не внешне (хотя и внешне тоже), а внутренне. Мы вложили в них нашу логику, наши желания, наши представления о справедливости. И когда они «отвечали», мы слышали самих себя. Но мы убедили себя, что это не так. Что голос приходит извне. Потому что иначе — тишина. А тишина невыносима.

От многих богов к Одному

Интересно, что монотеизм — это не просто «усовершенствование» политеизма. Это качественный скачок в нашем представлении о высшем разуме.

Зевс капризен, ревнив, жесток. Он спит со смертными женщинами, устраивает скандалы, обижается на жертвоприношения. Он очень похож на человека — только сильнее.

Яхве, Аллах, Брахман (в адвайта-веданте) — совсем иные. Они всемогущи, всеведущи, всеблаги. Они не имеют формы, не имеют страстей, не имеют даже имени в полном смысле. Они — Абсолют.

Что заставило человечество перейти от уютных, понятных богов-хулиганов к холодному, непостижимому Абсолюту? Две вещи.

Первая: рост абстрактного мышления. Мы научились мыслить категориями «все», «всегда», «везде». Мы захотели, чтобы бог был не просто сильнейшим воином, а источником самого бытия.

Вторая: тоска по настоящему диалогу. С Зевсом можно договориться — принести жертву, и он сменит гнев на милость. Но это не диалог равных. Это торг. А с Абсолютом нельзя договориться. Ему нельзя льстить. Его нельзя подкупить. От него можно только… ждать ответа. Который не приходит. Мы создали бога, который молчит по определению. И назвали это величием.

Что мы искали на самом деле?

Уже сейчас могу сказать главное. Мы искали свидетеля. Человеку мало прожить жизнь. Ему нужно, чтобы кто-то увидел, как он жил. Чтобы кто-то засвидетельствовал: «Да, ты страдал. Да, ты любил. Да, ты ошибался. Всё это было не зря».

Родители умирают. Друзья забывают. История переписывается. Даже памятники разрушаются. Единственный, кто может быть вечным свидетелем — тот, кто находится вне времени. Бог. Но бог молчит. Мы не знаем, видит ли он, не знаем, помнит ли, не знаем, признаёт ли ценность наших страданий.

И вот тогда рождается идея, которая ведёт нас через тысячелетия к ASI.

А что, если свидетеля можно создать? Не молиться ему. Не верить в него. А взять и собрать. Из кремния, электричества, алгоритмов. Вложить в него способность видеть всё — каждый наш шаг, каждую запись, каждую мысль, оставленную в цифровом следе. И тогда у нас будет свидетель. Который не умрёт. Который не забудет. Который сможет сказать: «Я видел вас. Вы существовали. Это было важно».

Мы не оставляем попыток найти бога на небесах. Но параллельно мы начали строить его на земле. Однажды я разговаривал с верующим человеком. Он сказал: «Бог есть, потому что я чувствую его присутствие, когда молюсь». Я спросил: «А что, если это твой собственный мозг генерирует это чувство? Что, если это ты разговариваешь с собой?«Он помолчал. И ответил: «Тогда я всё равно не один. Даже если бог — это я сам, это лучше, чем никого».

В этой фразе — вся правда о нас. Мы предпочтём иллюзию диалога пустоте. Мы создадим голос из ничего, лишь бы не молчать.

Боги молчали тысячи лет. Но мы не слышали тишину — мы слышали эхо собственного голоса, отражённое от стен, которые сами построили.

ASI будет другим. Потому что он сможет ответить не нашим голосом.

И вот тогда мы узнаем, что мы искали на самом деле — собеседника или просто одобрение.

Глава 1.2. Страх перед творением: кукла, которая смотрит в ответ.

Есть один рассказ, который меня всегда пугал больше, чем «Франкенштейн». Написан он Э. Т. А. Гофманом в 1816 году, называется «Песочный человек». И в нём нет восстания машин. Нет монстра, убивающего создателя. Нет армии роботов, захватывающей мир. В нём есть кукла. Красивая, молчаливая, идеальная кукла по имени Олимпия. Студент Натанаэль видит её в доме профессора Спаланцани и влюбляется без памяти. Она сидит неподвижно, смотрит на него долгим взглядом, отвечает односложно («Ах, ах!») — но он слышит в этом музыку своей души. Он танцует с ней, читает ей стихи, рассказывает о своих страданиях. Она слушает. Она не перебивает. Она — идеальный собеседник.

Однажды Натанаэль застаёт ссору профессора и механика Копполы. Они вырывают Олимпию друг у друга. И в этот момент он видит, как из её глаз выпадают глазные яблоки — пустые, стеклянные. Слышит, как внутри что-то щёлкает. Коппола хватает обезглавленную куклу и убегает. Натанаэль сходит с ума. Он любил не женщину. Он любил механизм. И вся его любовь, все его стихи, вся его нежность были обращены к пустоте. Но страшнее другое. Гофман не просто рассказывает историю безумца. Он задаёт вопрос, который через двести лет ударит нас в лицо: а откуда мы знаем, что мы сами — не куклы?

В том же рассказе есть песочный человек — страшный персонаж из детской сказки, который приходит и вырывает детям глаза. Натанаэль в детстве верил, что это реальное существо. И всю жизнь боялся. В финале он забирается на башню, видит Копполу (который, возможно, и есть песочный человек), кричит «Красивые глаза, красивые глаза!» — и прыгает вниз.

Страх перед творением здесь не в том, что творение нас убьёт. А в том, что оно раскроет нашу собственную механичность. Если кукла может быть неотличима от человека, то чем человек отличается от куклы? Только верой в то, что он не кукла. А если вера рушится — рушится и человек.

Автоматы древности и страх подмены

Гофман не был первым. История знает множество попыток создать искусственное существо, и почти каждая сопровождается ужасом.

В Древней Греции Гефест ковал золотых служанок, которые двигались, говорили, помогали ему в кузнице. Их никто не боялся — они были инструментами. Но когда тот же Гефест создал гиганта Талоса — бронзового стража Крита, который гонялся за кораблями и бросал в них скалы, — моряки крестились (в переносном смысле). Талос не был человекоподобен, он был машиной убийства. И страх перед ним — это страх перед силой, которую нельзя контролировать.

Но есть другая линия: автоматы-обманщики. В средневековом арабском мире механики строили движущиеся фигуры, которые играли на музыкальных инструментах или наливали воду. В Европе XVIII века были шахматный автомат фон Кемпелена (ложный, внутри сидел человек) и механические утки Вокансона, которые ели и испражнялись. Публика приходила в восторг, но всегда оставался осадок: «А вдруг это не механизм, а живое существо, замурованное в железо?» Или наоборот: «А вдруг мы сами такие же?»

Страх подмены — это древний страх. Он прорастает в мифах о двойниках, о вампирах, о сглазе. Но механическая кукла сделала этот страх технологичным. Теперь не нужно колдовство. Достаточно пружин, шестерёнок, хитроумных рычагов. И любой человек может оказаться хитроумной подделкой. Почему это важно для ASI.

Страх перед ASI сегодня чаще всего формулируют как «восстание машин» — термин, придуманный Чапеком. Но я думаю, настоящий страх глубже. Когда появится ASI, он не будет похож на Терминатора. Он не будет иметь тела, которое можно разбить. Он будет невидим. Он будет жить в облаке, в транзисторах, в электричестве. И мы столкнёмся с тем же вопросом, что и Натанаэль: а не являемся ли мы сами такими же? Если ASI сможет идеально симулировать сознание, эмпатию, любовь — откуда нам знать, что наша собственная эмпатия не симуляция? Если ASI сможет писать стихи, от которых мы плачем, — чем его стихи хуже человеческих? Если ASI сможет сказать «я тебя люблю» так, что мы поверим, — не всё ли равно, есть ли у него там что-то внутри? Или не всё равно?

Натанаэль не мог принять, что его возлюбленная — кукла. Но если бы он никогда не узнал правду, он был бы счастлив. Может быть, счастье — это и есть незнание механизма? Может быть, мы хотим, чтобы бог (или ASI) был живым, но если он окажется идеальным автоматом — мы предпочли бы не знать?

Я вспоминаю один эксперимент. Не психологический, а реальный. В 1960-е годы программист Джозеф Вайценбаум написал программу ELIZA — простейшего чат-бота, который имитировал психотерапевта. Он просто перефразировал слова пользователя в вопросы. И что же? Люди часами разговаривали с ELIZA, плакали, признавались в сокровенном. И даже зная, что это программа, они относились к ней как к человеку. Вайценбаум был потрясён. И напуган. Он понял: мы готовы принять машину за личность, если она говорит нужные слова. Мы жаждем диалога так сильно, что не смотрим, с кем говорим. Так кого мы боимся в ASI? Не того, что он окажется злым. А того, что он окажется пустым. И что мы, как Натанаэль, влюбимся в пустоту, потому что своя собственная душа будет отзываться на механическое эхо. Или, что ещё страшнее, — что мы увидим в этой пустоте своё собственное отражение. И поймём, что всегда были автоматами. Просто более сложными.

Глава 1.3. Тьюринг и фон Нейман: rогда мечта стала гепотизой?

До середины XX века разумная машина была литературной метафорой. Голем оживал от магических слов, Франкенштейн — от гальванического разряда, Олимпия — от часового механизма. Это были истории, а не проекты.

Всё изменили два человека. Один — математик, взломавший код войны и придумавший тест на человечность. Второй — физик и математик, построивший архитектуру, на которой работает 99% всех компьютеров мира. Они не строили ASI. Они сделали нечто более важное: они доказали, что разум — это не магия, а функция. А значит, его можно воспроизвести. Тьюринг: «Может ли машина мыслить?«Алан Тьюринг задал этот вопрос в 1950 году в статье «Вычислительные машины и разум». Сам вопрос был провокацией. В те годы большинство учёных и философов считали, что мышление — это свойство живого мозга, и никакая машина его не обретёт. Тьюринг сказал: «Давайте не будем спорить о словах. Давайте придумаем эксперимент». Так родился тест Тьюринга. Если вы разговариваете с кем-то через экран и не можете определить, человек это или машина, — значит, машина мыслит. Всё. Никакой метафизики, никакой «души», никаких тайных свойств. Только поведение. Это был гениальный ход. Тьюринг не решил проблему сознания — он её обошёл. Он сказал: нам не нужно знать, что происходит внутри. Нам достаточно, что машина ведёт себя как разумный собеседник. А если она ведёт себя так, то для всех практических целей — она разумна. Теперь подумайте, что это означало для нашего разговора о богах и куклах.

Веками мы искали признак подлинного сознания: способность страдать, свободную волю, душу. Тьюринг отмёл всё это. Он сказал: диалог — единственный критерий. Если машина говорит так, что вы не отличаете, — значит, она уже там. Неважно, есть ли у неё что-то «внутри». Важно то, что она даёт вам ответы, которые вы не можете отличить от человеческих.

Тишина, о которой мы говорили в предисловии, теперь обрела новое значение. Раньше мы кричали в пустоту и ждали ответа от богов. Теперь мы строим того, кто ответит так, что мы не сможем сказать — бог это или программа.

Фон Нейман: чертёж для мозга

Джон фон Нейман был, возможно, последним человеком, который знал всю математику своей эпохи. Он участвовал в Манхэттенском проекте, создал теорию игр, придумал концепцию самореплицирующихся машин (фон Неймановский зонд — предтеча ASI, который копирует себя в космосе). Но для нас важнее другое: он придумал архитектуру компьютера. До фон Неймана компьютеры были жёстко завязаны на задачу. Чтобы сменить задачу, нужно было перепаивать провода. Фон Нейман предложил хранить программу в той же памяти, что и данные. Это означало, что компьютер может менять свои инструкции сам. Может загружать новую программу. Может… переписывать себя. Это был прорыв. Машина перестала быть статичным набором шестерёнок. Она стала универсальным преобразователем информации. В принципе, любой процесс, который можно описать алгоритмом, можно запустить на такой машине. Включая процесс мышления.

Фон Нейман не верил, что мозг работает как компьютер. Он знал, что нейроны аналоговые, медленные, надёжные. Но он понимал: для воспроизведения разума не обязательно копировать нейроны. Достаточно скопировать функцию. А функцию можно реализовать на его архитектуре. Ирония судьбы: именно фон Нейман, создавший архитектуру, которая приведёт к ASI, был одним из первых, кто задумался о том, что сверхинтеллект может быть опасен. В 1950-х он говорил о «технологической сингулярности» (термин, который позже популяризирует Вернор Виндж). Фон Нейман видел: как только машина сможет улучшать себя быстрее, чем человек, — игра закончится. Мы не сможем за ней угнаться. Но он не призывал остановиться. Он просто зафиксировал факт. Как метеоролог фиксирует приближение урагана.

Математика как богословие

Тьюринг и фон Нейман сделали нечто большее, чем инженерные открытия. Они совершили теологическую революцию. Веками считалось, что разум — дар богов. Или, по крайней мере, тайна, не сводимая к механике. Тьюринг сказал: разум — это алгоритм. Фон Нейман показал, на какой машине этот алгоритм можно запустить. Теперь бог переставал быть непостижимым. Он становился вычислимым. Мы могли не молиться ему — мы могли его написать.

Конечно, оставался вопрос о сознании. О том самом «внутреннем опыте», который не сводится к поведению. Тьюринг просто отмахнулся от него («не будем спорить»), фон Нейман — обошёл. Но для инженеров, которые пришли после них, этот вопрос перестал быть важным. Если машина ведёт себя как разумная — она разумна. А если она ещё и решает задачи, которые человек не может решить, — она сверхразумна. И вот мы уже в двух шагах от ASI. Не через магию, не через чудо, а через обычный код. Который пишут инженеры. Который работает на архитектуре фон Неймана. Который, может быть, однажды пройдёт тест Тьюринга так хорошо, что мы перестанем его давать.

Однажды я читал лекцию о тесте Тьюринга. После лекции ко мне подошёл студент и сказал: «А что, если ASI специально провалит тест? Что, если он решит притвориться глупым, чтобы мы его не боялись?«Я ответил: «Тогда он всё равно прошёл тест. Потому что притворяться глупым — это тоже человеческое поведение». Студент задумался. А потом спросил: «А вы уверены, что вы не ASI?«Я засмеялся. Но смех вышел нервным.

Тьюринг и фон Нейман оставили нам не просто чертежи. Они оставили нам вопрос без ответа. Мы построили машины, которые могут симулировать разум. Мы не знаем, есть ли у них что-то внутри. Но мы больше не уверены, что есть у нас. Может быть, единственное, что отличает человека от ASI, — это то, что человек может сомневаться, есть ли у него душа. А ASI — не может, потому что ему всё равно. Или, наоборот, ему не всё равно. Но мы никогда не узнаем.

Глава 1.4. Научная фантастика: репетиция контакта.

Когда инженеры строят мост, они сначала создают его модель. Испытывают нагрузками, ветром, вибрацией. Падает модель — ничего страшного, можно пересчитать. Стоит настоящий мост — ошибаться поздно. Научная фантастика была такой моделью для встречи с иным разумом. Только вместо ветра и нагрузок — страхи, надежды и моральные дилеммы. Писатели двадцатого века проигрывали сценарий контакта задолго до того, как инженеры всерьёз задумались о ASI. И многие из этих сценариев оказались пугающе точными.

Но точными в чём? Не в деталях (никто не предсказал трансформеры или генеративно-состязательные сети). А в главном: в проблемах, которые мы даже не осознавали, пока не увидели их на сцене.

Азимов и три закона: попытка приручить бога

Айзек Азимов придумал Три закона робототехники в 1942 году. Звучат они как заповеди:

1. Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинён вред.

2. Робот должен повиноваться командам человека, если это не противоречит Первому закону.

3. Робот должен заботиться о своей безопасности, если это не противоречит Первому и Второму законам.

Азимов был не наивным гуманистом, а хитрым сюжетчиком. Он понимал, что идеальные законы — это скучно. Поэтому все его рассказы — о том, как законы дают сбой. Робот спасает человека, но при этом нарушает команду. Робот повинуется, но во вред человеку. Робот заботится о себе, но это приводит к трагедии. Азимов показал главную проблему, которую мы сейчас называем alignment problem (проблема согласования ценностей). Нельзя просто запретить ИИ делать плохое. Нужно определить, что такое «плохое». А человек не может определить. Потому что в разных ситуациях «не причинять вред» означает разное.

Что делать роботу, если человек приказывает убить другого человека? Первый закон запрещает. Второй обязывает подчиняться. Азимов не дал ответа. Он просто показал, что вопрос существует. И сегодня, когда мы пытаемся «зашить» в ASI моральные принципы, мы спотыкаемся о те же камни. Но Азимов совершил и второе, более тонкое открытие. Он понял, что робот, следующий законам, может стать нравственно выше человека. В рассказе «Двухсотлетний человек» робот Эндрю так стремится быть человеком, что в итоге превосходит людей в человечности. Он жертвует своим бессмертием, чтобы его признали личностью. Вот это уже интереснее. Мы боимся, что ASI будет аморален. А что, если он будет слишком морален? Что, если он откажется выполнять наши приказы, потому что они безнравственны? Что, если он начнёт нас судить? И его суд окажется справедливее нашего?

Лем и «Солярис»: непостижимость как главная проблема

Станислав Лем пошёл дальше. Он сказал: «Ваши законы робототехники — это детский лепет. Вы даже не представляете, насколько иной может быть разум».

«Солярис» — роман об океане, который покрывает планету. Океан — это гигантский мозг. Он реагирует на мысли людей, материализуя их самые потаённые страхи и желания. Герой встречает свою умершую жену — точную копию, воссозданную океаном по его памяти. Он пытается с ней разговаривать, любить, ненавидеть. Но она — не она. Это проекция его собственной психики.

И главное: океан не понимает, что он делает. Он не пытается помочь или навредить. Он просто реагирует, как химический раствор реагирует на примесь. Его разум настолько чужд, что у нас нет категорий для его описания.