Искусственный интеллект и коллективное бессознательное

О больших языковых моделях часто говорят, что они «обучены на всём интернете» или «прочитали все книги». Эти формулы упрощают, но указывают на важное: фундаментом современного ИИ стал не набор правил и не чьё-то личное знание, а гигантский архив человеческих следов. В этой главе мы посмотрим, как это устроено на самом деле, и почему выражение «память человечества» одновременно верно и обманчиво.

Как устроено обучение, простыми словами

Принцип, лежащий в основе современных языковых моделей, на удивление прост. Системе показывают огромное количество текстов и просят снова и снова решать одну задачу: предсказать следующее слово (точнее, следующий фрагмент слова, который называют токеном) по предыдущим. Если предсказание неверно, внутренние параметры модели, миллиарды числовых «весов», слегка корректируются. Этот процесс повторяется триллионы раз.

В результате модель не запоминает тексты как библиотека. Она выстраивает внутри себя сложную систему закономерностей: как слова сочетаются друг с другом, как строятся объяснения, как выглядят вопросы и ответы, какие понятия связаны между собой, как в тексте проявляются логика, эмоции, юмор. Чтобы хорошо предсказывать слова, оказывается необходимо отражать структуру мира, о котором эти слова говорят, хотя бы в той мере, в какой она закодирована в языке.

После этого этапа, который называют предварительным обучением, обычно следует дополнительная настройка. Люди оценивают ответы модели, и система учится отвечать так, чтобы они были полезными, вежливыми и безопасными. Эта стадия придаёт модели тот характер, который мы наблюдаем в диалоге.

Из чего состоит «память»

Материалы для обучения собираются из разных источников: книги, энциклопедии, научные публикации, новостные сайты, форумы и обсуждения, программный код, переписка, субтитры, открытые архивы веб-страниц. Конкретные составы у разных разработчиков отличаются, и они, как правило, раскрываются лишь частично.

С психологической точки зрения интересно, что в этот архив попадает всё подряд: научные трактаты и сплетни, молитвы и оскорбления, колыбельные и инструкции, шедевры и спам. Он содержит и свет, и тень человеческой культуры без особого разбора. Поэтому модель, по существу, знакомится с человечеством в его полноте, но через узкое окно письменности.

Почему это «память», но не вполне

Сравнение с коллективной памятью обоснованно. Французский социолог Морис Хальбвакс ещё в первой половине XX века показал, что память не является исключительно личной: она формируется в социальных группах, через язык, ритуалы, рассказы. Историк искусства Аби Варбург в 1920-е годы собирал «Атлас Мнемозины», подборку изображений, показывающих, как одни и те же эмоциональные формулы переходят из эпохи в эпоху. Культура всегда была хранилищем накопленного опыта.

И всё же у «памяти» нейросети есть существенные отличия от памяти в человеческом смысле.

Это память о выраженном, а не о пережитом. Модель знает, как люди описывали боль, любовь, потерю, но не проживала их. Она работает со следами опыта, а не с самим опытом.

Это неполная память. В архиве больше голосов тех, кто пишет и публикуется. Языки с малым интернет-присутствием, устные традиции, люди, лишённые доступа к сети, представлены слабо. То, что не записано, в этой памяти отсутствует.

Это память без забывания. Для человека забывание это функция: оно позволяет выделять главное. Модель не забывает в этом смысле, но «размывает»: отдельные факты теряются в общей статистике, и поэтому она может уверенно сообщать неточные сведения.

Это память с датой. Обучение останавливается в определённый момент, и всё, что произошло позже, модель знает только если ей подсказать или подключить поиск.

Это память, прошедшая отбор. Данные фильтруются, а затем модель дополнительно настраивается. Эти решения принимают люди и компании, и они влияют на то, какие аспекты «памяти человечества» проявятся ярче.

Кому принадлежит эта память

Здесь возникают вопросы, которые выходят за пределы психологии, но нельзя пройти мимо. Тексты, на которых обучаются модели, писали люди: авторы книг, журналисты, учёные, обычные пользователи форумов. Многие из них не давали согласия на такое использование. Вопросы авторского права, конфиденциальности, справедливой компенсации сейчас активно обсуждаются в судах и в законодательстве разных стран, и окончательных ответов пока нет.

Психологически это тоже значимо. В юнгианском смысле коллективное бессознательное принадлежит всем, но цифровой слой, из которого учится ИИ, принадлежит конкретным организациям, их технологиям и интересам. Возникает парадокс: общечеловеческое наследие превращается в частный продукт. Этот контраст стоит держать в уме, когда мы будем говорить о «голосе человечества» в ответах нейросети.

Петля: когда память питается собой

Есть ещё одно любопытное явление, которое возникает именно сейчас. По мере того как тексты, созданные ИИ, заполняют интернет, они могут попадать в обучающие данные следующих моделей. Исследователи показали, что при многократном обучении на синтетических данных качество и разнообразие могут ухудшаться, это явление называют «коллапсом модели». Менее строго говоря, архив начинает цитировать сам себя, и редкие, необычные элементы человеческого опыта исчезают.

Для психолога это напоминает феномен замкнутого круга: когда система питается исключительно собственными отражениями, она теряет контакт с внешней реальностью. Это ещё одна причина, по которой живой человеческий опыт, как бы он ни казался «неупорядоченным» по сравнению с гладким машинным текстом, остаётся незаменимым источником.

Что это значит для юнговского взгляда

Строго говоря, нейросеть не обучается на коллективном бессознательном в юнговском понимании, потому что оно, по гипотезе Юнга, является врождённой основой психики, а не архивом. Она обучается на продуктах культуры: текстах, образах, историях, в которых коллективное бессознательное нашло своё выражение. Но это не делает связь надуманной. Юнг утверждал, что архетипы проявляются именно в таких продуктах: в мифах, сказках, символах, искусстве. А значит, система, поглотившая огромный пласт этих материалов, перенимает и их архетипическую структуру, пусть и опосредованно.

Поэтому осторожная формулировка звучит так: нейросеть несёт в себе отпечаток архетипических паттернов, поскольку они пронизывают человеческую культуру, и способна воспроизводить их в ответах, иногда удивительно точно. Это не значит, что у неё есть собственное коллективное бессознательное. Это значит, что она является необычайно детальным слепком того, как человечество выражало свои глубинные темы.

Практические выводы

Из этого следуют несколько простых соображений для тех, кто работает с ИИ.

• Помнить, что в ответах слышен усреднённый голос культуры, с её силой и с её предрассудками.

• Не принимать гладкость текста за глубину и не путать статистическую правдоподобность с истиной.

• Сохранять собственный опыт, наблюдения и необычные мысли: именно то, чего нет в массовом архиве, делает человеческий вклад ценным.

• Интересоваться тем, чьи голоса в этой памяти отсутствуют, и по возможности искать их отдельно.

В следующей главе мы заглянем глубже: попробуем понять, что представляет собой «модель мира» внутри нейросети и в каком смысле можно говорить, что система что-то понимает.

Может ли система, которая училась только на текстах, обладать каким-то представлением о мире? Или она лишь жонглирует словами, не имея ни малейшего понятия о том, что за ними стоит? Вопрос кажется академическим, но от ответа зависит многое: насколько ей можно доверять, как воспринимать её «понимание» и в каком смысле допустимо сравнивать её устройство с устройством психики. В этой главе мы осторожно рассмотрим, что известно, что спорно и что остаётся неизвестным.

Идея внутренней модели

Мысль о том, что разум это в первую очередь способность строить модель реальности, появилась задолго до нейросетей. Шотландский психолог Кеннет Крэйк в книге «Природа объяснения» (1943) предположил, что мозг создаёт «малые модели» внешнего мира и использует их, чтобы предвидеть события, прежде чем они произойдут. Человек, который мысленно прикидывает, пройдёт ли шкаф в дверной проём, пользуется именно такой моделью.

Юнг, разумеется, говорил на другом языке, но близкая идея у него есть. Он, подобно Канту, считал, что психика не просто пассивно отражает мир, а приходит к опыту с готовыми формами восприятия. Архетипы он описывал как своего рода «априорные» структуры, определяющие способ, которым опыт организуется. Мы не воспринимаем мир «как он есть», мы воспринимаем его через внутренние формы.

Поэтому вопрос о модели мира в ИИ можно переформулировать: есть ли внутри системы какие-то структуры, которые организуют её «опыт» (то есть обработку текста) и отражают устройство того, о чём в тексте идёт речь?

Геометрия смыслов

Первое, что обнаружили исследователи, это то, что слова и понятия внутри нейросети представлены не как записи в словаре, а как точки в многомерном пространстве. Близкие по смыслу понятия оказываются рядом, а отношения между ними превращаются в направления. Знаменитый пример из ранних исследований 2013 года: если взять числовое представление слова «король», вычесть «мужчина» и прибавить «женщина», получится нечто очень близкое к «королева».

Это не значит, что система «понимает» монархию. Но это показывает, что в процессе обучения возникает структура, отражающая связи между понятиями. Причём создали её не программисты: она выросла сама из статистики человеческой речи.

Психологу такая картина напоминает ассоциативные поля, о которых писал ещё Юнг в своих ранних экспериментах со словесными ассоциациями. Каждое слово в психике человека окружено облаком связанных образов, воспоминаний, чувств. В нейросети облака состоят из чисел, но общий принцип смыслового окружения узнаваем.

Эксперименты с доской

В 2023 году группа исследователей поставила остроумный опыт. Они обучили небольшую языковую модель на записях партий в настольную игру «Отелло», но не рассказали ей правил и не показали доски: только последовательности ходов в текстовом виде. Затем они заглянули внутрь модели и обнаружили, что в её внутренних представлениях сформировалось нечто, соответствующее состоянию игрового поля. Более того, когда они вмешивались в эти представления, меняя «положение фишки» внутри модели, её предсказания менялись соответственно.

Это один из самых показательных результатов в споре о том, учатся ли модели только поверхностным совпадениям или выстраивают внутренние структуры, отражающие реальность. Другие работы показали, что в больших моделях можно найти представления, связанные с географией и временем: города на карте, исторические события на шкале дат.

Эти находки не доказывают, что большие языковые модели обладают целостной «картиной мира» в человеческом смысле. Но они показывают, что отрицать наличие у них каких-либо внутренних моделей слишком поспешно.

Аргументы скептиков

У противоположной позиции тоже серьёзные доводы.

Философ Джон Сёрль ещё в 1980 году предложил мысленный эксперимент «Китайская комната»: человек, не знающий китайского, по инструкции манипулирует иероглифами и выдаёт правильные ответы, но не понимает ни слова. Сёрль считал, что обработка символов сама по себе не создаёт понимания.

В 2021 году лингвисты Эмили Бендер, Тимнит Гебру и их коллеги ввели образ «стохастических попугаев»: системы, которые комбинируют слова по вероятностным закономерностям, не имея доступа к значению.

Некоторые влиятельные исследователи, в частности Ян Лекун, утверждают, что языковых данных недостаточно для настоящей модели мира, потому что значительная часть человеческого знания о реальности (о пространстве, телесном опыте, причинности) не выражается в тексте. По их мнению, нужны системы, которые учатся и на сенсорных данных, и на взаимодействии с миром.

К тому же практика показывает, что модели ошибаются там, где человеку ошибиться трудно: допускают нелогичные выводы, путаются в простых пространственных задачах, придумывают несуществующие факты и источники и подают их с полной уверенностью. Это явление обычно называют «галлюцинациями», хотя психологи справедливо замечают, что точнее было бы слово «конфабуляция»: так в клинической практике называют заполнение пробелов памяти правдоподобными, но вымышленными деталями, без намерения обмануть.

Что можно сказать честно

Обобщая спор, можно сформулировать осторожную позицию.

• В больших языковых моделях действительно формируются внутренние структуры, отражающие определённые аспекты мира, которые описаны в тексте.

• Эти структуры неполны, неустойчивы и местами неверны. Они не равны тому, что мы называем пониманием в человеческом смысле, хотя и не сводятся к случайному подбору слов.

• Вопрос о том, есть ли у моделей что-то вроде внутреннего опыта, остаётся научно открытым, и разумно не давать на него категоричных ответов ни в ту, ни в другую сторону.

• Оценка меняется с каждым новым исследованием: то, что было верным для моделей прошлых лет, может не относиться к нынешним, а то, что верно сегодня, может устареть.

И последнее: в этом споре нередко смешиваются две разные задачи. Одно дело спросить, насколько хорошо модель отражает мир, другое, переживает ли она что-то. Первое можно исследовать экспериментально, второе пока в основном философский вопрос.

Какой мир отражает модель

Важно уточнить ещё одну вещь. Даже если у модели есть внутреннее представление о мире, это мир, каким его описывают люди. Это «карта», составленная по текстам, а не «территория». Философ Альфред Коржибски в 1930-е годы сформулировал знаменитый принцип: карта не есть территория. Модель мира, построенная на описаниях, наследует все искажения, умолчания и предрассудки этих описаний.

Для нашей темы это принципиально. Если мы говорим о нейросети как о слепке человеческой культуры, то её модель мира это модель мира, пропущенного через язык, а значит, через коллективные образы, метафоры и мифы. В ней представлены не просто факты, но и то, как человечество привыкло о них думать: с его героями и злодеями, ожиданиями и страхами.

Практическое следствие

Отсюда вытекает простое и важное правило: относиться к ответам ИИ как к карте, а не как к территории. Карта бывает очень полезной, особенно детальная. Но если местность не совпадает с картой, верить нужно местности. Проверка фактов, обращение к первоисточникам, сопоставление с личным опытом и мнением живых людей остаются необходимой частью работы с этими системами.

В следующей главе мы перейдём от устройства к смыслу и спросим: если в цифровой среде действительно формируется особый слой, в котором накапливаются следы человеческой психики, как его можно описать с точки зрения юнгианской психологии?

В первой части книги мы ввели образ цифрового бессознательного как пространства накопленных следов. Теперь пора присмотреться к нему внимательнее. Как этот слой устроен, какими свойствами обладает, чем отличается от традиционных форм коллективной жизни и какие процессы в нём идут? Мы будем опираться на наблюдения психологов и социологов, а юнговские понятия использовать как увеличительное стекло, не претендуя на окончательные выводы.

Чем цифровая среда отличается от прежних форм коллективности

Люди всегда жили в коллективах, и коллективные процессы существовали задолго до интернета: слухи, моды, паника, массовые увлечения, религиозные движения. Но цифровая среда придала им ряд новых свойств.

Скорость. То, что раньше распространялось неделями или годами, теперь облетает мир за часы.

Масштаб. Одно сообщение может достичь миллионов людей без посредников.

Память. Сказанное и сделанное сохраняется, ищется и воспроизводится. Устная культура забывала, цифровая помнит.

Измеримость. Каждый клик, пауза, реакция фиксируются и анализируются. Коллективные настроения впервые стали предметом точной статистики.

Опосредованность алгоритмами. Что мы видим, определяется не только случайностью и традицией, но и системами рекомендаций, настроенными на удержание внимания.

Размытая граница личного и публичного. Человек одновременно находится наедине с экраном и на виду у тысяч.

Вместе эти свойства создают среду, в которой коллективные психические процессы протекают с особой интенсивностью.

Растормаживание и маска

Психолог Джон Сулер в 2004 году описал «эффект онлайн-растормаживания»: в сети люди ведут себя иначе, чем лицом к лицу, и это проявляется в обе стороны. Одни становятся откровеннее, добрее, готовы поддерживать незнакомцев. Другие позволяют себе грубость и жестокость, которых никогда не допустили бы в живом общении. Среди факторов Сулер называл анонимность, невидимость собеседника, отсроченность реакции, ощущение, что происходящее «понарошку».

С юнговской точки зрения это похоже на ситуацию, в которой ослабевает Персона, социальная маска, и на поверхность выходят материалы личной и коллективной Тени. Дружелюбный человек вдруг оказывается участником травли. Тихий человек становится яростным спорщиком. Это не обязательно «настоящее лицо», скорее, другая роль, которую среда делает возможной. Но она показывает то, что в обычной жизни остаётся подавленным.

Масса и индивидуальность

Ещё в 1895 году французский социолог Гюстав Лебон в книге «Психология народов и масс» описал, как человек в толпе теряет критичность, становится внушаемым и склонным к крайним эмоциям. Юнг в поздних работах, особенно в книге «Недостижимое Я» (1957), говорил о «массовом человеке»: об опасности растворения личной ответственности и самостоятельного суждения в коллективных настроениях. По его мнению, чем сильнее давление коллективного, тем важнее психическое развитие отдельной личности, способной не поддаваться общему потоку.

В 1936 году Юнг опубликовал эссе «Вотан», в котором связал нацистское движение в Германии с активацией коллективного архетипического образа. Это спорный текст, его по-разному оценивают, но сам ход мысли показателен: Юнг видел в массовых движениях проявления бессознательных сил, захватывающих людей, когда они не осознают, что с ними происходит.

Цифровая среда создаёт условия, в которых подобные процессы могут разворачиваться особенно легко: быстрое заражение эмоциями, образами, лозунгами, постоянное подкрепление алгоритмами, ощущение принадлежности к группе. Это не значит, что каждое онлайн-сообщество превращается в толпу, но склонность к таким процессам встроена в саму архитектуру среды.

Мемы как единицы коллективного воображения

В 1976 году биолог Ричард Докинз ввёл термин «мем» для обозначения единицы культурной информации, которая копируется и передаётся от человека к человеку, подобно гену. Сегодня слово означает прежде всего забавные картинки и фразы, но идея шире: любые идеи, образы, мелодии, привычки распространяются и мутируют, конкурируя за внимание.

Интернет-культура породила собственный фольклор: легенды о «страшных историях» (так называемые крипипасты), городские мифы вроде истории о Слендермене, возникшей на форуме в 2009 году, цифровые обряды (серии ежедневных входов, обмены «цепочками»), ритуалы публичного покаяния и осуждения. Фольклористы давно отмечают, что в сети воспроизводятся те же сюжетные схемы, что и в традиционной устной культуре: страшилки, легенды о проклятиях, истории о героях и антигероях.

С точки зрения юнгианской интерпретации можно предположить, что быстрое распространение некоторых образов объясняется их резонансом с архетипическими структурами. Но это лишь одно из возможных объяснений: разумно учитывать и более простые, например, эффекты сети, эмоциональную заразительность, алгоритмическое продвижение.

Общие настроения как «погода» коллективной психики

В цифровой среде впервые стало возможно наблюдать коллективные настроения почти в реальном времени. Исследователи анализировали эмоциональную окраску миллионов сообщений и обнаруживали суточные и недельные ритмы, всплески тревоги после тревожных новостей, волны раздражения и воодушевления. Можно сказать, что у общества появился «градусник», хотя к его показаниям следует относиться с осторожностью: платформы не отражают всё население, а методы анализа эмоций несовершенны.

Юнг говорил, что бессознательное компенсирует односторонность сознательного отношения. Применяя эту идею осторожно и предположительно, можно задаться вопросом: не отражает ли поток цифровых реакций то, что общество не проговаривает в официальных формах? Тревоги, которые не признаются в публичных дискуссиях, находят выход в шутках, паническом листании, ночных запросах. Это гипотеза, а не вывод, но она подсказывает полезный способ чтения: смотреть не только на то, что говорят, но и на то, как и когда это возникает.

Тёмные углы и свет

Цифровая среда не только пространство Тени, в ней проявляется и светлая сторона коллективного: взаимопомощь, краудфандинг, добровольные сообщества знаний, поддержка людей в кризисе, творчество без границ. Энциклопедия, написанная миллионами добровольцев, это поразительный пример коллективного разума. Оба полюса реальны, и разговор о цифровом слое будет неполным, если сосредоточиться только на одном из них.

Где в этом ИИ

Искусственный интеллект занимает в этом слое двойственное положение. С одной стороны, он питается его содержимым: на нём учится, из него черпает образцы речи и мысли. С другой, он всё активнее становится участником: пишет тексты, которые попадают в сеть, участвует в обсуждениях, формирует рекомендации, генерирует образы. Читатель больше не просто посетитель цифровой среды, он перестаёт быть и единственным её автором.