Психологическая цифровая безопасность. Кризисы, сны и искусственный интеллект

Мы пишем сообщение в чат и через несколько секунд получаем ответ. Что успевает произойти за это время, обычно остаётся за пределами нашего внимания. Пока нейросеть справляется с задачей, нам нет особой причины разбираться, каким образом она обработала наш текст.

Но когда мы передаём ей материал, в котором важны нюансы, странные детали, скрытые связи и смысловые акценты, способ обработки начинает иметь значение. Прежде чем работать с нашим текстом, модель должна преобразовать его в форму, которую способна обрабатывать. И уже на этом этапе возникают первые риски.

Риск токенизации

Получив сообщение, алгоритм прежде всего преобразует живую человеческую речь в математическое представление. Он переводит текст в последовательность токенов — технических единиц, которыми могут становиться целые слова, части слов, знаки препинания и другие фрагменты текста. Интонация, эмоциональный оттенок и подтекст не передаются машине как самостоятельные живые переживания. Она пытается восстановить их по текстовым признакам и связям между токенами. Нейросеть собирает из этих крошечных «кирпичиков» новую конструкцию, словно механический конструктор. И то, каким получится здание, во многом зависит от того, какие именно элементы и в каком порядке ей были предложены.

За каждым таким ответом стоит большая вычислительная работа: серверы тратят время, вычислительные мощности и электроэнергию. Модель сопоставляет элементы текста и рассчитывает наиболее вероятные связи и продолжения, опираясь на контекст и закономерности обучающих данных. Поэтому хорошо представленные и часто встречающиеся сочетания получают естественное преимущество.

ИИ не читает текст. Он переводит его в математику

С этим связана серьёзная уязвимость.

Когда человек описывает сложный внутренний кризис, запутанную жизненную ситуацию или глубокий символический сон, он почти всегда пишет потоком сознания — с эмоциями, отступлениями, «лишними» деталями. Для него это живое дыхание смысла. Модель получает текст, в котором важная для человека подробность может ничем не выделяться среди множества других. В результате она способна опереться на более знакомые и частотные связи, а подлинный центр тяжести ситуации останется на периферии.

Тогда на поверхность может всплыть гладкий, логичный, но упрощённый фасад.

Осознанная работа с ИИ требует другого подхода. Мы вынуждены становиться инженерами собственного запроса. Отсекать шум. Чётко расставлять акценты. Задавать структуру.

Когда в промпте появляется ясная архитектура и приоритетные смысловые узлы, мы прямо показываем модели, какие детали считать центральными и какие связи проверять прежде всего. Тем самым меняется вероятное направление ответа. ИИ получает возможность выйти из роли экономного сборщика шаблонов и работать глубже.

Сами токены пока не определяют смысл ответа. После разбивки текста модель должна связать их между собой с учётом контекста. Но здесь возникает риск: знакомые смысловые маршруты могут оказаться для неё предпочтительнее необычной связи, ради которой человек и обратился за анализом.

Риск «эффекта GPS»

За словом «эмбеддинги» стоит строгая математическая реальность. Чтобы работать с текстом, нейросеть превращает слова и фрагменты текста в числовые представления. Если сильно упростить, каждый из них получает своё место на огромной многомерной карте.

Связанные смыслы на этой карте оказываются ближе друг к другу. «Вода», «река» и «океан» живут примерно в одном районе. «Контракт», «инвестиции» и «прибыль» — в другом.

Конечно, дальше всё устроено гораздо сложнее: модель учитывает контекст, положение слов, весь предыдущий разговор и рассчитывает наиболее вероятное продолжение. Но для нас сейчас актуально другое: знакомые связи легче складываются в знакомый маршрут.

Представьте предпринимателя, который оценивает покупку коммерческой недвижимости под новый проект. Он пишет в чат:

«Я планирую выкупить помещение в историческом центре под премиальный ресторан. Локация идеальная, пешеходный трафик огромный, цена ниже рынка на 15%. Владелец согласен на быструю сделку. Но во время осмотра я заметил две вещи: в подвале недавно сделали свежий, но очень дешёвый косметический ремонт, а два соседних заведения — бутик и кофейня — постоянно ищут новых сотрудников, у них текучка кадров. Оцени риски этой покупки».

Для человека звучит тревожный аккорд. Есть три странности, которые сами по себе ничего не доказывают, но почему-то хочется связать между собой.

Нейросеть может разнести их по разным привычным темам. Цена ниже рынка отправит анализ в сторону выгодности инвестиции. Косметический ремонт — к техническому состоянию здания. Текучка кадров — к вопросам персонала.

Получится вполне логичный список: проверить документы, заказать техническую экспертизу, посчитать окупаемость. Только главный вопрос может остаться за его пределами: почему все три странности появились рядом?

В этот момент ИИ начинает напоминать автомобильный GPS. Получив конечную точку, навигатор быстро прокладывает маршрут и уверенно ведёт по выбранной дороге. Если вы случайно свернёте, он некоторое время будет пытаться вернуть вас обратно.

Так же может развиваться анализ сложной ситуации.

Слова «коммерческая недвижимость», «цена ниже рынка», «пешеходный трафик» легко включают привычный сценарий инвестиционной проверки. А дешёвый свежий ремонт в подвале и постоянная текучка сотрудников у соседей остаются где-то на обочине, хотя их сочетание и вызвало тревогу.

Если модель уже попала в эту колею, дополнительные уточнения иногда лишь делают прежний маршрут подробнее. Мы снова скажем про подвал, напомним о соседях, попросим «подумать глубже» — и получим ещё более обстоятельный список документов, экспертиз и расчётов.

Настоящая катастрофа случается на перекрёстке смыслов, где взаимосвязанные факты оказываются в разных районах карты.

В такой ситуации приходится менять направление самого запроса. Вместо привычного:

«Оцени риски покупки»

можно спросить:

«Найди возможную общую причину трёх аномалий: свежего дешёвого ремонта в подвале, срочной продажи по цене ниже рынка и постоянной текучки кадров у соседних заведений. Предложи три гипотезы, которые могли бы связать эти факты между собой. Не считай ни одну из них установленным фактом — укажи, как каждую проверить».

Теперь могут появиться совсем другие версии.

Свежий ремонт, например, скрывает следы регулярного подтопления или проблем с коммуникациями. Текучка у соседей связана с устойчивым запахом канализации, вредными испарениями или плохой вентиляцией. Возможно и более общий дефект здания, из-за которого владелец спешит его продать, а сотрудники соседних заведений долго там не задерживаются.

Это пока только версии. Каждая требует проверки: осмотра коммуникаций, разговоров с соседями, истории ремонтов, проверки вентиляции, канализации и состояния подвала в разные сезоны. Но теперь в центре анализа оказывается странное сочетание трёх фактов — та самая связка, которую первоначальный ответ разложил по разным профессиональным папкам.

Если нейросеть всё равно возвращается на проторенную дорогу, иногда полезно открыть новый чат и зайти с чистого листа. Это помогает сбросить накопившееся направление разговора. Но решающим остаётся сам вопрос, с которого начинается новый анализ.

ИИ настойчиво ведёт вас по гладкой и очевидной дороге — не спорьте с дорогой. Меняйте карту.

Тогда машина получает другую задачу: искать связь именно там, где привычный ответ её не заметил.

Риск туннельного мышления

Есть ещё одна ловушка, которая возникает уже после того, как нейросеть выбрала первый маршрут.

Предположим, её объяснение звучит логично. Оно хорошо написано, учитывает несколько деталей и вызывает внутреннее узнавание: «Да, похоже, именно это со мной и происходит».

Рабочая гипотеза незаметно меняет статус. Мы перестаём её проверять и начинаем использовать как исходное условие для следующих вопросов.

Человек уже спрашивает не «Почему я хочу всё изменить?», а «Как понять, насколько сильно я выгорел?». Не «Что происходит с моим бизнесом?», а «Как пережить потерю мотивации?». Каждый новый вопрос добавляет детали к первой версии, и нейросеть получает всё больше материала, подтверждающего направление, которое сама же предложила.

Ответы становятся точнее и подробнее, но пространство возможных объяснений постепенно сужается.

Самая опасная гипотеза — та, которую мы перестали считать гипотезой.

Особенно легко это происходит с эмоционально заряженным материалом. В кризисе человеку хочется ясности. Хорошо собранное объяснение снимает мучительную неопределённость, и возникает естественное желание двигаться дальше.

Представьте успешного профессионала, который пишет в чат: его неожиданно потянуло всё бросить, продать квартиру в мегаполисе и купить полуразрушенный исторический дом в провинции, чтобы восстанавливать его своими руками.

Первая версия лежит на поверхности: усталость, выгорание, желание замедлиться и уйти от городской нагрузки.

Если человек её принимает, следующий разговор легко строится уже внутри этого объяснения:

«Как понять степень выгорания?» «Стоит ли брать длительный отпуск?» «Как подготовиться к дауншифтингу?» «Как рассчитать бюджет переезда и ремонта?»

Через несколько сообщений первоначальная гипотеза превращается почти в установленный диагноз. Сам вопрос, почему человека так притягивает именно полуразрушенный старый дом и почему ему важно восстанавливать его собственными руками, может вообще исчезнуть из анализа.

Так туннель строится совместно. Нейросеть предлагает правдоподобный вход, человек принимает его и каждым следующим вопросом укрепляет стены.

Если мы не задаём алгоритму правила, он заботливо и незаметно впишет нашу жизнь в свои.

Чтобы выйти из такого туннеля, недостаточно попросить: «Подумай глубже». Нужно вернуть первоначальному ответу статус гипотезы и снова расширить пространство поиска.

Для этого используется протокол возврата управления. Его задача — столкнуть несколько версий, заставить каждую опереться на конкретные детали и вернуть человеку право на окончательный вывод.

Чтобы увидеть, как это работает, вернёмся к истории с полуразрушенным домом.

Защитный протокол: возврат управления

Функция этого протокола: мы не ищем идеальный ответ — мы не позволяем первой убедительной версии захватить весь анализ

Шаг 1. Фиксация узла. Перед отправкой запроса выделите деталь, которая кажется странной, эмоционально заряженной или несоразмерно важной. Иногда главный ключ находится не в центральном событии («захотел всё бросить»), а в детали, которая почему-то не отпускает внимание. В нашем случае это сам полуразрушенный исторический дом.

Формула запроса: «Обрати особое внимание на деталь: полуразрушенный исторический дом. Она кажется мне непропорционально важной. Не считай её случайной». Шаг 2. Столкновение версий. Убедительно собранный ответ легко создаёт ощущение, что объяснение уже найдено. Чтобы не попасть в эту ловушку, нужно столкнуть между собой несколько версий. Каждая из них должна звучать правдоподобно, объяснять конкретные детали и выдерживать возражения.

Формула запроса: «Дай три разные гипотезы моего состояния. Первая — бытовая: например, усталость, выгорание, желание сменить образ жизни. Вторая — психологическая. Третья — стратегическая или символическая. Для каждой укажи: на какие детали она опирается, какая деталь ей противоречит и какой риск возникнет, если я приму эту версию за единственно верную».

Шаг 3. Проверка реальностью. Ни одна интерпретация не должна зависать на уровне красивой концепции. Ей нужны точки проверки. Нейросеть сильна в формулировках, но человек живёт в последствиях. Если ситуация уже разворачивается в реальности, версии проверяются фактами и действиями. Если речь идёт о сне, который может быть опережающим или обучающим, мы фиксируем признаки, за которыми имеет смысл наблюдать дальше.

Формула запроса: «По каждой из трёх гипотез дай два проверочных вопроса, на которые можно ответить конкретными фактами из моей жизни. Например: „Какие рабочие процессы за последний месяц объективно дали сбой?“ Затем предложи одно проверочное действие на ближайшие 72 часа, которое поможет понять, какая версия получает больше подтверждений».

Шаг 4. Поиск слепой зоны. Даже после столкновения нескольких версий анализ может остаться внутри привычного круга объяснений. Поэтому отдельно стоит спросить о том, что вообще не попало в первоначальную картину.

Контрольный вопрос: «Какую важную версию ты мог не рассмотреть, потому что она не следует из самого очевидного объяснения? Назови самый неудобный, но логически обоснованный вывод, который здесь стоит проверить. Не выдавай его за факт: укажи, какие данные могли бы его подтвердить или опровергнуть».

Шаг 5. Возврат права окончательного суждения. В конце нужно вернуть ответу его настоящий статус. Это рабочий материал для размышления и проверки, а не окончательный вердикт.

Формула запроса: «Сформулируй итог не как истину, а как рабочую гипотезу. Отдельно укажи, каких фактических данных не хватает, чтобы её подтвердить или опровергнуть».

Цифровая безопасность начинается там, где мы перестаём принимать убедительность ответа за доказательство его правоты.

Алгоритмическая слепота — не метафора. Это жёсткое системное ограничение, возникающее из самой логики обучения нейросети на конечных данных.

Один из фундаментальных принципов машинного обучения — минимизация эмпирического риска. Эмпирический риск — это средняя величина ошибки модели на конечной обучающей выборке. В практическом смысле это и создаёт математическую привязанность к предъявленному опыту: параметры модели настраиваются так, чтобы минимизировать ошибку на данных, которые ей показали. Она ищет такую конфигурацию, которая заставит хаос выглядеть стройным и знакомым.

На этапе обучения модель ищет функцию, которая даст наименьшую ошибку, опираясь на конечный набор обучающих примеров. Пока задача укладывается в статистическую структуру этого множества, искусственный интеллект кажется почти всесильным. Но реальность всегда бесконечно богаче и сложнее любого конечного набора примеров. В ней существуют скрытые переменные, редкие паттерны, парадоксальные взаимосвязи и целые пласты смысла, которые могли не быть представлены в обучающих данных в достаточном объёме.

Конечно, машина способна строить новые гипотезы, находить неожиданные связи и работать с комбинациями, которых буквально не встречала раньше. Но её «инсайт» принципиально отличается от человеческого: она перестраивает и комбинирует то, что удалось в ней закодировать, не выходя за пределы сформированной системы представлений. В этом смысле нейросеть пытается натянуть новую реальность на уже сформированный каркас своих весов. Если критически важное различие не представлено в этом каркасе или существенная переменная вообще не попала в доступный контекст, модель не имеет надёжного способа заметить сам факт отсутствия. Это становится причиной возникновения слепых пятен.

Более уверенно сеть работает в условиях, когда новый материал удаётся связать с ранее сформированными статистическими закономерностями. Но редкое, плохо представленное или принципиально отсутствующее обстоятельство не вызывает тот сигнала тревоги, который у человека возникает при столкновении с чем-то, что не укладывается в прежнюю картину. Модель продолжает строить наиболее согласованное продолжение из доступных ей связей. Получается гладко, логично и… иногда катастрофически неверно.

ИИ не видит края собственной карты.

Галлюцинации ИИ

Пробел на этой карте модель старается восполнить правдоподобной выдумкой. Галлюцинация ИИ — это убедительное заполнение пробела информацией, которая хорошо вписывается в контекст, но не имеет достаточной опоры в реальности. Модель начинает придумывать несуществующий факт, источник, юридическую норму или причинную связь и выдает их так же уверенно, как сообщает проверенные сведения.

Почему это происходит? Языковая модель изначально учится находить закономерности в огромных массивах текста и предсказывать наиболее вероятное продолжение, а не проверять каждое утверждение на истинность. В обучающих данных рядом с каждой фразой не стоит пометка: «это достоверный факт», «это ошибка», «это предположение». Поэтому внутренняя согласованность ответа сама по себе не гарантирует его соответствия реальности.

Кстати, самые опасные галлюцинации редко выглядят абсурдно. Они логичны, подробно обоснованы и почти не нарушают внутреннюю структуру ответа. Пустота исчезает под гладкой конструкцией — и человек не замечает, в каком месте знание закончилось, а правдоподобная версия заняла его место.

Есть и менее очевидный риск: модель может ничего не придумать — и всё равно привести к опасному решению. Он показывает более глубокую форму алгоритмической слепоты.

По прямому запросу нейросеть может перечислить слабые места собственного ответа, предложить альтернативные версии и даже исправить часть ошибок. Но это ещё не независимый аудит. Первоначальное решение и его последующая критика могут строиться внутри одной и той же исходной картины. Если существенное обстоятельство вообще осталось за её пределами, система способна не заметить не только саму переменную, но и факт того, что в её модели реальности чего-то не хватает.

Отсюда трудность самостоятельного выхода ИИ в полноценную мета-позицию по отношению к собственной задаче. Он может критиковать ответ, но это не гарантирует критики самой системы координат, внутри которой ответ был получен.

Чем выше цена ошибки, тем опаснее рассчитывать, что система сама обнаружит то, чего не было в исходной задаче.

Три уровня алгоритмической слепоты

Этот системный изъян разворачивается на трёх базовых уровнях. Каждый из них показывает отдельный способ, которым формально правильный анализ может разойтись с реальностью. Поэтому сначала разберём сам механизм, а затем посмотрим, как абстрактное ограничение алгоритма превращается в реальный управленческий риск

Для этого возьмём классический бизнес-кейс. Производственная компания приближается к лимитам выручки по упрощённой системе налогообложения, и руководство поручает нейросети предложить варианты снижения налоговой нагрузки.

Налоговый пример здесь не случайный. До прихода в психологию я двадцать лет работала в бизнесе, в том числе пять лет главным бухгалтером; у меня юридическое образование и опыт арбитражных споров. Поэтому в разборе этой ситуации есть и теоретический, и практический аспекты. Она нам нужна как наглядная модель того, как безупречная логика внутри одной системы координат может стать опасной при столкновении с более сложной реальностью.

° Первый уровень — слепота к многомерности, или семантическая плоскость

Любая сложная человеческая система существует одновременно в нескольких измерениях. У бизнеса есть юридическая форма, финансовые потоки, организационная структура, реальные отношения между людьми, распределение власти, скрытые интересы, привычки сотрудников и множество неформальных связей. В запрос нейросети попадает не сама эта многомерная реальность, а её описание — документы, цифры, факты и те обстоятельства, которые пользователь счёл необходимым сообщить.

Модель способна делать из этого описания сложные выводы. Она может предполагать мотивы, восстанавливать недостающие связи, находить противоречия и строить гипотезы о том, что осталось за пределами прямого текста. Но всё это по-прежнему происходит внутри информационной модели ситуации. У нейросети нет независимого доступа к самой физической, социальной и организационной реальности, с которой эта модель должна совпасть.

Машина осуществляет плоское чтение объёмной реальности.

Вот и первая слепая зона. Чем убедительнее описана формальная конструкция, тем легче принять её внутреннюю согласованность за доказательство того, что так же устроена и сама система. Между тем юридически безупречная схема, финансово точный расчёт и логически последовательное объяснение могут описывать только один слой происходящего.

В налоговом кейсе это становится особенно заметно. Получив задачу снизить налоговую нагрузку, нейросеть может предложить структуру из трёх ИП и одного ООО: один участник закупает сырьё, другой производит продукцию, третий занимается продажами, а ООО владеет недвижимостью. У каждого субъекта свои договоры, функции и денежные потоки. На уровне документов конструкция может выглядеть последовательной и экономически обоснованной.

Само по себе существование нескольких ИП и ООО законна, тем более если участники действительно самостоятельны и разделение имеет деловую цель. Но на бумаге самостоятельность создать значительно легче, чем в реальном бизнесе. ФНС прямо указывает среди признаков риска единое управление, общую бухгалтерию, общие ресурсы, переход сотрудников между участниками группы и совпадение IP-адресов.

Следовательно, проверяющего будут интересовать уже не только договоры. Он посмотрит, кто реально управляет компаниями, где находится склад, кто ведёт бухгалтерию, откуда работают с банком, перемещаются ли сотрудники между организациями без изменения своей фактической работы.

Существенно здесь то, что формально стройная конструкция сталкивается с принципом приоритета существа над формой — substance over form: юридическая оболочка оценивается не изолированно, а в сопоставлении с тем, как бизнес фактически функционирует.