Кто говорит во мне: я или алгоритм?

Глава 1. Ответ, который появился раньше мысли

Сообщение пришло в 11:43.

«Привет. Слушай, мне кажется, вчера на встрече ты довольно резко прошлась по моей идее. Если честно, было неприятно. Хотела спросить: у тебя действительно есть претензии ко мне или я что-то не так поняла?»

Анна прочитала его дважды.

Потом ещё раз — уже медленнее.

Это была коллега, с которой они работали вместе почти три года. Не подруга, но и не тот человек, которому можно ответить сухим «принято» и надеяться, что дальше отношения как-нибудь сами починятся.

Анна начала печатать:

«Привет. Нет, никаких претензий…»

Стерла.

Написала:

«Извини, если это так прозвучало…»

Тоже стерла. Фраза показалась подозрительно похожей на «извини, что ты неправильно поняла», а именно таким человеком Анна сегодня становиться не планировала. Она отложила телефон, открыла ноутбук и некоторое время смотрела на пустой документ. Нужно было объяснить простую вещь: идея ей действительно не понравилась, но к самой коллеге это отношения не имело. Вчера она устала, говорила слишком резко и теперь жалела о тоне. Всё.

Мысль была где-то рядом.

Слова не приходили.

Анна открыла ИИ.

«Коллега написала, что я вчера слишком резко раскритиковала её идею и спрашивает, есть ли у меня претензии лично к ней. На самом деле претензий нет, но идея мне действительно не нравится. Я понимаю, что сказала это грубо. Помоги ответить спокойно, без заискивания».

Ответ появился почти сразу.

Он был очень хорош.

Без лишних извинений. Без холодности. Без той неприятной корпоративной интонации, в которой взрослые люди внезапно начинают «ценить открытый диалог» и «благодарить за возможность прояснить ситуацию».

Анна прочитала:

«Привет. Спасибо, что написала. Личных претензий к тебе у меня нет. Я действительно была довольно резкой вчера, и за форму мне хочется извиниться. При этом мои сомнения по поводу самой идеи остаются — думаю, будет лучше отдельно их спокойно обсудить, чтобы не смешивать рабочее несогласие и наши отношения».

— Да, — сказала Анна вслух. — Вот именно.

Она скопировала текст.

Потом остановилась.

Не из-за какой-нибудь великой философской тревоги. Просто фраза «вот именно» вдруг показалась ей любопытной.

Именно что?

Она хотела сказать это с самого начала — просто не могла подобрать слова?

Или эти слова оказались настолько точными и удобными, что после прочтения стали ощущаться как то, что она хотела сказать?

Разница была почти незаметной.

Может быть, её вообще не стоило искать. Люди постоянно берут друг у друга слова. Хороший редактор способен сформулировать мысль автора лучше, чем сам автор. Друг на кухне иногда за пять минут находит объяснение, которое мы безуспешно искали неделю. Мы читаем книгу и вдруг думаем: «Вот! Я всегда это чувствовал, просто не умел назвать». Никого обычно не пугает, что после хорошего разговора собственная мысль становится яснее благодаря чужой фразе.

Почему здесь должно быть иначе?

Анна снова посмотрела на ответ. Поправила два слова, убрала «спасибо, что написала» — ей это всё-таки показалось немного канцелярским — и отправила сообщение.

Через двадцать минут пришёл ответ:

«Поняла тебя. Всё нормально. Давай после обеда поговорим про саму идею».

На этом история вполне могла закончиться.

ИИ помог.

Конфликт не разросся.

Анна сэкономила минут пятнадцать, а заодно некоторое количество нервных клеток, которые, возможно, пригодятся ей ещё до конца квартала.

Удобно.

И именно удобство здесь важнее всего.

Если бы кто-то силой вложил ей в рот готовое мнение, влияние было бы очевидно. Если бы начальник продиктовал ответ, Анна прекрасно понимала бы, чьи это слова. Если бы коллега сказала: «Вот что ты на самом деле думаешь», — скорее всего, захотелось бы возразить хотя бы из принципа.

Но ничего подобного не произошло.

Анна сама открыла программу. Сама описала ситуацию. Сама попросила помощи. Сама прочитала ответ, изменила его и сама нажала «отправить».

Где здесь вообще проблема?

Возможно, нигде.

Эта книга не начинается с разоблачения.

Нет основания считать, что всякий ответ, полученный от ИИ раньше собственной формулировки, каким-то образом отнимает у человека мысль. В экспериментах AI-совет при определённых условиях действительно способен сдвигать последующие человеческие суждения, а в некоторых исследованиях люди не вполне точно оценивали степень такого влияния. Но из этого не следует, что любая подсказка управляет нами или что принятая формулировка перестаёт быть нашей.

Интереснее другое.

До появления таких систем человеку чаще приходилось сначала хотя бы немного побродить вокруг ответа самому. Написать неудачную фразу. Передумать. Позвонить другу. Пойти за кофе. Вернуться. Иногда так и не найти идеальных слов. Теперь между вопросом и хорошей формулировкой может пройти несколько секунд.

Это несомненное удобство.

Но вместе со временем исчезает и какой-то кусок процесса.

Какой именно?

В случае Анны — мучительный поиск подходящей формы? Возможно. А может быть, ещё и несколько минут, в течение которых ей пришлось бы точнее понять, за что она хочет извиниться, а за что — нет.

Мы пока этого не знаем.

И не всякий исчезнувший этап обязательно нужно возвращать. Никто не требует снова делить в столбик только потому, что калькулятор лишил нас полезного опыта внутренней борьбы с числом 847. Вопрос возникает лишь тогда, когда человеку важно не только получить результат. Иногда значение имеет и то, какую часть пути к этому результату он хочет пройти сам.

Мы редко спрашиваем об этом, когда открываем ИИ. Обычно вопрос гораздо практичнее:

«Как лучше ответить?»

«Что выбрать?»

«С чего начать?»

«Сравни варианты».

«Объясни, что я здесь упускаю».

И через несколько секунд перед нами уже лежит что-то достаточно хорошее, чтобы продолжить работу.

Можно принять.

Исправить.

Отвергнуть.

Попросить ещё три версии.

Но после разговора с коллегой Анна на несколько мгновений заметила то, что раньше проходило мимо. Она обратилась за помощью ещё до того, как закончила собственную мысль.

Никакой катастрофы не произошло.

Просто впервые стало интересно: а что именно она в тот момент делегировала — слова или ещё и часть пути к ним?

Ответа у неё не было.

Пока был только вопрос.

Глава 2. Сколько решений сегодня прошло через посредника?

Утром Сергей проснулся на семь минут раньше будильника и совершил первое технологическое действие дня: посмотрел прогноз погоды.

Плюс девять. Дождь после трёх. Ветер.

Свитер.

Разумеется, приложение не заставляло его надевать свитер. Оно всего лишь сообщило температуру, а дальше взрослый мужчина сорока двух лет каким-то образом справился самостоятельно. Пока закипал чайник, Сергей открыл новости. Лента уже была готова. Несколько событий, пост знакомого, ролик про ремонт старого дома, интервью, которое он сохранил вчера, но так и не посмотрел. Палец двигался вниз почти без участия сознания: интересно, неинтересно, это потом, господи, кто вообще это смотрит, интересно. За завтраком включил музыку. Сервис предложил утреннюю подборку. В машине навигатор показал три маршрута и сразу выделил один — сорок две минуты. Сергей мельком посмотрел на остальные: пятьдесят одна, сорок восемь. Выбрал первый.

В обед понадобилось заказать новый электрический чайник в офис. Поиск выдал сотни. Сергей выставил цену, рейтинг, доставку на завтра и довольно быстро сократил человечество до четырёх чайников. К вечеру он успел выбрать ресторан по оценкам посетителей, посмотреть два видео, которые платформа предложила после третьего, заказать корм коту из раздела «покупают снова» и отказаться от сериала, потому что другой сериал стоял в рекомендациях выше и выглядел убедительнее.

Ничего необычного.

Если бы вечером кто-нибудь спросил Сергея:

— Ты сегодня много решений принимал?

Он, вероятно, вспомнил бы совещание, на котором пришлось выбирать между двумя подрядчиками. Ещё разговор с дочерью о поездке на выходные. Может быть, чайник. Вряд ли в список попали бы маршрут, песня, ресторан, корм и то, какой именно новостной материал он увидел первым.

Они слишком мелкие.

А главное — большинство из них не ощущаются как решения в полном смысле слова. Скорее как движение по уже подготовленной дорожке: вот несколько вариантов, один выглядит разумным, нажимаешь — и живёшь дальше.

В этом есть огромное удобство.

Если каждый раз перед покупкой корма Сергей был бы вынужден самостоятельно изучать весь мировой рынок кошачьего питания, кот, вероятно, первым потребовал бы вернуть алгоритмы. Если бы навигатор просто сообщал: «В городе существует 16 482 дороги, желаем удачи», технологический прогресс выглядел бы несколько менее впечатляющим.

Человеку и не нужно рассматривать всё.

Невозможно прочитать все книги, послушать всю музыку, сравнить все гостиницы, проверить каждый маршрут, увидеть каждую вакансию или открыть все результаты поиска. Между огромным количеством возможного и нашим ограниченным вниманием всегда стояли посредники.

Когда-то таким посредником был продавец в книжном.

— Мне бы что-нибудь в отпуск.

— Попробуйте вот это.

Друг советовал фильм. Газета выбирала новости для первой полосы. Радиостанция решала, какая песня прозвучит следующей. Туристическое агентство показывало пять гостиниц из сотни возможных. Мы никогда не жили перед бесконечной витриной мира, рассматривая её целиком. Но цифровой посредник обладает особенностью, которую легко не заметить именно потому, что она удобна: отбор происходит постоянно, быстро и часто ещё до того, как мы начинаем выбирать. Рекомендательная система не обязана убеждать Сергея: «Ты должен посмотреть этот сериал». Ей достаточно поставить его в ряд тех сериалов, которые Сергей вообще увидит. Навигатору не нужно запрещать дорогу через набережную. Можно просто показать другой маршрут первым. Музыкальному сервису не требуется менять чей-то вкус за один вечер. Достаточно снова и снова решать гораздо более скромную задачу: что прозвучит следующим.

Это важное различие.

Исследования рекомендательных систем позволяют достаточно уверенно говорить о влиянии устройства рекомендаций на то, какие варианты человек видит и что выбирает из предложенного. Гораздо осторожнее следует говорить о более глубоком изменении предпочтений. То, что человеку несколько раз показали определённую музыку и он её включил, ещё не доказывает, что алгоритм «создал его вкус».

Возможно, музыка ему просто нравится.

Возможно, понравилась после нескольких прослушиваний.

Возможно, он никогда не встретил бы её без рекомендации.

А возможно, встретил бы через друга через неделю.

Жизнь ужасно сопротивляется красивым схемам.

Поэтому вопрос «алгоритмы управляют нашим выбором или нет?» мало что даёт. Он требует ответа размером с плакат: да или нет.

В повседневности всё устроено тоньше.

Посредник может не выбирать вместо нас. Он может выбирать, из чего будем выбирать мы. И это касается не только рекомендаций развлечений. Поиск сортирует результаты. Магазин располагает товары. Сервис знакомств решает, какие анкеты появятся на экране. Платформа определяет порядок публикаций. Навигатор рассчитывает маршруты. Генеративный ИИ, если попросить его предложить пять вариантов решения, тоже создаёт маленькое пространство, внутри которого потом работает наше собственное «мне подходит вот этот». Впрочем, даже здесь не стоит приписывать технологии магическую власть. Можно пролистать дальше. Изменить запрос. Открыть другую площадку. Спросить человека. Поехать привычной дорогой вопреки навигатору — а потом сорок минут стоять в пробке и иметь достаточно времени, чтобы обдумать свою независимость. Но свобода отказаться от предложения и отсутствие влияния предложения — разные вещи.

Сергей мог выбрать другой ресторан. Однако сначала он увидел те, которые показал сервис. Мог включить любую песню. Но утро началось с готовой подборки. Мог поехать как угодно. Но перед глазами уже лежал маршрут, помеченный как самый быстрый. За один день ничего драматического не случилось. Сергей не потерял самостоятельность, не превратился в придаток телефона и вечером совершенно заслуженно считал свои решения своими. Просто между ним и огромным количеством возможных вариантов много раз появлялся кто-то третий.

Точнее, что-то.

Оно сокращало список, расставляло порядок, убирало лишнее, угадывало полезное, экономило время. Иногда удачно. Иногда наверняка нет. И почти каждый раз Сергей встречался уже не со всем миром возможностей, а с его маленькой, заранее подготовленной версией. Наверное, именно поэтому алгоритмическое посредничество так легко не замечать.

Мы видим то, что нам предложили.

Но гораздо реже — то, что не дошло до момента выбора.

Глава 3. Но последнее слово всё равно за мной

— Я всё равно решаю сам.

Максим произнёс это с той спокойной уверенностью, с какой обычно сообщают вещи, не требующие доказательств. Разговор начался с ипотеки. Максим с женой выбирали между двумя квартирами. Одна была ближе к центру, меньше и дороже. Другая — просторнее, возле парка, но до работы пришлось бы добираться дольше. Они составили таблицу, поговорили с родителями, посчитали платежи, трижды съездили в оба района.

А потом Максим загрузил все данные в ИИ и попросил:

«Проанализируй варианты с учётом того, что у нас ребёнок пяти лет, я езжу в офис четыре раза в неделю, жена работает удалённо и через два года мы хотим второго ребёнка. Какой вариант рациональнее?»

ИИ выбрал квартиру возле парка.

Не приказал. Не написал: «Максим, немедленно бери ипотеку на двадцать лет, я всё решил». Просто перечислил аргументы. Больше пространства. Прогулки. Потенциально удобнее с двумя детьми. Удалённая работа жены уменьшает значение расстояния до центра. Главный минус — дорога Максима.

— Ну и что? — сказал он, когда приятель пошутил, что теперь квартиры покупает ChatGPT. — Решение-то всё равно принимаю я.

И это было правдой.

Ни одна программа не могла поставить за него подпись в банке. Максим мог закрыть ноутбук, выбрать другую квартиру или вообще решить, что ипотека — прекрасный способ превратить тревогу в ежемесячный платёж, и остаться в съёмной.

Последнее слово действительно было за ним.

Но между «мне дали совет» и «я принял решение» происходило кое-что ещё. До обращения к ИИ Максим видел две квартиры примерно так: первая удобнее для его нынешней жизни, вторая — для возможной будущей семьи. После ответа это равновесие немного изменилось. Просторная квартира стала выглядеть не просто одним из вариантов, а более рациональным вариантом.

Это слово имело вес.

Максим не был обязан соглашаться. Однако теперь, выбирая меньшую квартиру, ему пришлось бы словно возражать не только жене или собственному желанию жить ближе к центру, но и аккуратно построенной аргументации.

Совет ничего не решил окончательно.

Он изменил поверхность, на которой решение принималось.

Так бывает не только с ИИ. Врач предлагает один из способов лечения — и после этого остальные варианты воспринимаются иначе. Опытный коллега говорит: «Я бы на твоём месте не соглашался» — и предложение работодателя внезапно требует дополнительных оправданий. Друг, которому мы доверяем, морщится при имени нового партнёра — и попробуй потом совсем не учитывать эту гримасу. Человеческое решение вообще редко похоже на запечатанную комнату, куда никто не имеет доступа до торжественного появления окончательного мнения. Мы слушаем. Сравниваем. Спорим. Иногда сопротивляемся совету именно потому, что он был дан. Иногда соглашаемся. Иногда через неделю уже не можем точно вспомнить, откуда впервые взялся аргумент, который теперь кажется очевидным. Появление ИИ не создало саму возможность внешнего влияния.

Зато оно сделало совет необычайно доступным.

Чтобы узнать мнение умного знакомого, нужно дождаться, пока он освободится. Эксперт может стоить денег. Родители обязательно добавят к ответу что-нибудь про шапку и нормальную работу. А система готова рассуждать о квартире, карьере, маршруте путешествия или выборе ноутбука в 02:17, не уставая и не начиная ответ словами: «Мы это уже обсуждали». Именно поэтому полезно разобраться не только в том, кто формально принимает окончательное решение, но и в том, какой вес получил совет по дороге к нему.

В исследованиях это можно увидеть довольно буквально. В экспериментах людям предлагают сначала оценить ситуацию, затем дают совет — человеческий или алгоритмический — и смотрят, изменится ли последующее решение. В ряде таких исследований AI-рекомендации действительно сдвигали ответы участников. Иногда люди придавали алгоритмическому совету значительный вес; в других условиях, особенно после ошибок системы или при собственной экспертности, доверяли ему меньше.

То есть научная картина неудобна для красивого лозунга.

Мы не обречены соглашаться с алгоритмом.

Но и само наличие кнопки «отклонить» не означает, что всё предшествующее ей прошло бесследно. В одном исследовании с моральными дилеммами советы ChatGPT влияли на последующие суждения участников, причём сами люди не всегда точно оценивали степень этого влияния. Это интересный результат — и довольно узкий. Он не доказывает, что человек вообще плохо понимает происхождение собственных мнений, а тем более что ChatGPT способен тайно переписывать его ценности. Он показывает гораздо более скромную вещь: иногда влияние совета можно недооценить даже тогда, когда решение остаётся за человеком. Максим, разумеется, не участвовал ни в каком эксперименте.

Он просто выбирал квартиру.

И в конце концов выбрал ту, что ближе к центру.

Жена удивилась.

— А как же твой электронный консультант? Он же советовал парк.

— Советовал.

— И?

— Я понял, что мне важнее не тратить лишний час на дорогу.

— То есть не послушал?

Максим задумался.

— Наверное. Хотя без него я, может быть, не понял бы, с чем именно не согласен.

Вот здесь последнее слово становится действительно интересным. Человек может услышать совет и принять его. Может услышать и отказаться. Может обнаружить благодаря чужой аргументации собственный приоритет. Может изменить мнение не потому, что подчинился, а потому, что увидел то, чего раньше не замечал. Поэтому считать любое влияние угрозой самостоятельности было бы странно. Если бы нас ничто не могло изменить, разговоры, книги, обучение и дружба потеряли бы немалую часть смысла.

Вопрос в другом: можем ли мы заметить, какую работу совет проделал внутри решения?

Максим поставил подпись сам.

Квартира была его выбором.

ИИ этого не отменил.

Но история выбора началась не в тот момент, когда ручка коснулась бумаги.

И закончилась не фразой:

«Последнее слово было за мной».

Глава 4. Откуда вообще берётся моё мнение?

У Иры была одна политически нейтральная, социально безопасная и совершенно непоколебимая жизненная позиция:

арбуз нужно есть с хлебом.

Люди, впервые видевшие это за одним столом, реагировали по-разному. Одни молча отводили глаза, решив, видимо, не вмешиваться в чужую судьбу. Другие спрашивали:

— Зачем?

Ира пожимала плечами.

— Вкусно.

Так ели её родители. Так делала бабушка. В детстве большой арбуз ставили на стол, рядом клали нарезанный чёрный хлеб, и никому в семье не приходило в голову, что два этих продукта нуждаются в официальном разрешении на совместное существование. До двадцати с лишним лет Ира даже не знала, что обладает необычной гастрономической позицией.

Для неё это был просто арбуз.

Многое из того, что мы считаем «своим», входит в нас примерно так же — без торжественной церемонии выбора. Мы не выбираем первый язык. Не проводим сравнительное исследование семейных привычек, прежде чем перенять некоторые из них. Не изучаем в младенчестве научную литературу о допустимой дистанции между собеседниками, выражении привязанности или правилах приличия.

Сначала мы просто живём среди людей.

А потом однажды обнаруживаем себя уже с довольно внушительным внутренним хозяйством. Какая работа считается серьёзной. Сколько денег «прилично» тратить на себя. Нужно ли звонить родственникам. Стоит ли доверять врачам. Хорошо ли быть амбициозным. Нормально ли разводиться. Что такое успех. Кто должен первым мириться после ссоры. Как выглядит хороший родитель. Что значит «слишком поздно». Одни из этих представлений мы со временем отбрасываем. Другие защищаем. Третьи не замечаем до тех пор, пока не встретим человека, для которого всё устроено иначе.

Иногда достаточно одного ужина.

— Подожди, — сказала как-то Ира подруге. — А вы правда в детстве арбуз без хлеба ели?

Подруга посмотрела на неё.

— Ира. Все едят арбуз без хлеба.

Так человек впервые сталкивается с культурным разнообразием. Конечно, серьёзные убеждения устроены сложнее пищевых привычек. Они складываются из темперамента, опыта, отношений, образования, среды, случайных встреч, прочитанных книг, пережитых событий и множества других влияний. Их происхождение редко удаётся восстановить по пунктам. Но здесь для нашей книги появляется неприятно полезная мысль. Если мы хотим провести чёткую границу между «моим мнением» и «влиянием извне», линия быстро начинает расползаться.

Допустим, человек прочитал книгу и изменил отношение к браку. Новое мнение его или автора книги?

Поговорил с другом и решил не увольняться. Чьё решение?

Двадцать лет слышал от родителей, что деньги достаются тяжёлым трудом, и теперь испытывает подозрение к любому лёгкому заработку. Это его убеждение?

Психотерапия помогла ему иначе увидеть отношения с отцом. Новый взгляд теперь менее собственный, потому что возник в разговоре с другим человеком?

В какой-то момент сам вопрос начинает вести себя странно. Если считать своим только то, что родилось без внешнего влияния, нам придётся поискать человека, которого воспитывали без людей, языка, культуры, образования и чужих мыслей. Желательно ещё без книг.

Результат эксперимента вряд ли порадует.

Мы формируемся во взаимодействии.

Это не означает, что никакого «я» не существует и все мнения одинаково навязаны извне. Между услышанной фразой и убеждением, за которое человек готов отвечать, лежит огромная дистанция. Мы можем спорить с тем, чему нас учили. Пересматривать. Сопоставлять с опытом. Отказываться. Возвращаться спустя годы. Иногда яростно отвергать родительскую установку — а в сорок лет поймать себя на том, что произносим её собственному ребёнку почти тем же голосом.

Влияние не уничтожает авторство.

Но авторство, похоже, нельзя свести к происхождению.

Эта мысль особенно важна сейчас, когда рядом появился новый собеседник, способный выдавать формулировки быстрее, чем мы успеваем сварить кофе. Очень легко поставить вопрос так: «Это моя мысль или мысль алгоритма?»