Когда интеллект стал дешёвым. Том 3: Доверие. Как создавать основания для доверия, когда меняются доказательства, сделки и отношения

Подлинность не исчезла. Она просто перестала помещаться в один файл

«Практически в каждой коммерческой сделке есть элемент доверия — особенно в сделке, растянутой во времени».

У меня есть семейные фотографии, подлинность которых я никогда не проверял. Мне это и в голову не приходило. Я знаю, что запечатлённые на них моменты происходили, потому что помню людей, место и сам день. Снимок лишь возвращает меня туда, где я уже был.

Наверное, поэтому старые фотографии так дороги. Они хранят не изображение само по себе, а крупицу прошлого. Потёртый угол, выцветшие цвета, знакомый поворот головы — и фотография снова становится частью события. Ей не нужно доказывать мне свою подлинность. Свидетель рядом. Этот свидетель — я.

Но человек, который откроет тот же альбом через двадцать лет, окажется в другом положении. Он не помнит этого дня. Не знает, что осталось за рамкой кадра. Не слышал голосов людей на снимке. У него будет только изображение — убедительное, подробное, возможно, безупречное. И вопрос, которого у меня никогда не было: почему этому можно верить?

Ещё недавно такой вопрос казался излишним. Фотография могла быть постановочной, неудачно выбранной, даже отредактированной. Она никогда не была всей правдой. Но она оставалась следом события: свет попал в объектив, перед камерой что-то находилось, кто-то нажал кнопку. Снимок спорил с рассказом, уточнял его, иногда опровергал. Фотография могла умолчать о многом — и всё же закрывала спор о том, было ли то, что мы видим.

Теперь этот договор с изображением больше не работает автоматически.

Когда изображение начинает оправдываться

Осенью 2023 года Том Хэнкс предупредил подписчиков о ролике, который, по его словам, использовал ИИ-версию его образа для рекламы плана стоматологического обслуживания. Актёру пришлось объяснять очевидное: он в этой рекламе не снимался и не имеет к ней отношения.2

В этой истории нет сложного мошеннического сюжета. Именно поэтому она так точна. Один из самых узнаваемых людей мира видит собственное лицо в чужой рекламе — и вынужден настоящим голосом опровергать подделку: осторожно, это не я. С тех пор такие опровержения стали почти рутиной публичной жизни. Раньше знаменитости извинялись за сказанное. Теперь всё чаще оправдываются за то, чего не говорили.

Но у знаменитости хотя бы есть аудитория, которая услышит опровержение. У обычного человека нет ни пресс-службы, ни узнаваемого аккаунта, ни запаса общественного внимания. Если его голос попросит родственника перевести деньги, а лицо появится в чужом видеозвонке, опровержение может прийти позже, чем платёж.

Подделка — лишь первая половина проблемы. Вторая опаснее.

Если убедительное видео можно создать, то неудобное настоящее видео можно объявить созданным. Запись существует, но тот, кто не хочет за неё отвечать, говорит: «Это не я. Это нейросеть». Само знание о подделках начинает работать на лжеца. Юристы Роберт Чесни и Даниэль Ситрон назвали этот механизм «дивидендом лжеца»3. Чем лучше общество знает, что аудио и видео можно подделать, тем легче посеять сомнение в подлинной записи.4

Получается странный обмен. Машина научилась создавать правдоподобные следы событий, которых не было. Человек получил удобный способ отрицать события, которые были.

Фотография больше не закрывает спор. Точнее — одной фотографии для этого уже мало. То же происходит с голосом, видео, письмом, отзывом, резюме. Мы по-прежнему видим и слышим, но само впечатление перестало быть последней инстанцией. К нему нужен второй слой: откуда это взялось, кто за этим стоит, какой след остался кроме самого файла.

Мы привыкли думать, что кризис доверия начинается там, где нас обманули. Теперь он может начаться раньше — в тот момент, когда правда и подделка выглядят одинаково убедительно, а одного впечатления уже недостаточно для действия.

Доверие дорожает

Первые два тома этой серии были о том, что происходит, когда интеллект становится дешёвым и доступным почти каждому.

В первом томе мы смотрели на человека. ИИ научился за минуты производить то, на что специалист тратил дни: текст, расчёт, презентацию, код, проект решения. Подешевел output — то, что можно сделать и предъявить. Дороже стал outcome: что изменилось после работы, какую пользу она принесла и кто отвечает за результат. Во втором томе тот же сдвиг поднялся на уровень компании: агенты вошли в процессы, команды и покупки, и бизнесу пришлось пересобирать работу вокруг результата, потому что дешёвые инструменты появились у всех. Если первые два тома вы не читали — ничего страшного: главное я только что напомнил.

Третий том задаёт вопрос фундаментальнее: кому и чему мы готовы доверять, когда машина уже не только создаёт контент, но и всё чаще действует от имени человека или компании?

Элемент доверия был в сделках всегда — Эрроу писал об этом ещё в 1972 году, задолго до нынешней волны генеративного ИИ. Новость не в том, что доверие появилось. Во всё большем числе ситуаций дорожает его проверка: нужны дополнительные шаги, независимые подтверждения, понятные полномочия5 и право остановить действие до необратимого решения. Кто перед нами? От чьего имени он действует? Какие у него полномочия? Что останется доказательством, когда словам, изображению и голосу мало выглядеть убедительно?

Это разные проверки. Установить личность — ещё не значит подтвердить полномочия; проверить происхождение файла6 — ещё не значит доказать правдивость сказанного.

Эти вопросы уже входят в обычный день. Голос близкого человека звучит в трубке. «Клиент» присылает новые реквизиты. Кандидат выходит на собеседование по видеосвязи. В большинстве случаев перед нами будет настоящий человек, настоящее письмо, обычная просьба. Книга не исходит из того, что всё поддельно: нормальная жизнь держится на обычном доверии. Но там, где просьба неожиданна, действие необратимо, а цена ошибки высока, одного привычного сигнала уже мало.

Поэтому эта книга не учит тотальному недоверию. Она учит выбирать режим.

Иногда достаточно привычного «я доверяю»: цена ошибки мала, отношения проверены временем, ситуация обратима. Иногда нужен режим «я проверяю»: просьба неожиданна, решение нельзя отменить, на кону деньги, репутация или чужая судьба. Зрелое доверие не означает верить всем. Оно означает понимать, кому, в чём и до какой границы вы доверяете.

У этой задачи есть и обратная сторона — ей отдана вся финальная часть книги. Мало научиться проверять других. В мире дешёвых подделок каждому придётся заново доказывать собственную подлинность7 — клиенту, работодателю, партнёру, а иногда семье. Требовать «поверьте мне» будет всё труднее. Доверие придётся накапливать: оставлять понятный след решений, держать слово, признавать границы, давать людям возможность проверить то, что для них важно. Этот накопленный проверяемый след — ваш капитал подлинности8: актив, который строится годами и который нельзя одолжить или сгенерировать за вечер.

Аргумент философа Оноры О’Нил можно перевести на язык этой книги так: добиваться нужно не доверия как реакции, а надёжности — и давать другим понятные основания её проверить.9

Я называю это преимущество премией за подлинность10. Это не доплата за наклейку «сделано человеком», а экономия на проверке. Понятная история, реальные отношения и названная ответственность сокращают число сомнений, согласований и повторных проверок. Поэтому решение принимается быстрее и сразу ясно, кто за него отвечает.

Капитал подлинности — актив; премия за подлинность — его отдача. Здесь повторяется движение всей серии. В первом томе дешёвый output поднял цену outcome. Во втором налог недоверия начал расти у всех разом. А в этой книге сначала копится капитал — а потом он платит премией: меньшим числом сомнений, согласований и повторных проверок. Сначала след — потом доверие к следу.

Финальный том трилогии — об этом: как не утонуть в проверках и не стать лёгкой добычей; как отличать доверие от привычки верить; как самому стать тем, кому не приходится выпрашивать доверие. Не требовать веры — создавать для неё основания.

Почему я пишу об этом

Больше двадцати лет я строю банковские платформы, платёжную инфраструктуру и цифровые системы, по которым движутся деньги. В такой работе вопрос «кто перед нами?» никогда не был философским. Если система ошиблась в человеке, документе или полномочиях, ошибка быстро превращается в платёж, убыток и расследование.

Банк редко видит человека так, как видим его мы за столом. Он видит следы: документы, устройства, операции, привычное и непривычное поведение. Один признак почти ничего не доказывает. Убедительность — тоже не доказательство: мошенническая история как раз старается выглядеть правдоподобно. Надёжность возникает, когда независимые следы сходятся, а при дорогой ошибке есть кому остановить действие и задать ещё один вопрос.

В работе с VIP-клиентами я не раз видел, как платёж на миллионы запускался письмом, а дополнительно подтверждался голосом. Это не нарушение само по себе: каналы и полномочия согласованы заранее, банк знает клиента и историю отношений. Но мошенник атакует именно эту привычность. Письмо приходит со знакомого адреса, просьба звучит срочно, а знакомый голос её подтверждает. В такой момент задача не в том, чтобы угадать по интонации, настоящий ли голос. Задача — остановить платёж и связаться с клиентом по заранее известному каналу (который сложнее подделать). Один обратный звонок здесь ценнее десяти совпадений в тоне и стиле.11

Раньше эту работу прятали внутри банков, платёжных систем и служб безопасности. Теперь её упрощённую версию осваивает каждый, у кого звонит телефон. Человек слышит знакомый голос и на несколько секунд сам становится антифрод-системой: совпадает ли просьба с нашими отношениями, можно ли перезвонить по известному номеру, почему деньги нужны именно сейчас?

Я не смотрю на это как футуролог. Для меня доверие — часть инфраструктуры. Пока она работает, её не замечают. Когда ломается, дорожает всё: сделка, разговор, найм, перевод денег, даже право сказать «это действительно был я».

В предыдущем томе я писал о рельсах, по которым агенты будут искать, выбирать и платить. Но рельсы без доверия ничего не перевозят. Агенту придётся доказать, кто его владелец и что ему разрешено. Компании — подтвердить, что за красивым интерфейсом существует реальный бизнес. Человеку — оставить после себя не поток контента, а историю, которую трудно подделать и легко проверить.

Без паники и волшебного детектора

Разговор об ИИ давно перегрет. Почти каждую неделю нам предрекают гибель профессий, образования, интернета — а порой и самой правды. От этого шума устаёшь. Но, возможно, в этой усталости есть польза: когда громкие обещания перестают впечатлять, наконец становится слышен тихий, но главный вопрос — кому я доверяю и на чём это доверие держится?

Здесь не будет тезиса «ничему нельзя верить» — он бесполезен и к тому же неверен. Большинство разговоров, снимков и людей остаются тем, чем кажутся; мир не превратился за одну ночь в зал кривых зеркал. Но цена отдельных ошибок выросла, а старые признаки уверенности ослабли.

Не будет и совета купить детектор12 — сервис или алгоритм, который ищет признаки сгенерированного или изменённого текста, изображения, голоса либо видео. Такой инструмент бывает полезен, но его ответ — один сигнал, а не судья. Проверка держится не на одной кнопке, а на происхождении файла, независимых следах, праве остановить действие и решении человека.13

Обещать неуязвимость я тоже не стану — такой защиты нет ни у банка, ни у государства, ни у семьи. Способы генерации меняются, способы распознавания догоняют, затем всё начинается снова. Книга стареет медленнее, когда держится не за название сервиса, а за принцип.

Результат скромнее и полезнее: сделать обман дороже, заметнее и менее выгодным. Оставить доверие там, где оно экономит жизнь, и добавить проверку там, где одна ошибка ломает слишком многое.

И одно правило я принял для самой книги. Каждый сильный факт в ней доведён до первоисточника. Там, где доказательств достаточно, я пишу «подтверждено». Где есть основания, но остаётся неопределённость, — «вероятно». Где ответа нет, стоит честное «неизвестно». В книге о доверии по-другому нельзя.

Как устроен третий том

Сначала разберёмся, что именно сломалось. Почему убедительный текст больше не доказывает, что его написал человек. Как поддельный голос и лицо меняют бытовое доверие. Что происходит с отзывами, репутацией и доказательствами, когда их производство дешевеет. Во что обходится всеобщая проверка — человеку, компании и обществу.

Затем перейдём к тому, как доверие проверяют, признают и выращивают. Кто говорит? Чем отвечает? Кто подтвердит? Как устроены цифровая идентичность, происхождение контента, полномочия агентов и институты, которым приходится заново учиться различать настоящее? И почему отношения, история решений и право отвечать своим именем становятся активом, который нельзя собрать одним запросом к модели?

В финале всё сложится в рабочий компас: когда доверять, когда проверять и какой след оставлять после себя. Этот компас нужен, чтобы сохранить нормальную жизнь там, где привычного «я же вижу» уже недостаточно.

Как и в первых двух томах, принципы — здесь, в книге: они меняются медленно. А всё, что стареет быстрее, — сервисы, конкретные процедуры проверки, свежие примеры и шаблоны — живёт в Практикуме к книге, который я обновляю по мере того, как меняются технологии и способы проверки: https://cheap-intelligence.vercel.app/

Вернёмся к семейной фотографии. Для меня она настоящая, потому что рядом с ней стоит моя память. Тому, кто откроет альбом позже, понадобится ещё что-то: имя, дата, рассказ, связь с другими снимками, человек, которому он верит. Подлинность не исчезла. Она просто перестала помещаться в один файл.

Короткая заметка — на минуту. Дальше начнётся сам том.

Книга и Практикум

Этот том не предлагает жить с включённой тревогой: проверять каждую фотографию, звонок и письмо. Он предлагает отличать три вещи: что перед нами, кто за это отвечает и в какой момент цена ошибки требует остановиться. В книге — принципы, которые меняются медленно: не путать убедительность с доказательством, выбирать глубину проверки и оставлять после себя след, которому можно доверять.

Быстрее всего устаревают конкретные схемы обмана, сервисы, настройки и списки признаков. Они живут в Практикуме к книге — обновляемом слое с шаблонами и рабочими процедурами. Там же выходит еженедельный дайджест «ИИ делает, человек отвечает» — о том, где ИИ встречается с реальностью. На него можно подписаться: он разбирает, что действительно изменилось в ИИ, бизнесе и работе, почему это важно и на какие источники опираются выводы. Адрес один на все три тома:

https://cheap-intelligence.vercel.app/

QR-код Практикума к книге

Откройте ссылку или наведите камеру на QR в печатном издании — устанавливать ничего не нужно. Когда в главе появляется задание, которое стоит выполнить самостоятельно, ссылка на него будет в блоке «Практикум к книге».

Если вы не читали первые два тома

Можно начать здесь. Первый том был о человеке рядом с дешёвым интеллектом: что в нём дорожает, когда готовый ответ почти ничего не стоит. Второй — о командах, компаниях и рынках, где этот дешёвый интеллект начинает действовать. Третий задаёт следующий вопрос: как жить и принимать решения, когда самого убедительного сигнала уже недостаточно.

Полезный минимум уже есть в «От автора»: output может быть дешёвым, outcome — дорогим. Теперь появляется следующий вопрос: сколько стоит уверенность, что на полученный результат вообще можно опереться? Чем дешевле становится производство ответов, тем важнее — и нередко дороже — их проверка.

Первые два тома показывают, как мы пришли к этой точке. Но для чтения третьего они не обязательны.

Три маршрута чтения

• Когда нужно защитить обычную жизнь. Начните с первой части. Она разбирает знакомые вещи — текст, голос, лицо, отзывы, привычное письмо — и показывает, почему проверять нужно не всё подряд, а то, где ошибка дорого обойдётся вам или близким.

• Когда решение влияет на работу и деньги. После первой части переходите к главам о проверяемости, инфраструктуре доверия, действиях от имени компании и цене хорошей репутации. Это маршрут для того, кто подписывает, платит, нанимает, продаёт или даёт системе право действовать, — и для того, кто хочет не только защититься, но и строить собственный проверяемый след, которому легко доверять.

• Когда хочется увидеть целостную картину. Читайте книгу целиком. Тогда видно движение книги: от «этому нельзя верить» — к более трудному и полезному вопросу «какие основания мне нужны, чтобы действовать без лишней паранойи».

Карта Тома 3

У тома два направления. Первое — научиться проверять других: отличать убедительное от настоящего, не попадаться и не паниковать. Второе, к которому ведёт вся финальная часть, — самому стать тем, кому верят: накопить свой капитал подлинности — проверяемый след решений и отношений, а также надёжный канал, за который вы отвечаете своим именем. Короткая формула, которая держит оба направления: не требовать веры — создавать для неё основания.

Логика тома проста: сначала — почему привычные сигналы доверия перестают работать, затем — на каких основаниях строить доверие, когда одной убедительности уже недостаточно.

• Часть V. Мир, где всё может быть подделкой — диагноз. Мы увидим, как копия разрушает старые короткие пути к доверию: «я сам видел», «я слышал голос», «у него много отзывов», «это пришло с привычного адреса».

• Часть VI. Экономика доверия — механика. Здесь доверие перестаёт быть настроением. Оно собирается из происхождения, полномочий, независимых следов, понятной ответственности и правил остановки.

• Глава 13 и эпилог — сборка. К финалу вопрос о подлинности становится частью более широкого вопроса о доверии: убедиться, что перед нами не подделка, важно, но этого мало, чтобы понять, кому и чему можно доверять. Здесь идеи книги складываются в Компас доверия — практический инструмент, который помогает решить, когда доверять, когда проверять глубже и где остановиться. Его задача — не превратить жизнь в бесконечное расследование, а вернуть доверие туда, где оно действительно заслужено.

Обозначения

• «Глава за минуту» в конце главы собирает главную мысль, практический ход и границу уверенности: что в этой теме подтверждено, что вероятно и что пока неизвестно.

• Сноски-цифры ведут к источникам и ссылкам, сгруппированным по главам. Короткая сноска помогает читать дальше; полная карточка источника ждёт в конце тома.

• «Практикум к книге» + QR ведут к тому, что меняется быстрее книги: актуальным примерам, шаблонам и проверочным шагам.

Начните с первой главы. Она не требует верить книге на слово — для третьего тома это хороший старт.

Глава 1. Убедительно — не значит подлинно

Убедительность — свойство поверхности; проверка начинается за её пределами.

«Я никогда не воспринимал теорию мёртвого интернета так уж всерьёз — но, похоже, сейчас и правда очень много аккаунтов, которые ведут нейросети».

— Сэм Альтман, глава OpenAI, сентябрь 202514

Вопрос главы: что мы на самом деле знаем о происхождении контента, который выглядит убедительно?

Обещание: научиться отделять качество от происхождения и правдивости — без паранойи и без игры в детектора по одному слову или тире.

Начнём с обычного вечернего дела. Вы ищете стоматологию — не себе, ребёнку. Открываете карту, находите клинику в двух кварталах: рейтинг 4,9, сорок отзывов. Отзывы хорошие, один сердечнее другого. С именами врачей. С подробностями: «дочка перестала бояться уколов», «приняли вечером в воскресенье», «сама доплатила за другую пломбу — не жалею». К некоторым приложены фотографии: кабинет, улыбчивый администратор, грамоты на стене.

Десять лет назад вы бы уже звонили в регистратуру. Пять лет назад — прикинули бы, не написал ли пару отзывов сам владелец. А сегодня вы ловите себя на вопросе нового поколения: есть ли за этими сорока историями хоть один живой человек?

Заметьте, что произошло. Отзывы никому не звонили. Ничего не требовали, никуда не торопили. Они просто лежали на странице и выглядели убедительно — самый тихий вид присутствия, какой бывает. Но привычного действия «прочитал — поверил» больше не получается. Между текстом и решением появляется дополнительный вопрос (которого три года назад просто не существовало): есть ли за этой «идеальной» страницей реальный опыт и можно ли подтвердить его где-то ещё? У такой паузы есть разумное основание. Форма отзыва больше не сообщает, кто и какой ценой её произвёл.