На пороге сверхразума. Как ИИ изменит работу, обучение и общество

2. Рост объема синтетического контента делает проверку достоверности и отслеживание источников неотъемлемой частью инфраструктуры

Если информационный переизбыток является первым вызовом, с которым мы сталкиваемся, то наводнение синтетического контента представляет собой экспоненциальное усиление этого вызова. С развитием генеративного искусственного интеллекта, в частности таких технологий, как генеративно-состязательные сети (GAN) и диффузионные модели (Diffusion Models), создание изображений, видео, аудио и текста, которые невозможно отличить от реальных, стало делом простым. Такой контент, сгенерированный или модифицированный ИИ, мы называем «синтетическим контентом» (Synthetic Content). Он коренным образом подрывает основы нашего восприятия реальности и доверия к ней.

Раньше для подделки информации требовались значительные затраты и профессиональные навыки. Например, для подделки фотографии требовалось специальное программное обеспечение для редактирования изображений и несколько часов работы; создание фальшивого видеоролика было задачей, достойной киноиндустрии. Сама по себе эта высокая стоимость служила своего рода гарантией безопасности, делая массовую подделку информации с высоким уровнем реалистичности чрезвычайно дорогостоящей и практически неосуществимой. Однако появление генеративного ИИ полностью нарушило этот баланс. Сегодня любой человек может с помощью инструментов с открытым исходным кодом или коммерческих API за считанные минуты создать «дипфейк»-видео, в котором политик произносит слова, которых он никогда не говорил, или из ниоткуда создать несуществующего эксперта и заставить его высказать мнимо авторитетные заявления. Согласно отчету Национального совета по безопасности в области искусственного интеллекта США (NSCAI), риск злоупотребления синтетическим контентом для распространения дезинформации, шантажа, подрыва стабильности рынков и нанесения ущерба национальной безопасности стремительно растет (NSCAI, 2021).

Проблема синтетического контента заключается в том, что он наносит прямой удар по нашему древнейшему и наиболее инстинктивному механизму доверия — принципу «лучше один раз увидеть, чем сто раз услышать». Когда наши глаза и уши больше не способны отличить реальность от вымысла, основы доверия начинают шататься. Это не просто усовершенствованная версия «фейковых новостей», а совершенно новое явление — «загрязнение реальности» (Reality Pollution), способное заразить всю информационную экосистему. Его последствия проявляются в следующих аспектах:

Во-первых, уязвимость личной идентичности и репутации. В эпоху синтетических технологий изображение, голос и высказывания любого человека могут быть украдены и подделаны. Поддельное скандальное видео с участием генерального директора известной компании может за несколько часов вирусным образом распространиться в социальных сетях, приведя к обвалу акций компании; даже если позже его подлинность будет опровергнута, нанесенный ущерб репутации и экономические потери будут практически непоправимы. Точно так же жертвами могут стать и обычные люди: например, их изображения могут быть использованы для создания порнографических видео с «заменой лиц», а их голоса — для телефонного мошенничества. Риск такого легкого «захвата» личности заставляет каждого человека жить в постоянном чувстве потенциальной незащищенности.

Во-вторых, подрыв общественного дискурса и социального доверия. Когда общественность в целом осознает, что любой контент может оказаться подделкой, начинает распространяться «эпистемический цинизм» (Epistemic Cynicism). Люди могут скептически относиться ко всей информации, включая даже достоверные сведения, поступающие от авторитетных организаций и надежных СМИ.Такое отношение, выражающееся в убеждении, что «ничему нельзя верить», наносит даже больший ущерб, чем вера в какую-то одну фальшивую новость. Ведь оно подрывает основу, на которой общество ведет рациональные дискуссии и достигает консенсуса. Если даже видеозапись, запечатлевшая военные преступления, или аудиозапись, разоблачающая коррупцию, могут быть легко отвергнуты как «глубокая подделка», то общество лишится ключевых инструментов для привлечения к ответственности и отстаивания справедливости. Это явление называется «дивидендами лжеца» (Liar’s Dividend): когда люди привыкают к существованию ложной информации, лжецам становится легче уходить от ответственности, отвергая факты как ложь (Chesney & Citron, 2019).

В-третьих, подрыв системы права и доказательств. Традиционное доказательственное право в значительной степени опирается на «подлинность» и «полноту» вещественных доказательств. Фотография, аудиозапись или документ могут быть представлены в суде в качестве доказательств именно потому, что мы верим в их неподдельность и в то, что они являются объективной фиксацией реальности. Однако появление синтетического контента ставит под серьезное сомнение эту основу. Как суд сможет проверить, не является ли видеозапись, выступающая в качестве ключевого доказательства, глубокой подделкой? Может ли искусственный интеллект имитировать цифровую подпись на контракте? Когда сама достоверность доказательств ставится под сомнение, под угрозой оказывается авторитет всей судебной системы. Это вынуждает юридическое сообщество переосмыслить критерии принятия цифровых доказательств и процедуры их проверки.

Перед лицом серьезного вызова, который представляет собой «загрязнение реальности», мы больше не можем полагаться на задним числом проводимую вручную «проверку фактов». Ведь скорость создания синтетического контента и масштабы его распространения намного превосходят возможности человеческих проверяющих. Единственный выход — сделать аутентификацию (Authentication) и отслеживание происхождения (Provenance) основополагающей инфраструктурой будущей информационной экосистемы. Это означает, что мы должны перейти от модели «считать контент правдивым, пока не будет доказано обратное» к новой модели «требовать, чтобы контент сам подтверждал свою достоверность, в противном случае он будет считаться сомнительным».

Аутентификация контента — это процесс проверки источника и целостности того или иного контента. Она дает ответы на вопросы: «Кто является автором этого контента? Был ли он изменен в процессе распространения?». Прослеживаемость происхождения контента идет еще дальше: она фиксирует весь жизненный цикл контента от момента создания до потребления, включая метаданные об авторе, инструментах создания, истории редактирования, каналах распространения и т. д. Вместе эти два компонента составляют «идентификационную историю» цифрового контента.

В настоящее время ведущие мировые технологические компании и медиаорганизации уже приступили к действиям. Инициативы «Content Authenticity Initiative» (CAI) и «Coalition for Content Provenance and Authenticity» (C2PA), совместно инициированные такими компаниями, как Adobe, Microsoft, Intel и BBC, продвигают открытый отраслевой стандарт. Этот стандарт призван придавать цифровому контенту зашифрованную, защищенную от подделки «этикетку с информацией о составе». Когда фотограф делает снимок камерой, поддерживающей стандарт C2PA, камера автоматически фиксирует информацию о происхождении — время съемки, место, модель устройства и т. д. — и зашифрованным образом встраивает её в файл изображения. При внесении изменений в это изображение с помощью программного обеспечения для редактирования операции по изменению также фиксируются. В результате, когда читатели увидят эту фотографию на новостном сайте, они смогут нажать на значок, чтобы просмотреть полную «историю» снимка и таким образом оценить его достоверность (C2PA, 2023).

Превращение аутентификации и отслеживания происхождения в инфраструктуру означает, что будущие операционные системы, браузеры, платформы социальных сетей и инструменты для создания контента будут изначально поддерживать этот стандарт. Когда вы увидите изображение или видео в браузере, браузер автоматически проверит его «удостоверение контента» (Content Credentials) и с помощью наглядного визуального значка (например, зелёного щита) сообщит вам, что этот контент проверен и его источник надёжен. А в случае контента без сертификатов или с сертификатами, которые, судя по всему, были подделаны, будет отображаться четкое предупреждение. Это похоже на то, как сегодня мы используем протокол HTTPS для определения безопасности соединения с веб-сайтом; в будущем мы будем использовать такие стандарты, как C2PA, для определения надежности связи с конкретным контентом.

Конечно, это не решение, которое можно реализовать в одночасье. Оно требует сотрудничества всей отрасли, просвещения пользователей и готовности к различным потенциальным рискам злоупотребления (например, авторитарные правительства могут использовать эту технологию для отслеживания и подавления инакомыслящих). Но в любом случае создание надёжного, машиночитаемого уровня доверия уже стало неизбежным выбором для поддержания здоровья информационной экосистемы и борьбы с «реальным загрязнением». В эпоху сверхинтеллекта мы больше не можем наивно доверять своим чувствам, а должны полагаться на мощную, стандартизированную технологическую инфраструктуру, выступающую в качестве «посредника доверия» между нами и реальностью. Способность отсеивать информацию позволяет нам плавать в океане данных, а механизмы аутентификации и отслеживания происхождения гарантируют, что само судно, на котором мы плывем, прочно и надежно.

3. Доверие — это долгосрочный актив, а внимание — это исчерпаемый ресурс

После углубленного анализа вызовов, связанных с информационным переизбытком и синтетической реальностью, мы можем сделать один ключевой вывод: в условиях новой эпохи мы должны переосмыслить и управлять двумя важнейшими нематериальными ресурсами — доверием и вниманием. Между ними существует глубокая симбиотическая связь. Мы можем рассматривать доверие как стратегический актив (Strategic Asset), который можно накапливать и приумножать в долгосрочной перспективе, а внимание — как расходуемый бюджет (Consumable Budget), который обновляется ежедневно и должен расходоваться с осторожностью. Понимание и применение этой модели является ключом к сохранению конкурентоспособности как отдельных людей, так и организаций в сложных условиях будущего.

Для начала давайте разберемся с концепцией «внимание как расходуемый бюджет». Когнитивные ресурсы каждого из нас, включая внимание, память и способность принимать решения, ограничены. Каждое утро, просыпаясь, мы получаем новый «бюджет внимания». Мы можем потратить этот бюджет на что угодно: прочитать подробный исследовательский отчет, посмотреть фильм, пообщаться с семьей или бесконечно листать ленту в социальных сетях. Каждый выбор — это расходование части бюджета. Как только бюджет исчерпывается, мы начинаем испытывать умственное утомление, нам становится трудно сосредоточиться, а качество принимаемых решений снижается. Это явление называется «усталостью от принятия решений» (Decision Fatigue) (Baumeister et al., 1998).

В условиях информационного переизбытка бесчисленные приложения, платформы и производители контента ведут ожесточённую борьбу за наш ограниченный бюджет. Они используют различные психологические приёмы — push-уведомления, красные точки, бесконечную прокрутку, персонализированные рекомендации — чтобы «захватить» наше внимание и заставить нас неосознанно превысить лимит. Такое постоянное перерасходование внимания не только снижает эффективность нашей работы и учебы, но и наносит ущерб нашему физическому и психическому здоровью, приводя к тревоге и выгоранию. Поэтому первый шаг в борьбе с информационным переизбытком — рассматривать внимание как бюджет, которым необходимо активно управлять. Это означает, что нам нужно:

Чётко определить цели бюджета: ясно сформулировать, каких важнейших целей мы хотим достичь за счёт расходования внимания в течение определённого периода времени (например, дня или недели). Это завершение проекта, освоение нового навыка или поддержание важных межличностных отношений?

Составить план бюджета: активно планировать своё время, выделяя «блоки внимания», свободные от помех, для наиболее ценных занятий. Это может означать отключение уведомлений на мобильном телефоне, использование инструментов для блокировки веб-сайтов или выполнение самых сложных задач в те часы дня, когда мы полны энергии.

Отслеживайте расходование бюджета: регулярно анализируйте, на что на самом деле уходит ваше внимание. Многие инструменты для управления экранным временем помогают количественно оценить время, потраченное на различные приложения и сайты. Сравнивая план с фактическими расходами, вы сможете выявить «черные дыры» внимания и своевременно скорректировать свою стратегию.

Оптимизируйте рентабельность бюджета: не все затраты внимания одинаково ценны. Чтение классического произведения в течение часа и просмотр коротких видеороликов в течение часа оказывают совершенно разное влияние на наш долгосрочный рост. Нам нужно сознательно выбирать те «инвестиции внимания», которые приносят долгосрочную отдачу, например, углубленное обучение, творческая работа и значимые социальные взаимодействия.

В отличие от бюджета внимания, который ежедневно обнуляется и сбрасывается, доверие — это актив, который может накапливаться с течением времени. Оно основано на постоянном, предсказуемом, честном и надежном поведении. Для организации доверие является ядром репутации бренда; для человека — основой его социального капитала. В эпоху, когда трудно отличить правду от лжи и каждый боится за себя, надежный бренд или человек будет обладать огромным конкурентным преимуществом. Ведь потребители и партнеры готовы в первую очередь направлять свой ценный бюджет внимания тем, кому они доверяют.

Рассматривать доверие как долгосрочный актив означает, что при принятии решений мы не должны ориентироваться исключительно на краткосрочную выгоду или привлечение внимания, а должны ставить поддержание и укрепление доверия в качестве первостепенной цели. Это требует от нас:

Ставить достоверность выше влияния: при публикации информации точность и надежность должны быть высшим критерием. Даже если это означает, что контент станет менее «привлекательным», нельзя жертвовать фактами ради количества кликов. В краткосрочной перспективе сенсационный контент может привести к всплеску трафика, но в долгосрочной перспективе каждое неточное сообщение подрывает капитал доверия.

Придерживаться принципов прозрачности и отслеживаемости: активно раскрывать источники информации, биографические данные авторов, потенциальные конфликты интересов, а также обеспечивать управление версиями и отслеживаемость публикуемого контента. В случае ошибок нужно смело признавать их и быстро, открыто исправлять. Такая прозрачность сама по себе является мощным сигналом, укрепляющим доверие.

Инвестируйте в отношения, а не в сделки: доверие формируется в ходе долгосрочного двустороннего взаимодействия. Это означает, что организациям необходимо перейти от транзакционного подхода, при котором пользователи рассматриваются лишь как «трафик» или «потребители», к подходу, при котором их воспринимают как «членов сообщества», с которыми необходимо поддерживать долгосрочные отношения. Только предоставляя постоянную ценность, искренне прислушиваясь к отзывам и взаимодействуя с пользователями, можно постепенно выстроить прочные доверительные отношения.

Создание «рова», защищающего от кризиса доверия: активы доверия подобны водохранилищу — их накопление в обычное время необходимо для того, чтобы в случае кризиса (например, одной ошибки или злонамеренной атаки) у организации был достаточный запас прочности. Организация, которая на протяжении долгого времени поддерживает хорошую репутацию, в случае кризиса доверия с большей вероятностью получит от общественности шанс дать объяснения и исправить ситуацию. А для организации, репутация которой и без того находится на грани краха, любая негативная новость может стать той самой «последней каплей», которая переполнит чашу.

Взаимосвязь между доверием и вниманием носит взаимодополняющий характер. Человек, разумно распоряжающийся своим «бюджетом внимания», лучше способен выявлять и выбирать достоверные источники информации, тем самым избегая «загрязнения» своего восприятия. А организация, стремящаяся к накоплению «капитала доверия», может более эффективно привлекать и удерживать внимание ценных пользователей, формируя положительную обратную связь. Например, такие издания, как «Экономист» (The Economist) или «Нэйчер» (Nature), за десятилетия неуклонного предоставления высококачественного, тщательно проверенного и надежного контента сумели завоевать прочное доверие к своему бренду. Поэтому их читатели готовы платить за них и уделять свое драгоценное внимание глубокому чтению, поскольку верят, что такая «инвестиция внимания» оправдывает себя. В отличие от них, социальные сети, полагающиеся на алгоритмические рекомендации и эмоциональную манипуляцию, хотя и способны в краткосрочной перспективе привлечь огромное внимание, зачастую удерживают своих пользователей в состоянии низкокачественного, пассивного «потребления внимания», а отношения доверия в них чрезвычайно хрупки.

В эпоху сверхинтеллекта каждый из нас и каждая организация одновременно конкурируют на двух рынках: один — это «рынок трафика», где идет борьба за мгновенное внимание, а другой — «рынок доверия», где строят долгосрочные отношения. Правила игры на первом рынке носят нулевую сумму и краткосрочный характер, тогда как на втором — положительную сумму и долгосрочный характер. Разумная стратегия заключается отнюдь не в том, чтобы любой ценой завоевать первый рынок, а в том, чтобы использовать бюджет внимания как инструмент и стратегически направлять его на те мероприятия, которые помогают нам создавать и укреплять долгосрочные активы доверия. Ведь в конечном итоге, когда информация и контент станут бесконечно дешевыми, доверие станет единственной по-настоящему дефицитной и ценной вещью.

Подробное объяснение основных принципов

Чтобы эффективно ориентироваться в эпоху информационного переизбытка и дефицита доверия, нам нужен набор четких и применимых на практике принципов. Эти принципы призваны помочь как отдельным людям, так и организациям систематически управлять вниманием и укреплять доверие. Ниже приводится подробное изложение 10 ключевых принципов, описанных в этой главе.

Принцип 1: Управляйте вниманием как бюджетом (Manage Attention Like a Budget)

Что это: этот принцип требует от нас рассматривать наше ограниченное ежедневное внимание как бюджет, который необходимо тщательно планировать, расходовать и анализировать. Мы больше не реагируем пассивно на внешние стимулы, а активно и осознанно решаем, на что направлять своё внимание.