Кодозависимые. Жизнь в тени искусственного интеллекта

Madhumita Murgia

CODE DEPENDENT

Copyright © 2024 by Madhumita Murgia This edition published by arrangement with PEW Literary Agency Limited and Synopsis Literary Agency

Russian Edition Copyright © Sindbad Publishers Ltd., 2025

Перевод с английского Заура Мамедьярова

Правовую поддержку издательства обеспечивает юридическая фирма «Корпус Права»

© Издание на русском языке, перевод на русский язык, оформление. Издательство «Синдбад», 2025

Посвящается Майе и Мире

Введение

Немногим более десяти лет назад, на заре своей журналистской карьеры, я заинтересовалась безобидной на первый взгляд цифровой сущностью под названием куки.

Я думала, что знаю, что это такое. Это хранящийся на моем устройстве фрагмент кода, который работает в качестве маркировочного механизма и позволяет интернет-компаниям опознавать меня и получать сведения о моих действиях в интернете. Напоминания о куки всплывали всякий раз, когда я заходила на какой-либо сайт с телефона или компьютера, и просили разрешить им отслеживать меня по цифровым хлебным крошкам. В итоге я захотела разобраться, куда ведет этот след.

Работая над той статьей для журнала WIRED{1}, я то и дело проваливалась в очередные кроличьи норы, от которых у меня кружилась голова, и я по сей день еще не выбралась из них. Зато я открыла для себя темный мир «брокеров данных» – подпольных организаций, которые собирают данные о нашей онлайн-жизни и превращают их в ценные профили, содержащие информацию о том, каковы мы сегодня и какими станем в будущем. В конце концов я не только узнала о брокерах, но и детально изучила бизнес-модели самых дорогих в мире технологических компаний, условно объединяемых в «большую пятерку». Все они зарабатывают одним способом: превращая наши жизни в клубящиеся облака данных, чтобы затем их продать.

Но прежде чем отправиться по этому следу, я какое-то время сомневалась, хочу ли я вообще потратить несколько месяцев на статью о какой-то статистике. Мне нужно было прочувствовать этот материал. Как на самом деле выглядят все эти пресловутые данные? В итоге я решила изучить профиль хорошо знакомого мне человека. Свой собственный.

Для этого я нашла небольшой стартап Eyeota, работающий в сфере рекламных технологий. Его сотрудники помогли мне извлечь из моего браузера информацию, которую собирают разные сайты, и затем расшифровали для меня эти данные.

В тот день, когда мне прислали из Eyeota полный профиль «обезличенной» версии меня, я ехала на поезде в Брайтон. Файл содержал растянувшийся более чем на десяток страниц отчет, составленный рейтинговым агентством Experian, которое также выступает брокером данных.

По заключению Experian, я входила в категорию «золотой молодежи» – одну из шестидесяти четырех, которыми тогда оперировало агентство, – которая охватывала молодых профессионалов, живущих в городских квартирах.

В профиле описывалась 26-летняя британка азиатского происхождения, которая работает в сфере медиа и живет на северо-западе Лондона. Там указывались ее предпочтения при просмотре телепередач (видео по запросу, а не кабельное телевидение), пристрастия в еде (тайская и мексиканская кухня), а также типичные планы на вечер и выходные. Приводилась даже детализация ее расходов: больше на рестораны и путешествия, меньше – на мебель и автомобили.

В данных, присланных Eyeota, называлось количество отпусков, которые эта женщина взяла за прошедший год, и прогнозировалась скорая покупка авиабилета. Судя по отчету, у нее нет ни детей, ни ипотеки, а продукты она обычно покупает в супермаркете Sainsbury’s, но только потому, что он находится по пути к ее дому. Данные позволяли предположить, что женщина пользуется услугами уборщицы, которая приходит к ней домой в рабочее время, открывая дверь своим ключом.

Помимо повседневных занятий, в маленьком разделе в конце документа описывались «либеральные взгляды» женщины, включая уровень амбиций, политические предпочтения и черты характера (оптимистична, амбициозна, слабо подвержена чужому влиянию).

Остаток пути я провела как в тумане, изучая полученный набор характеристик, которые довольно точно мне соответствовали. Разумеется, это облако данных не было истинным отражением реальности – в нем недоставало множества нюансов, которые делали меня мной. Однако, проанализировав мои онлайн-следы, куки написали приблизительный портрет меня – изобразили мою тень, которая была при этом вполне узнаваемой.

В статье, вышедшей в журнале WIRED в 2014 году, я рассказала о многомиллиардной сфере, где работают компании, которые, опираясь на наше поведение в интернете и офлайн, собирают, упаковывают и продают детализированные профили вроде того, что попал ко мне в руки. Это открытие усилило мои опасения по поводу системы, которая создана специально, чтобы записывать наши действия всякий раз, когда мы взаимодействуем с цифровым миром, и затем извлекать из этого прибыль.

Я начала изучать структуру этой доходной экономики данных. Каждый раз, когда я одним кликом взаимодействовала с онлайн-продуктом – скажем, с приложениями Google Maps, Uber, Instagram или с бесконтактными кредитными картами, – они записывали мое поведение в эти маленькие куки. В сочетании с информацией из открытых источников, например об уплате муниципальных налогов и об участии в выборах, а также с данными о моих покупательских привычках в интернете и поступающими в реальном времени сведениями о моем местоположении эти безобидные наборы данных рассказывали обо мне очень многое – от моего пола и возраста до особенностей моего характера и того, какие решения я приму в будущем.

Моя жизнь – как и ваша – превращается в пакет данных, выставляемый на продажу. В конечном счете мы все оказываемся продуктами.

Когда десять лет назад мы заглянули в зарождающийся мир сбора данных, я стала обращать гораздо больше внимания на то, сколько подобных инфоследов мы оставляем, просто живя в современном мире, и на то, как их используют.

С тех пор я веду летопись финансовых и иных успехов компаний, опирающихся на такие хранилища данных, – корпоративных гигантов вроде Google, Facebook и Amazon. Они отточили искусство обращения с данными, в огромных количествах поступающими на их платформы от миллиардов людей по всему миру. В стремлении заработать эти компании научились добывать данные и использовать их, чтобы продавать персонализированные и таргетированные рекомендации, контент и продукты.

Наследником бизнеса больших данных стала технология, о которой я впервые узнала в 2014 году: искусственный интеллект (ИИ). В последние годы понятие «искусственный интеллект» по-разному менялось, но, по сути, ИИ представляет собой сложное статистическое программное обеспечение, применяемое для поиска закономерностей в больших наборах реальных данных.

Значительный прогресс этой технологии в последние несколько лет обусловлен тремя факторами: взрывным ростом объема доступных данных о человеческом поведении и творчестве, повышением мощности микросхем, необходимых для работы с этими данными, а также консолидацией усилий нескольких крупных технологических компаний, способных выделять существенные ресурсы для ускорения ее развития.

Применяя машинное обучение для максимально точного таргетирования рекламы, такие техногиганты, как Google и Meta, довели свою капитализацию до триллиона долларов. Эту прибыльную бизнес-модель, в основе которой лежит монетизация персональных данных, американский философ и социальный психолог Шошана Зубофф называет «надзорным капитализмом».

В прошлом году художник Джеймс Бридл написал: «Эти компании сколотили капиталы, внедрившись во все аспекты повседневной жизни, включая самые личные и творческие ее сферы: наши тайные страсти, наши частные разговоры, наши общие интересы и наши мечты»{2}.

Сегодня мы живем в тесном соседстве с автоматизированными системами, основанными на данных, и их внутренние механизмы влияют на наши личные связи, расстановку сил в рабочем коллективе и наши отношения с государством. Мы опираемся на алгоритмические технологии, как в прошлом опирались друг на друга, и образ жизни людей во всем мире меняется, постепенно подстраиваясь под эти технологии.

Когда вы открываете Google Maps, чтобы продумать маршрут своего следующего путешествия, когда вы обращаетесь к Alexa, вызываете Uber или беспилотный Waymo, вы взаимодействуете с различными формами ИИ. С помощью ИИ формируются ленты ваших социальных сетей, в которые специально вставляется реклама клюшек для гольфа и детской одежды. ИИ проверяет вас, когда вы подаете заявку на кредит. ИИ решает, сколько вам платить за дом и за автомобильную страховку. Когда вы проходите собеседование, ИИ может анализировать ваши реакции и ответы на вопросы. Не исключено, что вы использовали ИИ даже при составлении своего резюме. А если вы однажды окажетесь за решеткой, возможно, именно ИИ будет решать, выпускать ли вас под залог.

Современные программы ИИ помогают специалистам принимать жизненно важные решения в таких сферах, как медицинская диагностика, общественное благосостояние, ипотечное и потребительское кредитование, наем и увольнение сотрудников и многое другое. Самыми продвинутыми ИИ-программами пользуются исследователи, включая химиков, биологов и генетиков, чтобы с помощью этих программ быстрее развивать научные направления{3}.

В последний год мы наблюдаем подъем нового типа ИИ-технологий – порождающих моделей ИИ, программ, способных писать тексты и создавать изображения, аудио и видео, практически неотличимые от тех, что создает человек. Порождающий, или генеративный ИИ строится на фундаменте человеческого творчества и обучается на оцифрованных книгах, газетах, блогах, фотографиях, картинах, музыке, видеороликах с YouTube, постах с Reddit, картинках с Flickr и всем содержимом интернета. ИИ поглощает эти знания и обретает способность создавать собственные переработанные версии различных творческих продуктов, радуя нас почти человеческим умением воспроизводить и креативно переделывать знакомые вещи.

Для многих из нас сегодня воплощением этого процесса стал ChatGPT – сайт, который дает подробные ответы на наши запросы в форме диалога. Он впервые позволил нам напрямую взаимодействовать с системой ИИ, и настоящим чудом стало то, что он может отвечать нам, используя привычный нам способ коммуникации – письменный язык.

Появление ChatGPT ознаменовало фундаментальный сдвиг во взаимодействии людей с машинами. Общаясь с нами с помощью слов и изображений, ИИ-системы нового поколения, обученные на продуктах нашей научной и творческой деятельности, могут гораздо более эффективно, чем когда-либо ранее, манипулировать нашими эмоциями и настроением, а также диктовать нам, что думать и как себя вести.

На протяжении прошлого десятилетия я наблюдала, как ИИ коварно пробирается в нашу жизнь. Решив написать эту книгу, я захотела найти реальные примеры взаимодействия с ним, которые явно показали бы, чем грозит наша зависимость от автоматизированных систем. Расцвет порождающего ИИ сделал поиск таких угроз насущной необходимостью. В прошлом году мы уже начали замечать, как технологии вроде ChatGPT влияют на нашу работу, на образование детей, на творчество. Но вместе с тем ИИ оказывает влияние и на другие важные сферы жизни общества: здравоохранение, охрану правопорядка, общественное благосостояние и военное дело, – что приводит к долгосрочным последствиям и социальным трансформациям. В результате меняется само понимание того, что значит быть человеком. Именно об этом и пойдет речь в моей книге.

Работа в журнале WIRED превратила меня в закоренелого технооптимиста. Когда каждый день пишешь о редактировании генома, летающих автомобилях, 3D-печати лунных баз и нейрокомпьютерных интерфейсах, просто невозможно не восхищаться человеческой изобретательностью и нашими высокотехнологичными творениями. Меня пленяли и сами инноваторы – взбалмошные выдумщики, дерзкие предприниматели и безрассудные визионеры.

Когда я только начинала собирать материал для этой книги, я ожидала найти истории о том, как искусственный интеллект решил сложные проблемы, не спасовал перед непреодолимыми препятствиями и существенно улучшил жизнь людей. Таков потенциал всех новых технологий – по крайней мере, так я искренне полагала на протяжении многих лет.

Любая из рассказанных мной историй могла бы быть вашей. Совсем скоро – если этого еще не случилось – ИИ-системы начнут влиять на ваше здоровье, вашу работу, ваши финансы, ваших детей, ваших родителей, ваши гражданские права и оказываемые вам коммунальные услуги.

Я хотела задавать простые человеческие вопросы. Каково «говорить» с системой, которая представляет собой «черный ящик»? Есть ли у вас выбор между человеком и машиной? Как обжаловать судьбоносное решение, принятое приложением? Что нужно знать, чтобы доверять такой программе? И как понять, когда доверять ей вовсе не стоит?

Чтобы найти ответы на эти вопросы, я отправилась в путешествие по миру и стала выяснять, как вездесущие автоматизированные системы влияют на жизнь самых разных сообществ. Каждая из историй, с которыми вы познакомитесь, показывает, как именно и насколько непредсказуемо ИИ влияет на нашу самооценку, а также на наши семьи, сообщества и культуры. Я надеюсь, что опыт встреченных мною людей поможет мне ответить на вопрос, с которого я начала: как искусственный интеллект меняет само понимание того, что значит быть человеком?

Несмотря на присущий мне технологический оптимизм, истории, которые я собрала, в итоге сложились в довольно мрачную картину.

Я намеренно сосредоточилась на людях, которые живут за пределами Кремниевой долины, вдали от центра технологического влияния, но все равно испытывают на себе воздействие технологий нового типа. Однако, изучая их истории шаг за шагом, я поняла, что невозможно не приметить за ними слона: дело в том, что власть над технологиями сосредоточена в руках немногочисленных компаний, которые и заказывают музыку{4}.

Анализируя этот дисбаланс, я наткнулась на книгу социологов Ника Колдри и Улисеса Мехиаса «Цена связи» (The Costs of Connection), где рассматривается понятие колониализма данных. Вместо территорий объектом колонизации становятся человеческие жизни, преобразованные в непрерывные потоки информации. Конкурентная борьба за эти данные представляет собой историческое продолжение колониализма и усугубляет неравенства прошлого в условиях «датафикации» общества, которая есть не что иное, как новая форма грабежа и угнетения.

Колдри приводит в пример гиг-работников – людей, работающих через приложения в таких структурах, как Uber, Deliveroo и DoorDash, – чьи заработки и жизни зависят от алгоритмов, которые среди прочего определяют, кто получит заказ, как он будет оплачен и кого в конце концов уволят. «Это тирания, – объяснил он мне. – Возникают этические вопросы о том, какие границы мы должны установить, чтобы сделать жизнь людей сносной. Очень важно, чтобы люди всего мира были в этом солидарны. Работники в Бразилии, Индии, Китае и США сталкиваются с одинаковыми проблемами – может, в Сан-Франциско они сегодня стоят не особенно остро, но вскоре они дадут о себе знать и там».

В такой формулировке эта истина стала для меня откровением. Постепенно, подобно тому как из размытых силуэтов складывается четкий полароидный снимок, стали проявляться связи между отдельными героями этой книги. Я вдруг поняла, что структура, объединяющая собранные мной истории о взаимодействии с алгоритмами, в которых фигурировали совсем разные люди, времена и места, на самом деле вполне закономерна – и уже описана небольшим, но растущим сообществом ученых из разных стран. Некоторые имена тех, кто в числе первых излагал эти идеи, были мне знакомы: Тимнит Гебру, Джой Буоламвини, Кейт Кроуфорд, Кэти О’Нил, Мередит Уиттакер, Вирджиния Юбенкс{5} и Сафия Умоджа Нобл{6}. Я обратила внимание, что все они женщины, изучающие несоразмерно большой вред, который ИИ наносит маргинализированным сообществам.

Прочитав их работы и просмотрев научные статьи, на которые они ссылались, я обнаружила и другие, не столь известные имена. В основном это были небелые женщины, которые живут и работают за пределами англоговорящего Запада: Паола Рикаурте{7} из Мексики, Абеба Биране из Эфиопии, Урваши Анеджа из Индии, Милагрос Мисели и Пас Пена из Латинской Америки. Они были непосредственными свидетелями того, как в их сообществах проявляются дискриминация и социальное неравенство, и многие из них жили именно в тех местах, о которых пойдет речь в этой книге.

Снова и снова в своих работах они приходили к тому же выводу, что и Колдри с Мехиасом в своей теории колониализма данных. Такие масштабируемые системы, как машинное обучение, создаются на благо крупных социальных групп, но обычно работают за счет других людей. Этими «другими», как правило, оказываются индивиды и сообщества, которые уже отчуждены большинством и существуют на размытых границах основного общества, пытаясь сделать так, чтобы их все-таки было слышно и видно. На одних только примерах из этой книги я увидела, как ИИ-системы вредят женщинам, чернокожим и смуглокожим людям, мигрантам и беженцам, религиозным меньшинствам, беднякам, инвалидам и многим другим.

Люди сегодня оказались в созависимости с бесконечными строками кода, который прочно вошел в их жизнь. Не понимая, как работают ИИ-системы, мы просто не замечаем, когда они выходят из строя или причиняют вред – особенно представителям уязвимых групп. И наоборот, не понимая природу, этику, историю людей и саму нашу человеческую сущность, ИИ-системы никак не могут нам помочь.

Сила моделей машинного обучения состоит в их способности находить статистические связи, часто незаметные для людей. Принимаемые ими решения и методы их работы не диктуются людьми, которые их создают, поэтому их и называют черными ящиками. Считается, что благодаря этому они гораздо объективнее людей, но вместе с тем их логика бывает непрозрачной и неочевидной – даже для их создателей.

Например, исследователи, которые разрабатывали алгоритмы диагностики COVID–19, использовали в качестве контрольной группы рентгеновские снимки грудной клетки больных пневмонией, но оказалось, что в выборку попали только снимки детей в возрасте от одного до пяти лет. В результате построенные учеными модели научились отличать детей от взрослых, вместо того чтобы отличать COVID–19 от пневмонии{8}. Эти системы – загадочные сущности с непознаваемыми когнитивными паттернами.

Помимо того, что автоматизированные системы технически непрозрачны, люди не всегда замечают, какое воздействие они оказывают на жизнь. Особенности внедрения алгоритмов в общество привели к размытию нашего чувства личной автономии, а также к снижению влияния и степени участия в нашей жизни тех, кому мы доверяем как специалистам, что в итоге спровоцировало общественную трансформацию.

Даже когда мы знаем, что решения, которые сказываются на нас, принимает алгоритм, институты и компании обычно не посвящают нас в принципы работы системы. Мы все оказываемся заложниками бесконечного цикла, где «компьютер говорит нет».

Потеря чувства самостоятельности и контроля приводит к тому, что человеку становится сложнее брать на себя ответственность за собственные действия. Сложнее становится и предъявлять официальные обвинения и в принципе осуждать индивидов и корпорации, которые перекладывают ответственность с себя на программы ИИ. В конце концов, машину в суд не вызовешь.

В 1980-х годах стэнфордский психолог Альберт Бандура назвал агентность – чувство, что мы контролируем свои действия и их последствия, – неотъемлемым свойством человеческой природы и условием эволюции нашего вида. Он утверждал, что люди не просто являются продуктами среды и общества, а вносят в них свой собственный вклад{9}.

Бандура описал три основных типа влияния людей: индивидуальный, посреднический и коллективный. Посредниками обычно становятся люди, обладающие экспертными знаниями или ресурсами, – например врачи, сотрудники правоохранительных органов и выборные представители, которых мы наделяем правом говорить за нас. Коллективы же накапливают знания и ресурсы, чтобы обеспечить всем лучшее будущее.

Философы полагают, что личная свобода человека неразрывно связана с особенностями его агентности – с его способностью считать свои действия и желания собственными и чувствовать, что он в состоянии что-то изменить. ИИ-системы явно и неявно влияют на это, в связи с чем людям начинает казаться, что они теряют самостоятельность – или в некотором роде даже свободу воли.

Мы как общество попали в затруднительное положение: регулирование ИИ и других статистических алгоритмов в последующие годы окажет на нас огромное влияние, но у нас недостаточно инструментов, чтобы управлять грядущими переменами. Мы плохо понимаем, как воздействуют на нас ИИ-системы. Мы никак не можем решить, какие этические принципы следует в них встроить. Мы спорим о том, как регулировать работу ИИ. Мы коллективно перекладываем свой моральный авторитет на машины.

Но если каждый отдельно взятый человек чувствует, что ИИ-системы лишают его возможности контролировать свои действия и решать, чему уделять больше внимания, то коллективная агентность с развитием ИИ, как ни странно, укрепляется. По иронии судьбы неотъемлемые свойства автоматизированных систем – их непрозрачность, негибкость, постоянная изменчивость и нерегламентированность – подталкивают людей сплотиться, чтобы вместе нанести ответный удар и вернуть себе свое человеческое достоинство.

Размышляя о распространении ИИ, мы можем заняться проблемой неравенства и сделать шаг к ее решению. Я надеюсь, что истории людей, рассказанные на страницах этой книги, помогут нам справиться со своими страхами и вернуть себе агентность и чувство собственного достоинства. На первый взгляд у людей, о которых пойдет речь, не было ничего общего: это врач из индийской глубинки, доставщик еды из Питтсбурга, инженер-афроамериканец, иракская беженка из Софии, британская поэтесса, аргентинский чиновник, мать-одиночка из Амстердама, китайская активистка в изгнании и, наконец, священник из Рима. Но стоило мне потянуть за эти отдельные ниточки, как они сложились в единый узор. И центральное место в нем – ваше.

Глава 1

Ваш заработок