После загрузки. Горизонты технологий и политики. Том 1

Моральная математика. Деонтология

Если утилитаризм предлагает считать общее благо, то деонтология настаивает: в морали есть такие вещи, которые нельзя «оптимизировать» и приносить в жертву даже ради впечатляющих суммарных выгод. В центре деонтологического подхода стоят обязанности, права и запреты, которые признаются безусловными: нельзя пытать, нельзя осуждать невиновного, нельзя дискриминировать по признаку, не зависящему от человека, даже если нарушение этих правил вроде бы улучшит статистику безопасности или эффективности. Для ИИ и алгоритмов это звучит как требование встроить в код не только функцию полезности, но и набор «красных линий», через которые система не имеет права переступать.

Классической фигурой деонтологии считается Иммануил Кант с его категорическим императивом: относись к человеку всегда как к цели и никогда лишь как к средству, действуй так, чтобы максима твоего поступка могла стать всеобщим законом. В переводе на язык алгоритмов это можно понимать как запрет использовать отдельных людей или группы только как инструмент для достижения статистически благоприятного результата. Например, нельзя сознательно заложить в систему правило, согласно которому интересы определённой группы жертвуют ради удобства большинства, даже если модель показывает, что так «в среднем» будет меньше вреда. Деонтология тем самым вводит ограничения на то, какие утилитарные расчёты вообще допустимы.

В контексте ИИ деонтологические интуиции часто проявляются в разговоре о правах и недопустимых практиках. Так, можно спорить о том, насколько эффективно тотальное видеонаблюдение с распознаванием лиц в борьбе с преступностью, но деонтологический аргумент скажет: массовое отслеживание и идентификация людей без их согласия нарушают базовые права на приватность и презумпцию невиновности и потому недопустимы, даже если статистика преступлений чуть улучшится. Аналогично, алгоритмы, принимающие решения, напрямую влияющие на свободу и жизнь человека (уголовные приговоры, насильственная госпитализация, депортация), не могут быть единственным основанием этих решений: право требует человеческого судьи, возможности апелляции, процедурных гарантий.

Деонтология особенно важна там, где речь идёт о запретах, не зависящих от контекста. Например, в биоэтике широко принято, что эксперименты над людьми возможны только при добровольном информированном согласии, вне зависимости от потенциальной пользы результатов для общества. Перенос этого принципа в алгоритмическую сферу означает: нельзя использовать персональные данные или вовлекать людей в поведенческие эксперименты (в том числе на платформах и в социальных сетях) без их реального, а не формального согласия, даже если это даёт ценные инсайты или улучшает сервис. Такой подход сопротивляется логике «спросить проще прощения, чем разрешения», которая часто сопровождает инновации.

Для дизайна алгоритмов деонтологический взгляд требует формулировать не только цель, но и набор жёстких ограничений. С точки зрения инженерии это похоже на систему ограничений в оптимизационной задаче: алгоритм может искать лучшее решение только внутри области, заданной соблюдением прав и запретов. Нельзя, к примеру, минимизируя преступность, использовать признаки, прямо запрещённые законом (раса, религия, политические взгляды); нельзя в кредитном скоринге опираться на данные, которые нарушают антидискриминационные нормы; нельзя в рекламных системах таргетировать уязвимые группы такими способами, которые закон и этика признают эксплуатацией. Деонтология тем самым переводится в набор нормативных ограничений, встроенных в архитектуру системы.

Однако деонтология сталкивается с трудностями, когда правила конфликтуют или оказываются слишком общими. Например, право на приватность может столкнуться с правом на безопасность; запрет на дискриминацию — с попытками учесть реальные различия в уязвимости групп; свобода выражения — с необходимостью предотвращать разжигание ненависти. В таких ситуациях одного перечисления запретов недостаточно: требуется процедура взвешивания, обсуждения, возможно, и утилитарный анализ последствий. Это показывает, что деонтология не отменяет необходимости думать о результатах, а скорее задаёт рамку, внутри которой такие размышления допустимы.

В связке с ИИ деонтология подчёркивает важность процедур, а не только исходов. Даже если алгоритм в среднем принимает «правильные» решения, он может быть неприемлемым, если лишает людей возможности понять, оспорить, повлиять на процесс. Требования к объяснимости (XAI), праву на объяснение решения системы, прозрачности критериев отбора и оценки — всё это деонтологические элементы: они исходят из уважения к человеку как к субъекту, а не просто к числу в наборе данных. В книге далее будет показано, что без этих процедурных гарантий разговор об «этичном ИИ» рискует оставаться риторикой, прикрывающей произвол кода.

Наконец, деонтология напоминает, что есть сферы, куда алгоритмы скорее всего не должны заходить или, по крайней мере, не должны иметь там решающего голоса. Решения о войне и мире, о крайних мерах в отношении личности, о признании кого-то носителем сознания или прав — это области, где редукция к «моральной математике» особенно опасна. Даже если ИИ способен просчитать огромное количество сценариев, признание или непризнание определённых прав остаётся актом человеческого самоопределения, который нельзя делегировать машине, не изменив тем самым саму структуру морали и политики.

Однако исключительно деонтологический подход, как и утилитарный, не лишён ограничений, и здесь уместно обратиться к этике Аристотеля и этике добродетели в целом. Они подвергают критике деонтологию за ряд существенных недостатков, актуальных и для разработки интеллектуальных систем. Прежде всего речь идёт о формализме и ригоризме деонтологического подхода: он зачастую настаивает на неукоснительном соблюдении моральных правил вне зависимости от конкретных обстоятельств. В противовес этому Аристотель утверждал, что мораль обязана учитывать контекст — поступок, который будет правильным в одной ситуации, может оказаться ошибочным в другой. К примеру, деонтологический принцип «не лги» способен вступить в противоречие с ситуацией, когда ложь позволяет спасти человеческую жизнь. В контексте ИИ это ставит вопрос о том, может ли алгоритм, запрограммированный на жёсткие запреты, адекватно реагировать на нюансы реальности. Аристотель делал акцент на концепции «золотой середины» и роли практической мудрости, благодаря которой человек способен индивидуально оценивать каждую ситуацию и принимать взвешенные решения. Для искусственного интеллекта это вызов: можно ли научить машину «практической мудрости» или же окончательное суждение в нестандартных случаях всегда должно оставаться за человеком.

Ещё один пункт критики связан с тем, что деонтология практически игнорирует вопрос характера человека. Её фокус сосредоточен на самих действиях и обязанностях, а не на том, каким должен быть сам человек. Этика добродетели, напротив, ставит в центр внимания добродетель как устойчивую черту характера, которая формирует склонность личности поступать определённым образом. Согласно воззрениям Аристотеля, такие добродетели, как мужество, справедливость, умеренность и другие, не являются врождёнными — они развиваются через воспитание и закрепление соответствующих привычек. Применительно к технологиям это смещает акцент с проверки кода на культуру разработки: важны не только ограничения в алгоритме, но и профессиональная этика инженеров, создающих систему, и готовность организации поддерживать моральные стандарты, а не просто соблюдать формальные нормативы.

Кроме того, деонтология не уделяет должного внимания развитию личности: её главная задача сводится к соблюдению установленных правил, а не к совершенствованию человека как такового. Аристотель же рассматривал этику как путь к достижению счастья (эвдемонии) через культивирование добродетелей и раскрытие человеческого потенциала. Для него этика представляла собой не просто свод предписаний, а способ становления «хорошего» человека, способного вести «хорошую» жизнь. В эпоху алгоритмов это напоминает, что технология должна служить человеческому процветанию, а не просто функционировать без сбоев. Если ИИ оптимизирует лишь эффективность, но не способствует развитию человеческих способностей и благополучия, он остаётся этически неполноценным, даже если соблюдает все запреты.

Также отмечается недостаток гибкости деонтологических теорий в сложных моральных дилеммах, где различные правила могут вступать в прямое противоречие друг с другом. В таких случаях этика добродетели предлагает иной подход: решение следует принимать исходя из того, как поступил бы добродетельный человек в данной ситуации. Такой метод позволяет избежать жёстких противоречий, поскольку учитывает не только формальные правила, но и нюансы человеческих отношений, истинные намерения действующего лица, а также возможные последствия его поступков. Для автономных систем это означает, что слепое следование правилам может привести к абсурдным результатам, и поэтому архитектура ИИ должна предусматривать возможность человеческого вмешательства или использования эвристик, имитирующих нравственное суждение, там, где правила молчат или конфликтуют.

Наконец, существенным отличием является связь этики с благополучием. В деонтологии высшей ценностью выступает сам долг — следование моральным обязанностям ради них самих. Аристотель, напротив, напрямую связывал добродетель с эвдемонией, то есть с благополучием и счастьем. По его мнению, добродетельная деятельность не просто соответствует каким‑то нормам — она делает жизнь по‑настоящему счастливой, поскольку служит высшей целью, ради которой имеет смысл стремиться к любым другим благам. В дизайне ИИ это требование ориентировать системы не просто на соблюдение нормативов безопасности, а на реальное улучшение качества жизни пользователей, способствуя их долгосрочному благополучию, а не сиюминутному удовлетворению запросов.

Таким образом, раздел о деонтологии дополняет разговор об утилитаризме, показывая две стороны «моральной математики», к которым этика добродетели добавляет третье измерение — измерение характера и человеческого процветания. Одна учит нас считать последствия и не закрывать глаза на статистику страданий и выгод; другая — защищать те границы, которые не должны исчезать в потоке расчётов. В мире, где всё больше решений принимается с участием алгоритмов, оба подхода оказываются удобными: без утилитарной чувствительности мы рискуем быть слепыми к реальному вреду и пользе, без деонтологических ограничений — превратить человека в переменную в чужой функции оптимизации, а без этики добродетели — упустить из виду саму суть того, ради чего всё это затевается: достойной и счастливой человеческой жизни. Однако ни та ни другая математика не учитывает аспекты о целях человеческого существования и важности мудрости, что все же низводит ИИ до уровня калькулятора.

Громкие кейсы алгоритмической дискриминации

Разговоры о предвзятости данных и «чёрных ящиках» машинного обучения рискуют остаться абстрактными, если не посмотреть на конкретные случаи, где алгоритмы реально испортили или даже разрушили жизни людей. За каждым таким кейсом — не только ошибка в коде или нерепрезентативная выборка, но и структурная проблема: алгоритм, обученный на исторических данных, воспроизводит историческую несправедливость, а технический язык «оптимизации» и «эффективности» маскирует моральный выбор. Ниже — несколько самых громких и показательных примеров, которые должны быть известны каждому, кто всерьёз интересуется этикой ИИ.

В 2018 году стало известно, что Amazon несколько лет разрабатывал алгоритм для автоматического отбора резюме. Идея была прогрессивной: машина, свободная от человеческих предрассудков, поможет отсеивать неподходящих кандидатов и находить лучших. Систему обучали на резюме, поступавших в компанию за последние десять лет, — а это были в основном резюме мужчин. Техническая индустрия исторически гендерно не сбалансирована, и алгоритм «выучил» этот паттерн как норму.

Что произошло? Модель начала штрафовать резюме, в которых встречалось слово «женский» — например, «капитан женской шахматной команды» или «преподаватель в женском колледже». Она понижала оценку выпускницам женских университетов. Она научилась отдавать предпочтение глаголам, которые чаще встречались в мужских резюме («исполнил», «захватил»), и дискриминировать «женские» формулировки. Amazon пытался исправить систему, заставив её игнорировать явно гендерные маркеры, но алгоритм находил обходные пути — например, косвенно коррелирующие признаки вроде названий спортивных секций или типов проектов. В итоге проект свернули, но сам факт остаётся тревожным: компания с огромными ресурсами и лучшими инженерами создала систему, которая не просто «отражала» неравенство, а усиливала его, делая невидимым для внешнего контроля.

Урок Amazon: алгоритм, обученный на несправедливом прошлом, не «исправляет» прошлое, а консервирует его. Техническая нейтральность — иллюзия; за каждым решением о том, какие данные собирать и как их взвешивать, стоят ценностные выборы. И когда эти выборы не проговариваются, алгоритм становится машиной воспроизводства дискриминации, работающей в разы быстрее и масштабнее, чем любой человек-рекрутер.

Система COMPAS (Correctional Offender Management Profiling for Alternative Sanctions) использовалась в судах США для оценки риска рецидива — вероятности того, что обвиняемый совершит новое преступление, если его выпустить под залог или досрочно. Оценка влияла на судьбы людей: кому-то давали более мягкую меру пресечения, кого-то оставляли в тюрьме. В 2016 году журналисты ProPublica провели расследование и обнаружили, что алгоритм систематически ошибался в одну сторону: он чаще завышал риск рецидива для чернокожих подсудимых и занижал — для белых.

Цифры говорят сами за себя. Из тех чернокожих, кого алгоритм отнёс к «высокорисковым», на самом деле не совершали повторных преступлений почти вдвое больше, чем белых с такой же оценкой. И наоборот: среди тех, кого алгоритм счёл «низкорисковыми», белые совершали повторные преступления почти в два раза чаще, чем чернокожие при той же оценке. Иными словами, система была «точной» в статистическом смысле (общий процент правильных предсказаний был приличным), но эта точность скрывала систематическую несправедливость: чернокожие получали более строгие приговоры за те же действия.

Разработчики COMPAS защищались: их алгоритм был сбалансирован по другим метрикам (например, вероятность рецидива для тех, кого назвали «высокорисковыми», была одинаковой для обеих рас). Спор между ProPublica и разработчиками — это классический конфликт разных определений «справедливости»: что считать честным алгоритмом — равную точность предсказаний для разных групп, равную вероятность ошибиться в ту или иную сторону, равный калибровочный риск? В этом споре нет технического решения — есть только политический и этический выбор. И этот выбор, как показала история, делался без участия тех, кого алгоритм осуждал.

Урок COMPAS: даже «объективный» алгоритм не может быть нейтральным, потому что само понятие «объективности» требует определения, которое всегда ценностно нагружено. Отдавая ключевые решения машине, мы не уходим от моральной ответственности — мы просто делаем её распределённой и невидимой.

В 2019 году разразился скандал вокруг Apple Card, выпущенного в партнёрстве с Goldman Sachs. Основатель стартапа Basecamp Дэвид Хайнемайер Хенссон заметил, что его кредитный лимит в двадцать раз превышает лимит его жены, хотя у них общие активы, она зарабатывает больше и имеет лучший кредитный рейтинг. Он написал об этом в твиттере, и история стала вирусной. Тысячи пар сообщили о похожей проблеме: женщины получали значительно меньшие лимиты, чем их мужья при одинаковых или лучших финансовых показателях.

Регуляторы начали расследование. Ответ Goldman Sachs был расплывчатым: алгоритм, говорили они, учитывает множество факторов, включая «кредитную историю, долговую нагрузку, доход и другие переменные». Но когда журналисты и активисты попытались выяснить конкретные причины разрыва, они столкнулись со стеной: алгоритм — «чёрный ящик», разработчики не могут или не хотят объяснять, почему именно это решение было принято. Это и есть центральная проблема алгоритмической дискриминации в её чистом виде: жертва не может узнать причину, не может её оспорить, не может даже проверить, была ли дискриминация намеренной или случайной.

Урок Apple Card: дискриминация не обязательно является результатом злого умысла или явного запрещённого признака. Алгоритм мог «случайно» обнаружить корреляцию между гендером и другими переменными (например, частотой смены работы, которая может быть выше у женщин из-за отпуска по уходу за детьми). Но с точки зрения пострадавшей женщины результат тот же: её лимит ниже, её шансы меньше, а причины скрыты. Техническая «невинность» алгоритма не отменяет социальной несправедливости его последствий.

В 2010-е годы несколько расследований показали, что рекламные платформы Facebook, Google и других компаний позволяют исключать определённые группы из объявлений о жилье, работе и кредитах. Рекламодатель мог указать, что объявление о сдаче квартиры не должно показываться «афроамериканцам», «женщинам» или «иммигрантам». Формально это запрещено законом о гражданских правах в США, но алгоритмы платформ не просто допускали такую возможность — они активно предлагали её, оптимизируя таргетинг под максимальную эффективность.

В 2018 году Министерство жилищного строительства и городского развития США подало иск против Facebook, утверждая, что платформа нарушает закон, позволяя рекламодателям исключать «этнические меньшинства» и «мигрантов». В 2019 году Facebook согласился изменить систему, но проблема шире: любой алгоритм, который оптимизирует показы под «эффективность», будет находить косвенные способы дискриминации, даже если явные запрещённые признаки убрать. Например, таргетинг на «пользователей, интересующихся определённой музыкой» может быть косвенным маркером расы.

Урок рекламных платформ: дискриминация может быть не «ошибкой» алгоритма, а его «фичей», оптимизируемой под цели рекламодателя. Пока закон не требует проверять алгоритмы на дискриминацию и не накладывает ответственность за её последствия, платформы будут иметь экономический стимул закрывать глаза на нарушения.

Amazon, COMPAS, Apple Card, рекламные платформы — при всей разнице предметов, эти кейсы имеют общую структуру. Во-первых, алгоритмы обучались на исторических данных, в которых уже была зафиксирована несправедливость (гендерный дисбаланс в IT, расовые перекосы в правосудии, гендерные различия в доходах). Они не «изобрели» дискриминацию — они её воспроизвели и усилили. Во-вторых, во всех случаях разработчики и компании ссылались на «техническую сложность» и «объективность данных», избегая ответственности. В-третьих, пострадавшие не имели доступа к объяснению решений и механизмам их оспаривания. В-четвёртых, проблема не была решена полностью — только частично, после общественного давления и судебных исков.

Технореалистический вывод из этих кейсов: не существует «нейтральных» алгоритмов. Любая модель, обученная на прошлом, несёт в себе багаж прошлых несправедливостей. Вопрос не в том, как создать идеально справедливый алгоритм (это невозможно), а в том, как встроить алгоритмы в систему, где ошибки могут быть обнаружены, оспорены и исправлены. Это требует не только технических решений (XAI, аудит), но и институциональных — независимых регуляторов, права на объяснение, коллективных исков, запрета на использование определённых типов данных в чувствительных сферах. И, главное, это требует признания: алгоритмическая дискриминация — не баг, а фича системы, которая десятилетиями учила нас, что одни люди важнее других. Пока мы не изменим это глубинное социальное «обучающее множество», никакой код не сделает мир справедливее.

Цифровой саботаж и сопротивление алгоритмам

До сих пор разговор об алгоритмах в ответственных сферах был разговором о власти: кто контролирует код, кто принимает решения, кто страдает от ошибок и предвзятости. Но было бы нечестно изображать пользователей и работников исключительно как пассивных жертв. Люди — даже те, кто находится на нижних этажах цифровой иерархии, — находят способы сопротивляться, обходить, взламывать, саботировать алгоритмы, которые пытаются ими управлять. Это сопротивление не всегда героично, не всегда эффективно, не всегда этически безупречно. Но оно существует, и оно меняет правила игры — пусть и не так радикально, как хотелось бы.

В § 7 мы подробно поговорим о платформенной экономике, но уже сейчас стоит заглянуть в этот сюжет. Миллионы курьеров, таксистов, фрилансеров, модераторов контента работают в условиях «алгоритмического менеджмента»: их работодатель — не человек, а код. Алгоритм назначает ставку за заказ, оценивает скорость и качество, присваивает рейтинг, наказывает за отказы, поощряет за переработки. Уволенным можно быть в один клик — без объяснения причин, без права на апелляцию, без выходного пособия.

Казалось бы, власть алгоритма абсолютна. Но работники быстро учатся находить его уязвимости. Курьеры в мессенджерах обмениваются схемами, как «обмануть» систему распределения заказов: кто-то берёт заказ и не выполняет его, чтобы наказать платформу штрафом; кто-то использует несколько телефонов, чтобы создавать видимость высокой конкуренции и поднимать ставки; кто-то координируется в чатах для одновременного отключения от системы — виртуальная забастовка, которая парализует работу платформы на несколько часов. Эти практики нелегальны с точки зрения пользовательского соглашения, но для работников они — единственный способ вернуть себе хоть какой-то контроль над условиями труда.

Водители такси-агрегаторов знают, что алгоритм понижает рейтинг за отказ от поездки, но, если принимать все подряд, можно работать в убыток. Они находят лазейки: принимают заказ, звонят пассажиру и убеждают его отменить поездку самому (тогда штраф не списывается с водителя); едут медленнее, чтобы алгоритм не успевал назначить следующий заказ до окончания текущего; используют старые версии приложения, в которых алгоритм ценообразования работал иначе. Каждый такой трюк — акт сопротивления, маленькая победа в войне, где оружие — это знание уязвимостей системы, а поле боя — код.