Когда интеллект стал дешёвым. Том 2: Бизнес в эпоху ИИ-агентов. Как создавать ценность, когда меняются команды, компании, клиенты и рынок труда

Без проверки это демо, а не результат

Теперь — самое важное и то, что чаще всего упускают. Между сделанным и полезным стоит проверка. Уберите её — получите красивое демо вместо работающего процесса.

Хан Ли, который годами строит ИИ-системы там, где ошибка стоит дорого, формулирует так: проверку нельзя приделывать в конце, её закладывают в процесс как условие — наравне со скоростью и стоимостью.36 По-английски это называют evaluation; дословно — «оценка», а по смыслу здесь — встроенная, регулярная проверка качества того, что выдаёт ИИ.37 Не «посмотрели, вроде нормально», а заранее описанный способ понять, можно ли доверять результату.

Звучит как бюрократия, а на деле это граница между трансформацией и театром. Демо — это, когда показали красивую картинку и все похлопали. Процесс — это когда заранее известно, на каких задачах ИИ ошибается, какие ошибки недопустимы в принципе, кто и как ловит их до того, как результат уйдёт наружу. Полезность без проверки — ещё не зрелая полезность.38 Это полезность на удачу.

Что значит «заложить проверку» на практике, без громких слов. Первое: набор проверочных примеров — до пилота, а не после. Десяток-другой реальных задач, на которых вы заранее знаете правильный ответ; любую новую модель или промпт сначала прогоняют через них. Второе: список ошибок, недопустимых чего бы это ни стоило — выдуманный факт в документе клиента, утечка данных, обещание от имени компании, которого она не давала. Третье: наблюдение за процессом в работе, а не только на старте — модели и данные дрейфуют, вчерашняя надёжность не гарантирует завтрашней.

И снова это не про недоверие к технологии. Это про то, что доверие зарабатывается проверкой. В финансах ничто, что считает деньги, не выпускают в продукт без слоя контроля — не потому, что не верят коду, а потому, что цена ошибки в деньгах не прощает «вроде нормально». В банковском языке это называют модельным риском: даже хорошая модель может привести к плохому решению, если её неверно применили, плохо проверили или перестали наблюдать в работе.39 С ИИ логика та же, просто теперь она нужна не только там, где код считает деньги, а везде, где гладкий ответ уходит вовне.

Представим себе банк, который дал менеджерам малого бизнеса ИИ-помощника для подготовки ответа клиенту. Клиент просит увеличить кредитный лимит. Это не просто «написать письмо»: в кредитном продукте решение об увеличении лимита должно быть проверяемым и объяснимым, особенно если в нём участвует сложный алгоритм.40 Агент собирает выписки, обороты, историю платежей и черновик письма: лимит можно поднять, ставка такая-то, документы нужны такие-то. Выглядит аккуратно. Ошибка маленькая, но дорогая: в расчёт попал оборот, который по кредитной методике не должен считаться выручкой. Без контрольной точки менеджер отправил бы клиенту красивое обещание, которое банк потом не смог бы исполнить. Встроенная проверка сверила расчёт с методикой и остановила письмо до отправки.

Почему такая осторожность не бюрократия, видно на старом банковском случае, ещё до генеративного ИИ. Wells Fargo в 2018 году раскрыла ошибку в инструменте оценки права на изменение условий ипотеки: из-за неверного расчёта часть клиентов ошибочно не получила модификацию кредита, а в сотнях случаев дело дошло до обращения взыскания на жильё и люди потеряли свои дома.41 Это не AI-кейс, но механизм тот же: автоматический расчёт выглядел как рабочий output, а outcome оказался человеческим и финансовым ущербом.

ИИ сделал работу. Но пользу создала проверка: клиент получил не уверенно сформулированное обещание, а решение, которое выдерживает правила, деньги и последствия.

Контур проверки: четыре слоя и один честный вопрос

«Заложить проверку» звучит абстрактно, пока не превратишь это в конструкцию. Один практичный способ собрать её — четыре слоя, каждый отвечает на свой вопрос.

Первый слой — видимость. Видно ли вообще, что делает ИИ: какие запросы пришли, что он ответил, на какие данные опирался. Непрозрачный процесс проверять нечем — вы управляете вслепую.

Второй слой — ограждения. Правила, которые ИИ не может нарушить: чего ему нельзя делать или говорить, какие темы и действия закрыты наглухо. Не «попросим вести себя хорошо», а жёсткие границы.

Третий слой — границы доступа. К каким данным и системам ИИ допущен, а к каким нет. Принцип простой: давать ровно столько прав, сколько нужно для задачи, и ни каплей больше. Лишний доступ — не удобство, а будущая утечка.

Четвёртый слой — человек в критической точке.42 Там, где ошибка дорогая или необратимая, последнее слово остаётся за человеком: он подтверждает, подписывает, останавливает. Не на каждом шаге, иначе никакой скорости, а именно там, где цена ошибки высока.

Четыре слоя — не методология на сто страниц, а рамка, которую держит в голове даже небольшая команда. И к ней — один честный вопрос-сито, отделяющий задачи, готовые для ИИ, от неготовых: можете ли вы описать, что делаете, как процесс — по шагам, с понятным «правильно» и «неправильно»? Можете — это поручают ИИ под проверкой. Если же процесс живёт только в голове и каждый раз идёт по-новому, его рано отдавать машине: вы не сможете ни поставить задачу, ни проверить ответ.

Отдельно — про моду на готовые наборы навыков и плагинов для ИИ. Соблазн большой: подключил чужой «навык» — и агент сразу что-то умеет. Но чужой навык — это чужой код и чужие инструкции внутри контура, которому вы доверяете данные и действия. Работает то же правило, что и с людьми: прежде чем впускать в контур, проверьте, кто это, что ему позволено и где он должен остановиться. Управление ИИ — не формальность для регулятора. Это система, которая превращает правдоподобный ответ модели в проверяемый и надёжный результат.

Правила вокруг человека, а не против него

Дальше — выбор не технический, а человеческий: правила можно строить либо против человека, либо вокруг него.

Можно строить контроль против человека: следить, ловить, заменять, сокращать. А можно — вокруг человека: снять с него механическое, освободить под суждение и ответственность, оставить за ним последнее слово там, где оно дорого стоит. Технология одна и та же. Экономисты, изучающие будущее труда, прямо говорят: это развилка дизайна, а не судьбы — один и тот же ИИ можно повернуть на усиление людей или на их обесценивание, и выбор делают люди, а не алгоритм.43

Я называю это управлением с человеком в контуре. Это не мягкость вместо требований, а правила, которые держат систему в рабочем коридоре и при этом не душат. Ограждение на дороге нужно не для того, чтобы машина стояла. Оно нужно, чтобы можно было ехать быстро и не слететь в кювет.

С управлением ИИ так же: оно должно помогать работе, а не становиться отдельной работой. Когда проверка превращается в бесконечные согласования, комитеты и регламенты ради регламентов, она начинает съедать тот результат, который должна была защищать. Тогда один риск меняется на другой: вместо потока непроверенных действий компания получает паралич, при котором до клиента уже ничего не доходит.

И здесь же прячется неожиданная хорошая новость для человека. Раз проверка вывода стала узким местом, она стала и ценной работой. Андрей Карпати формулирует это практично: ИИ генерирует быстрее, чем человек успевает проверять, поэтому выигрывает теперь не тот, кто быстрее производит, а тот, кто умеет держать ИИ на коротком поводке — давать узкие задачи и быстро сверять результат.44 Проверка перестаёт быть скучной обязанностью и становится отдельным дефицитным навыком.

Но остаётся вопрос: кто вправе ставить эту планку? Право решать, что считать «хорошо», зарабатывается близостью к делу, а не получается вслепую. Юрист, годами видевший, чем кончаются плохие договоры, чувствует опасную формулировку там, где модель видит гладкий текст. Врач знает цену внешне убедительному, правдоподобному, но неверному ответу. Этот выстраданный вкус и есть то, что дорожает, когда производство обесценилось, — об этом был разговор в первом томе, в главе про навыки, которые растут в цене. Управление ИИ не отбирает у человека работу. Оно поднимает его на уровень, где он не производит ответы, а отвечает за них.

Практикум к книге

В Практикуме к этой главе лежат:

• Матрица «Что отдать ИИ, а что оставить человеку» — разложить задачи одного процесса по цене ошибки, обратимости, проверке и режиму работы.

• Живая страница «Граница автономности» — посмотреть, что сегодня обычно отдают ИИ под проверкой, а что держат за человеком.

• Поля для метрики потока — заменить объём сделанного одной сквозной метрикой результата.

Открыть Практикум:

https://cheap-intelligence.vercel.app/

Глава за минуту

Логика главы.

1. ИИ обвалил цену производства — сделанного стало кратно больше, но больше сделанного не значит больше пользы. Output оторвался от outcome: произвести теперь можно, не разобравшись, и гладкое всё чаще уходит вовне непроверенным.

2. Разрыв держится не на слабости людей, а на устройстве работы. Люди уже готовы, компании — нет; промпт — ещё не процесс, и личная скорость гаснет в непеределанной системе (парадокс трансформации).

3. Производство подешевело примерно в сто раз, а доведение до результата — едва в полтора. Узкое место переехало из «произвести» в «поставить задачу, проверить и встроить»: ровно это показывает GDPval.

4. Значит, и мерить надо не штуки, а доехавшую ценность — поток, а не объём. Иначе по закону Гудхарта мера превращается в накрутку: премируешь за объём output — получаешь гору output и прежний результат.

5. Между сделанным и полезным стоит проверка. Без встроенной проверки это демо, а не процесс. Минимум — набор проверочных примеров до пилота, список недопустимых ошибок и наблюдение в работе.

6. Контур держится на четырёх слоях — видимость, ограждения, границы доступа, человек в критической точке и на честном вопросе-сите: можете ли вы описать это как процесс.

7. Правила можно строить против человека или вокруг него. Хорошее управление держит человека в контуре, а не выдавливает его из процесса; проверка вывода из скучной обязанности стала дефицитной и ценной работой.

Что забрать каждому.

• Специалист: разделите «сделал быстрее» и «сделал полезное». Заведите себе маленький набор проверочных примеров для задач, которые отдаёте ИИ, и научитесь сверять вывод вне модели — это и есть тот навык, который теперь оплачивают.

• Руководитель: перестаньте мерить объём сгенерированного. Возьмите один процесс и смените метрику на сквозную — полный цикл до результата и долю задач без переделки; одновременно опишите, какие ошибки недопустимы и где в контуре стоит человек.

• Предприниматель: не покупайте ещё одну лицензию, пока не ответили на вопрос: что мешает сделанному доезжать до клиента. Чаще всего ответ — не модель, а отсутствие процесса, проверки и верной метрики; стройте ограждения как дорогу, а не как шлагбаум.

Друкер сказал это раньше всех нас: можно безупречно, быстро и дёшево делать работу — и всё равно делать не ту. ИИ дал нам невиданную эффективность. Результативность по-прежнему придётся выбирать самим.

К следующей главе

В этой главе мы собрали процесс вокруг одного человека и его ИИ: что считаем результатом, где проверяем, какие ошибки недопустимы и где человек остаётся последней инстанцией. Но в настоящей компании таких задач много, людей много, а рядом появляется уже не один чат, а несколько агентов. Кто кому ставит задачу, кто за кого отвечает и как не утонуть в этой связке? Об этом — следующая глава: команда, в которой часть работы делают агенты.

Глава 3. Команда с агентами

Почему связку из людей и агентов держат не энтузиазм и не количество, а контракты, общий контур и один ответственный.

Команда теперь из людей и агентов; держат её контракты и общий контур, а не энтузиазм.

«Выработка менеджера — это выработка его организации плюс выработка соседних команд, на которые он влияет».

— Энди Гроув, генеральный директор Intel, «High Output Management», 198345

Свою первую команду из агентов46 я собрал не в большой компании, а лично для себя. Один агент читал мою рабочую почту и вытаскивал из потока важное. Другой следил за сделками. Третий каждое утро сворачивал полторы сотни новостных каналов в короткий дайджест, чтобы я не тонул в ленте. Собрать их оказалось делом нескольких вечеров: модели умные, инструменты под рукой.

А дальше я узнал то, что узнаёт каждый, кто проходит этот путь. Собрать агентов легко — сделать из них команду трудно. Пока у каждого нет своей границы и своего хозяина, они норовят наступить друг другу на ноги: один лезет туда, где уже работает другой; второй уверенно делает не то, о чём его просили; третий молчит о том, что сломалось. И первый вопрос, который встаёт в полный рост, — не «какого ещё агента подключить», а кто за всё это отвечает.

Беда не в агентах. Беда в том, что их собрали в кучу, но не собрали в команду. У живой команды есть роли, границы, общий контекст и человек, который отвечает за результат. Несколько умелых исполнителей без этого — ещё не команда, а толпа способных незнакомцев с доступом к вашим данным и деньгам.

В прошлой главе мы собрали процесс вокруг одного человека и его ИИ: договорились, что считаем результатом, где проверяем и где последнее слово остаётся за человеком. Но в настоящей компании задач много, людей много, а рядом теперь не один чат, а несколько агентов, которые работают параллельно и иногда друг другу мешают. Эта глава — о том, как из людей и агентов собрать команду, которой можно управлять. И держится такая команда на двух простых вещах: на контракте с каждым агентом и на общем контуре работы. А во главе — человек, который перестал быть пересыльщиком задач и стал владельцем решения.

Контракт с агентом, а не вера в него

Общий контур отвечает на вопрос — во что включены все. Остаётся второй вопрос — что именно делает каждый. И вот тут вместо веры нужен контракт.

Вера звучит так: «я дал агенту доступ, он умный, разберётся». Контракт звучит иначе: до того, как агент сделал первый шаг, про него уже известно, кто он, что ему можно, чего нельзя и кто за него отвечает. Это не бюрократия и не код. Это короткое описание — на одну страницу, понятное человеку, — которое превращает «ещё одного бота» в управляемого участника команды. Я называю это контрактом агента51, и собирается он из простых пунктов.52

Смотрите, что делает этот список. Он переводит управление агентом с языка надежды на язык договорённостей. «Роль» и «задача» не дают агенту растечься на всё подряд. «Границы» закрывают то, что нельзя ни при каких обстоятельствах: не обещать от имени компании того, чего она не давала, не трогать боевую базу, не отправлять наружу непроверенное. «Проверка» — это не просто финальный просмотр результата, а след работы: что агент получил на входе, какие шаги сделал, чем проверил результат и где остановился. По-русски можно сказать проще — квитанции работы. «Эскалация» — встроенный сигнал «дальше без человека нельзя». А последняя строка, «владелец», — самая важная и самая пропускаемая: у каждого агента есть конкретный человек, который за него в ответе. Не «отдел», не «команда», не «ну, мы все» — имя.

У каждого агента есть ещё один слой, который редко проговаривают вслух, — уровень автономности. Инструмент ждёт команды. Советник предлагает. Агент действует. Чем дальше вправо сдвинут этот ползунок, тем жёстче должно быть правило остановки: где агент обязан не продолжать, а позвать человека. У самостоятельного агента должны быть не только роль и доступ, но и след действий, понятный владельцу.

Ползунок автономности: инструмент ждёт команды → советник предлагает → агент действует. Чем правее, тем строже нужны: правило остановки · след действий · владелец.

Это не теория — я проверил на себе. Когда я отдал ИИ-агенту присматривать за своими серверами, я не дал ему просто доступ и не сказал «разберись». Я написал ему контракт. В нём — кто он и что делает; карта владения, где у каждого участка системы есть хозяин, и за чужую границу агент не лезет; что он читает и проверяет свободно, а любое изменение вносит только после прогона вхолостую и моего подтверждения; и список того, что ему полностью запрещено: не сносить данные, не выключать защиту, не перезагружать машину без спроса. Каждый свой шаг он записывает в журнал. Звучит как недоверие к умной программе — а на деле именно контракт превратил её из риска в работника. Те задачи, на которых я раньше терял выходные, — забитый под ноль диск среди ночи, протухший сертификат, упавший от нехватки памяти сервис — агент теперь закрывает лучше меня. Но ровно потому, что у него есть контракт.

В этом и есть смысл эпиграфа Гроува, перенесённый на агентов. Хороший руководитель не диктует каждый шаг — он задаёт роль, границы и критерий результата, а как именно сделать, исполнитель решает сам. С человеком это называется делегированием. С агентом — контрактом. Разница в том, что агент исполнит ваш контракт буквально: что вписали, то и получите. Поэтому цена точной формулировки здесь даже выше, чем с людьми. Размытый контракт — это размытый результат, выданный с полной уверенностью.