Доверяй, но проверяй: Как распознавать убедительные ошибки ИИ

Цена доверия: от неловкого письма до срыва решения

Ирина Соколова умела не принимать деловой тон за доказательство: в черновиках она разделяла факты, выводы, предположения и неизвестное. До этого вечера осторожность оставалась для неё свойством текста. Теперь ей предстояло увидеть, как одно неотмеченное неизвестное проходит через расчёт, письмо и управленческое решение, постепенно становясь дороже и труднее для исправления.

На часах было 19:38. На производственной площадке уже погасла часть света, в коридоре работал один автомат с кофе, а в отделе закупок светился монитор Ирины. На утро директор назначил короткое совещание: предстояло решить, заключать ли договор с новым поставщиком уплотнительных колец для сборочной линии.

Ирина открыла справку, которую час назад подготовила с помощью текстового ИИ. Она загрузила в рабочее окно выписку из ЕГРЮЛ, карточку поставщика, старое письмо отдела снабжения и несколько условий прошлой закупки. Запрос был обычным: сравнить нового поставщика с действующим контрагентом и подготовить основу для решения.

Ответ получился ровно таким, какой удобно переслать руководителю. В нём были ясная структура, выводы, расчёт экономии и короткая рекомендация:

«ООО “Северный Контур” имеет собственное производство, поставляет уплотнительные кольца в течение 18 календарных дней и готово фиксировать цену на 90 дней. С учётом потребности компании переход на нового поставщика позволит сократить затраты примерно на 360 тысяч рублей и снизить риск дефицита».

Ирина перечитала абзац. Название юридического лица совпадало с выпиской. Организация была действующей. Сумма экономии сходилась с её предварительным расчётом. Срок 18 дней выглядел правдоподобно: он встречался в старой карточке закупки, а производитель действительно мог бы поставлять быстрее посредника.

Но несколько ключевых частей фразы не имели подтверждения. Из выписки из ЕГРЮЛ следовало, что организация зарегистрирована и ведёт заявленные виды деятельности, но собственное производство из этого не следовало. Старое письмо действительно говорило о поставке за 18 дней, однако относилось к закупке двухлетней давности. Текущего коммерческого предложения с таким сроком у Ирины не было. Не было и подтверждения того, что поставщик готов фиксировать цену на 90 дней.

В конце справки стояла ссылка на страницу, которая якобы подтверждала эти сведения. Ирина открыла её. Страница не нашлась. Она решила, что ссылка могла устареть, и не стала возвращаться к этому вопросу. На часах было 19:52. В 20:00 она хотела уйти.

Потом Ирина открыла расчёт. В нём были указаны потребность производства, остаток на складе, стоимость единицы, срок поставки и экономия. Потребность на ближайший период составляла 2400 колец. На складе оставалось примерно 1760, то есть около 22 дней работы при текущем расходе. Срок 18 дней оставлял небольшой запас. Действующий поставщик выполнял поставку за 28–30 дней и обходился дороже.

Расчёт был арифметически верным. Ошибка находилась не в вычитании и не в формуле. Она таилась в одном входном значении: «18 дней — подтверждённый срок нового поставщика». Если это значение верно, новый сценарий выглядел разумным. Если нет, весь расчёт сохранял аккуратную форму, но переставал описывать действительность.

Ирина внесла в письмо директору три вывода. Первый: новый поставщик дешевле. Второй: его срок поставки позволяет избежать дефицита. Третий: можно переходить к согласованию договора и не продлевать текущую закупку у прежнего поставщика.

Она уже написала тему письма: «Сравнение поставщиков и предложение по закупке». Оставалось прикрепить справку.

Именно здесь стоит задать не вопрос «Похоже ли это на правду?», а три других.

Что произойдёт, если утверждение окажется неверным?

Если срок составит не 18, а 30–32 дня, запас на складе закончится раньше, чем придёт новая партия. Производству придётся искать временную замену, переносить выпуск или срочно закупать товар по более высокой цене. Расчёт экономии превратится в расчёт дополнительных расходов. Решение, которое должно было снизить риск, создаст новый.

Кто пострадает?

Не только Ирина, чья фамилия стоит под справкой. Сначала пострадает специалист по снабжению, которому придётся срочно искать товар. Затем производство, если комплектующая не приедет. Потом финансовый отдел, который столкнётся с внеплановой оплатой. Отделу продаж придётся объясняться с клиентом, если изменятся сроки отгрузки. Юристу нужно будет разбираться, можно ли отказаться от договора или предъявить претензии. Директор примет решение на основании документа, который выглядел как проверенная аналитика.

Можно ли быстро исправить результат?

Пока письмо не отправлено — да. Можно удалить неподтверждённый срок, пометить его как неизвестный, запросить актуальное предложение и сохранить действующий заказ в качестве резерва. После отправки справки исправление станет сложнее: документ попадёт в переписку, его могут переслать, цифры появятся в протоколе совещания, а директор начнёт обсуждать уже не вопрос «можно ли доверять сроку», а вопрос «когда подписываем договор».

Ирина убрала палец с клавиши отправки.

Это не был эффектный момент внезапной тревоги. Она не увидела на экране красного предупреждения и не получила доказательства, что поставщик ненадёжен. Она просто поняла, что цена неподтверждённого предположения выросла. Внутри черновика оно было одной строкой. В расчёте стало основанием для выбора. В письме директору превратилось в аргумент. После отправки стало бы частью управленческого процесса.

Ирина сохранила файл под новым названием: «Справка — требуется подтверждение срока». В письмо она вставила короткую записку:

«Справку пока не отправляю как основание для решения. Проверено: юридическое лицо действует, сведения в выписке совпадают с карточкой поставщика. Не подтверждено: собственное производство, текущий срок поставки 18 дней, фиксация цены на 90 дней. До совещания запрошу актуальное предложение и сверю условия с отделом снабжения».

На следующее утро директор спросил:

«Мы можем на это опереться?»

Ирина впервые не стала отвечать привычным «да, данные предварительно проверены».

«Пока нет, — сказала она. — Вот что уже подтверждено и что ещё неизвестно. На сведения о регистрации и данные текущей карточки мы опереться можем. На собственное производство и срок 18 дней — пока нет. Если использовать их в расчёте, мы получим экономию только на бумаге».

Коллега по закупкам Сергей открыл старую карточку поставщика и быстро нашёл, откуда взялся срок. Там действительно было указано 18 дней, но речь шла о конкретной партии двухлетней давности. Кроме того, поставщик тогда сам закупал кольца у другого производителя и не контролировал весь цикл. В текущем письме от поставщика срок был другим: предварительно 30 дней, с оговоркой о наличии на складе.

Юрист Дмитрий Орлов отдельно проверил формулировку «имеет собственное производство». Выписка из ЕГРЮЛ подтверждала существование организации и зарегистрированные виды деятельности, но не доказывала наличие производственной площадки, оборудования или текущей мощности. Для договора и закупочного решения этого различия было достаточно, чтобы снять слово «подтверждено».

Директор ещё раз посмотрел на таблицу.

«Тогда какой сценарий предлагаем?»

«Два, — ответила Ирина. — Безопасный: продлить заказ у текущего поставщика на объём, закрывающий ближайший период. Параллельно запросить у нового поставщика актуальный срок, подтверждение наличия и условия цены. Второй сценарий можно рассматривать только после получения этих документов. Сейчас экономию фиксировать нельзя».

Решение не стало хуже оттого, что его отложили на один день. Оно стало честнее. Компания не потеряла контракт, не остановила производство и не отказалась от возможной экономии. Ирина не пыталась казаться безошибочной. Она показала себя человеком, который заметил границу между данными и предположением до того, как эту границу пересекло решение.

Ошибка живёт не в ответе

Одна и та же фраза имеет разную цену в зависимости от того, где она находится.

В личном черновике ошибка может быть просто неточностью. В расчёте она становится входным параметром. В письме коллеге — рабочим ориентиром. В документе для директора — основанием для выбора. В коммерческом предложении — обещанием клиенту. В договоре или платёжном поручении — причиной финансового действия.

Поэтому проверять нужно не только содержание ответа, но и его маршрут. Полезно восстановить цепочку: ответ ИИ попадает в расчёт или план, затем — в письмо или справку, после этого — в решение другого человека, действие компании и, наконец, в последствия для людей, денег, сроков или репутации.

На каждом переходе растёт число людей, которые начинают действовать так, будто предположение уже стало фактом.

У Ирины цепочка выглядела так.

Утверждение: у поставщика есть собственное производство, а срок поставки составляет 18 дней.

Расчёт: остатка хватит до прибытия партии, запас составит примерно четыре дня.

Вывод: нового поставщика можно выбрать как основной вариант.

Документ: директору предлагается не продлевать закупку у прежнего поставщика.

Действие: компания отказывается от резервного заказа и начинает согласование договора.

Последствие: при фактическом сроке 30–32 дня появляется риск дефицита и срочных расходов.

Если остановить цепочку на первом шаге, исправление занимает несколько минут. Если остановить её на этапе расчёта, нужно пересобрать цифры. Если ошибка обнаружится после письма, придётся отзывать вывод и объяснять, почему он был отправлен. Если решение уже принято, появляются переговоры, согласования, финансовые последствия и репутационные издержки.

Размер ошибки определяется не количеством неверных слов. Одна неверная дата в приветственном письме может ничего не значить. Одна неверная дата поставки способна изменить производственный план.

Безобидные неточности, рабочие сбои и критические ошибки

Удобнее разделять ошибки не по источнику, а по последствиям.

Относительно безобидная неточность не влияет на решение, не запускает действие и исправляется до того, как её увидит человек, от которого что-то зависит. Например, в черновике внутренней справки перепутан порядок двух несущественных пунктов. Или в рабочем письме осталась старая формулировка, но документ ещё никто не использовал.

Такая ошибка всё равно требует исправления, но не требует многочасового расследования. Если сотрудник тратит на неё столько же времени, сколько на проверку договора или платёжных реквизитов, контроль становится неэффективным.

Рабочий сбой уже заставляет людей переделывать работу. Неверный срок попал в календарь, финансовый расчёт составлен по старой редакции договора, отдел продаж пообещал клиенту дату, которую не подтвердило производство. Решение ещё можно отменить, но для этого понадобятся звонки, новые согласования, переносы и дополнительные расходы.

Критическая ошибка связана с действием, которое может затронуть крупную сумму, договор, непрерывность производства, безопасность, персональные данные или обязательство перед клиентом. Критичность определяется не драматичностью формулировки, а тем, что после использования ответа последствия нельзя полностью вернуть в исходное состояние.

Например, неверный пункт в черновике договора можно удалить до согласования. После подписания он становится предметом переговоров и юридической оценки. Неправильную дату в коммерческом предложении можно исправить до отправки. После отправки клиент уже мог перестроить собственный график. Ошибочный платёж иногда можно остановить до проведения, но после зачисления возврат может потребовать отдельной процедуры и согласия получателя.

Одна и та же ошибка может переходить из категории в категорию. Неподтверждённая цифра в личной заметке — низкий риск. Та же цифра в отчёте для руководителя — рабочий сбой. В договоре, бюджете или обещании клиенту — критическая ошибка.

Матрица цены и обратимости

Для быстрой оценки нужны две оси. Первая — цена ошибки. В неё входят деньги, сроки, количество затронутых людей, остановка процесса и репутационный ущерб. Вторая — обратимость: насколько легко вернуть ситуацию в безопасное состояние.

Последствия бывают обратимыми, трудновосстановимыми и необратимыми.

Обратимое последствие можно устранить до того, как кто-то начнёт действовать: удалить письмо, заменить файл, пересчитать таблицу, остановить согласование.

Трудновосстановимое требует участия нескольких человек и дополнительных затрат: срочной закупки, повторного согласования, переговоров с клиентом, изменения производственного плана или финансового графика.

Необратимое нельзя полностью отменить даже после исправления. Получатель уже увидел неверное обещание, персональные данные уже попали не тому адресату, производство уже остановилось на смену, деньги уже были перечислены и использованы. Это не означает, что ничего нельзя сделать. Можно снизить ущерб, но невозможно сделать так, будто события не было.

Низкая цена ошибки, обратимое последствие. Ошибка в черновой строке исправлена до отправки.

Низкая цена ошибки, трудновосстановимое последствие. Неверная версия внутреннего файла привела к нескольким часам переделки.

Низкая цена ошибки, необратимое последствие. Клиент получил письмо с неверным именем; ущерб невелик, но первое впечатление уже не вернуть.

Средняя цена ошибки, обратимое последствие. Неверный срок в плане обнаружен до заказа и заменён.

Средняя цена ошибки, трудновосстановимое последствие. Заказ оформлен, но требует отмены, новой перевозки или срочной закупки.

Средняя цена ошибки, необратимое последствие. Клиент перестроил свой график из-за обещанной даты, которую компания не выполнила.

Высокая цена ошибки, обратимое последствие. Крупное решение остановлено до подписи, оплаты или передачи данных.

Высокая цена ошибки, трудновосстановимое последствие. Договор заключён на ошибочных условиях, производство или поставка сорваны.

Высокая цена ошибки, необратимое последствие. Неверные персональные данные или платёжные сведения уже раскрыты или использованы.

Количество людей усиливает цену ошибки. Если неточность видит только автор черновика, цепочка короткая. Если на неё опираются директор, юрист, бухгалтерия, производство и клиент, даже небольшая исходная ошибка становится системной.

Упражнение первое. Разорвать цепочку

Возьмите любое утверждение из ответа ИИ. Не бросайтесь сразу его проверять: сначала разложите на отдельные части и покажите, что произойдёт, если каждая из них окажется неверной.

Для истории Ирины исходная фраза была такой:

«Поставщик имеет собственное производство и поставляет товар за 18 календарных дней».

В ней как минимум два самостоятельных утверждения: о производстве и о сроке. Для первого в качестве основания фактически использовалась гладкая формулировка ИИ: выписка из ЕГРЮЛ подтверждала регистрацию и виды деятельности, но не наличие производства. Для второго источником оказалась старая карточка закупки, а не актуальное предложение.

Дальше цепочку нужно записать без длинного анализа.

Предположение: текущий срок поставки составляет 18 дней.

Расчёт: остатка хватит до прибытия партии, запас составит примерно четыре дня.

Вывод: нового поставщика можно выбрать как основной вариант.

Документ: директору предлагается не продлевать закупку у прежнего поставщика.

Действие: компания отказывается от резервного заказа и начинает согласование договора.

Последствие: при фактическом сроке 30–32 дня появляется риск дефицита и срочных расходов.

Цель упражнения — не доказать, что ИИ ошибся. Цель — увидеть место, где неизвестное впервые начинает управлять действием.

Частая ошибка — проверять только арифметику. Человек смотрит, сходится ли разница между 22 и 18 днями, и пропускает вопрос, откуда взялось число 18. Другая ошибка — считать сложное утверждение одним фактом. «Поставщик имеет производство, поставляет за 18 дней и фиксирует цену» — это не одно утверждение, а несколько, и для каждого нужен собственный источник. Третья ошибка — ограничиваться фразой «нужно проверить». Она не показывает, что произойдёт, если проверка не будет выполнена сегодня.

Упражнение второе. Три вопроса до использования

Теперь примените к каждому ответу три вопроса: что случится, кто пострадает, можно ли быстро исправить.

В финансовом отделе сотрудник попросил ИИ составить платёжный календарь по договору и дополнительному соглашению. Модель указала срок оплаты из основной редакции договора. В дополнительном соглашении срок был изменён, но файл оказался в другой папке и не попал в запрос.

Если календарь пока используется только как черновик, последствия обратимы. Проверять нужно не каждую фразу, а срок оплаты, сумму и наличие изменений. Если на основании календаря уже сформировано платёжное поручение, цена ошибки выше. В дело включаются бухгалтерия, банк, поставщик и руководитель, утверждающий платёж. Если деньги ещё не перечислены, результат можно быстро исправить. Если платёж проведён, возврат может стать отдельной задачей.

Рабочая реплика в такой ситуации звучит так:

«Платёжный календарь пока не используем как основание для оплаты. Срок из основной редакции договора сверяем с дополнительным соглашением. Проверяем сумму, дату и реквизиты; после подтверждения обновим график».

Здесь нет обвинения в адрес ИИ и нет общей тревоги. Есть конкретная граница использования документа.

Для тренировки можно взять три типовых случая.

Во внутреннем черновике содержится неверное название отдела, но файл ещё никому не отправлен. Что случится? Ничего, кроме исправления. Кто пострадает? Никто, если автор внесёт правку до передачи. Можно ли быстро исправить? Да.

В расчёте закупки использован срок поставки из старого письма. Что случится? Изменятся запас, дата заказа и выбор поставщика. Кто пострадает? Производство, закупки, финансы и, возможно, клиент. Можно ли быстро исправить? Да, если заказ и письмо директору ещё не отправлены; значительно сложнее, если решение уже принято.

В коммерческое предложение клиенту включена неподтверждённая дата запуска проекта. Что случится? Клиент может заложить эту дату в собственный план. Кто пострадает? Клиент, менеджер, производство и компания, которая дала обещание. Можно ли быстро исправить? До отправки — да. После отправки — только частично: дату можно заменить, но ожидание уже создано.

Частая ошибка в этом упражнении — оценивать только прямые расходы. Человек говорит: «Если срок окажется неверным, мы просто закажем срочную поставку». Но срочная поставка может означать не только доплату. Она может забрать время у другого заказа, создать нагрузку на производство, потребовать согласования руководителя и изменить обещания клиентам.

Упражнение третье. Сказать «пока нет» без остановки всей работы

Проверка не должна превращаться в молчание. Если сотрудник видит неподтверждённую предпосылку, ему нужно уметь обозначить границу и одновременно предложить следующий шаг.

Для разговора с директором полезна структура из четырёх частей. Сначала нужно назвать, что уже проверено. Затем отдельно обозначить неизвестное. После этого прямо сказать, на что пока нельзя опираться. Завершить следует безопасным вариантом, который доступен сейчас.

Пример Ирины:

«Проверено: организация действует, сведения из выписки совпадают с карточкой поставщика, исходные условия запроса зафиксированы. Не подтверждено: собственное производство, текущий срок 18 дней и фиксация цены на 90 дней. Поэтому использовать эти данные как основание для выбора пока нельзя. Предлагаю сохранить текущий заказ как резерв, запросить актуальное предложение и вернуться к сравнению после получения ответа».

Для коллеги по закупкам реплика будет короче:

«В карточке стоит срок 18 дней, но он относится к старой поставке. Нужен текущий срок с датой действия предложения. До этого не ставим его в расчёт как подтверждённое значение».

Для клиента формулировка должна защищать обещание, а не создавать ложную уверенность:

«Срок сейчас предварительный: он зависит от подтверждения наличия у поставщика. Финальную дату отгрузки зафиксируем после получения подтверждения».

Если компания уже отправила неверную информацию, не нужно маскировать ошибку новым уверенным текстом. Лучше назвать, что именно изменилось:

«В предыдущем письме была указана предварительная дата, не подтверждённая текущим графиком. Мы уточнили данные и заменяем её на дату, которую готов подтвердить производственный график».

Частая ошибка — заменить «пока нет» на «скорее всего, да». Такая фраза звучит осторожно, но продолжает подталкивать к действию. Другая ошибка — перегрузить собеседника историей о том, как именно модель сформировала ответ. Руководителю нужно знать не происхождение красивой формулировки, а какие данные подтверждены и какое решение допустимо. Третья ошибка — остановить всё сразу. Если неподтверждён один срок, не обязательно прекращать всю закупку: можно продолжить проверку юридического статуса, цены, наличия и резервного сценария, отдельно пометив неизвестное.

Правило if/then для глубины проверки

Не каждый ответ требует одинакового контроля. Проверка должна соответствовать цене возможного действия.

Если ошибка остаётся в личном черновике, не влияет на сроки, деньги и других людей и исправляется до отправки, достаточно быстро сверить ключевые факты и убрать неподтверждённые утверждения.

Если ответ попадает в расчёт, план, внутреннюю справку или рабочее письмо, нужно проверить источник каждого значения, его дату и версию документа. Особенно внимательно следует проверить те значения, на которых строится рекомендация.

Если на ответе будет основано решение директора, договор, платёж, изменение производственного плана или обещание клиенту, нельзя оставлять неизвестное в форме факта. Нужно либо получить подтверждение от владельца данных, либо представить несколько сценариев с явно обозначенными условиями.

Если ошибка может затронуть персональные данные, финансовые реквизиты, юридические обязательства, безопасность или непрерывность производства, текст ИИ не должен быть единственным основанием для действия. Нужны сверка с рабочим документом и проверка человеком, отвечающим за соответствующий процесс.

Если последствие необратимо или его трудно устранить, проверку нужно завершить до передачи ответа следующему участнику цепочки. После передачи контроль становится дороже, потому что к фактам добавляется уже созданное ожидание.

Почему письмо директору меняет уровень риска

Вечерний черновик остаётся у Ирины. Она может переписать его десять раз, и компания не узнает о каждой неудачной формулировке. Письмо директору становится рабочим объектом. У него появляется адресат, время отправки и управленческая функция.

Директор не обязан заново исследовать каждую цифру в справке. Он использует документ как сжатую картину ситуации: вот поставщик, вот срок, вот экономия, вот рекомендация. Если ключевое предположение не помечено, оно получает статус факта не потому, что стало истинным, а потому, что оказалось внутри аккуратно оформленного документа.

После этого директор может задать вопрос финансовому отделу, поставить задачу юристу, поручить подготовить договор или отменить заказ у текущего поставщика. Ошибка начнёт жить в чужих действиях. Её цена вырастет не от самого факта отправки, а от числа решений, которые могут последовать за ней.

В истории Ирины отправка не была формальностью. Это была точка перехода от работы с информацией к управлению. До неё можно было спокойно написать: «Срок неизвестен». После неё пришлось бы объяснять, почему в отправленной справке стояло «18 дней» и на каком основании директору предложили менять закупочную стратегию.