Проверка на здравый смысл: Как не попадаться на ошибки нейросетей

Уверенный ответ, которому нельзя доверять

В 9:47 Марина Соколова уже держала палец над кнопкой «Отправить». В 10:15 у неё начиналась встреча с руководителем. До неё нужно было переслать короткое заключение о поставщике термоконтейнеров для нового сервиса доставки.

Коммерческое предложение лежало в папке рядом с выпиской из ЕГРЮЛ, ссылкой на сайт поставщика и её собственными заметками. Марина не хотела тратить остаток утра на сверку каждой строки. Она вставила материалы в нейросеть и попросила:

«Проверь поставщика по открытым данным, сравни условия с нашей задачей и подготовь короткое заключение для руководителя. Укажи риски и дай рекомендацию».

Через несколько секунд появился текст, который выглядел как готовый фрагмент служебной записки:

«ООО «Северный холод» выглядит устойчивым региональным поставщиком. Компания зарегистрирована в 2018 году, имеет собственный склад площадью 1 200 квадратных метров и поставила термоконтейнеры более чем 40 службам доставки. По открытым данным, существенных арбитражных споров у компании нет. Поскольку поставщик является производителем, он контролирует качество продукции и способен отгрузить заказ в течение 3–5 рабочих дней. Стоимость ниже средней по рынку примерно на 18 процентов. Рекомендуется заключить договор на поставку 500 контейнеров с авансом 30 процентов».

Марина прочитала текст один раз. Он был коротким, деловым и удобным. В нём нашлось всё: дата регистрации, площадь склада, количество клиентов, процент экономии, срок поставки и готовая рекомендация. Ничего дописывать не требовалось. Оставалось только поставить подпись в конце письма и переслать его руководителю.

В этот момент в переговорную заглянул Илья Воронов, который помогал ей сверять закупочные расчёты.

«Можно отправлять?» — спросила Марина.

Илья посмотрел на экран.

«Какой из фактов здесь подтверждён?»

Марина не сразу поняла вопрос. Фактов было почти в каждой строке: дата, площадь, количество служб доставки, отсутствие споров, цена, срок. Текст казался насыщенным фактами именно потому, что в нём было много конкретных деталей.

Они открыли исходные материалы.

Выписка из ЕГРЮЛ действительно подтверждала дату регистрации. В коммерческом предложении действительно была указана цена 4 900 рублей за контейнер. Но эта цена действовала при заказе от 500 штук и полной предоплате. Для партии от 200 до 499 штук поставщик указывал цену 5 650 рублей и аванс 30 процентов.

Срок 3–5 рабочих дней тоже был в предложении, но рядом стояла оговорка: «при наличии товара на складе и после подтверждения заказа». В материалах не было сведений о площади склада, числе клиентов и наличии собственного производства. На сайте компания называла себя поставщиком продукции марки «ТермоГрад», но не производителем. Данные об арбитражных делах, даже если их действительно проверяли, могли показать лишь наличие или отсутствие найденных дел за определённый период. Они не доказывали надёжность поставщика.

Один гладкий ответ распался на несколько разных проблем.

Четыре сбоя в одном заключении

Первый сбой: выдуманный факт

Фраза «имеет собственный склад площадью 1 200 квадратных метров» звучала так, будто за ней стоит документ. Точная площадь создавала ощущение измеренности, а слово «собственный» добавляло делового веса. Но в исходных материалах не было ни площади, ни подтверждения права собственности.

Это и есть выдуманный факт: нейросеть сообщает конкретную деталь как установленную, хотя в доступных материалах для неё нет основания. Иногда такая деталь случайно оказывается правдивой. Это ничего не меняет. Если источник не найден, использовать её как факт нельзя.

Рядом стояло утверждение: «поставила термоконтейнеры более чем 40 службам доставки». Число выглядело ещё убедительнее потому, что было некруглым: не «многим клиентам», а «более чем 40». Но точность числа не возникла из доказательства. В коммерческом предложении его не было, в реестровых данных оно не подтверждалось, а на сайте не приводился список клиентов.

Сигнал такого сбоя прост: в тексте появляется подробность, которой нет в исходных документах, но она не сопровождается источником, датой или описанием способа проверки. Особенно настораживают точные числа, площади, количества клиентов, даты сертификации и формулировки вроде «ведущий», «крупнейший», «более 40 компаний».

Проверка не требует сложного расследования. Достаточно спросить: «Где это написано?» Если ответа нет, фраза получает пометку «не подтверждено». Не «наверняка неправда» и не «можно оставить, раз звучит правдоподобно», а именно «не подтверждено».

Второй сбой: искажение

В исходных материалах поставщик называл себя поставщиком продукции определённой марки. Нейросеть превратила это в «является производителем». Разница между поставщиком и производителем может занимать одно слово, но для решения о закупке она существенна.

Производитель может отвечать за разработку и выпуск товара. Поставщик может закупать продукцию у другого изготовителя, хранить её и перепродавать. У этих ролей разные цепочки ответственности, условия гарантии, сроки получения товара и возможности влиять на комплектацию.

Нейросеть не обязательно придумала слово из ничего. Она могла достроить его по типичному шаблону: если компания продаёт товар под определённой маркой, значит, вероятно, имеет отношение к производству. Но вероятная связь не даёт права менять исходную формулировку.

Искажение возникает, когда исходный факт сохраняет общий сюжет, но меняет смысл, масштаб, степень уверенности или роль участника. «Проводил вводное обучение» превращается в «руководил отделом». «Есть опыт работы с клиентами» становится «отвечал за продажи». «Поставляет продукцию бренда» превращается в «производит продукцию». Текст остаётся связным, но реальность внутри него сдвигается.

Илья предложил проверять не только существительные, но и глаголы. Часто именно в них прячется усиление. «Участвовал» превращается в «организовал». «Сообщает» — в «подтверждает». «Может поставить» — в «поставит». «Рассматривается как» — в «является».

Третий сбой: пропущенное условие

Цена 4 900 рублей действительно существовала. Поэтому нельзя сказать, что нейросеть полностью выдумала цифру. Ошибка была в другом: условие действия этой цены исчезло.

Плановая закупка Марины составляла 200 контейнеров, а в договоре она хотела сохранить аванс 30 процентов. При таком сценарии цена была 5 650 рублей. Низкая цена 4 900 рублей относилась к другой ситуации: партии от 500 штук и полной предоплате.

Предложение нейросети «заключить договор на 500 единиц с авансом 30 процентов» объединило два несовместимых условия из разных строк. Получилась рекомендация, которая выглядела конкретной, но в исходном предложении такого набора условий не было.

Пропуск условия опаснее явной ошибки. Явную ошибку легче заметить. Если написано «поставка за один день», а в документе указано «за десять дней», противоречие сразу бросается в глаза. Если написано «поставка 3–5 дней» вместо «3–5 дней при наличии товара и после подтверждения заказа», фраза кажется почти точной.

Условия часто прячутся в коротких словах: «при наличии», «от», «до», «после», «не позднее», «при заказе от», «за исключением», «по согласованию», «без учёта доставки», «при полной предоплате». Удаление одного такого оборота может изменить финансовый смысл всей строки.

Для любого срока, цены или обещания нужно восстановить четыре вопроса.

Для какого объёма это действует?

При каком способе оплаты?

На какую дату это обещано и при наличии каких ресурсов?

Что именно включено в цену или входит в указанный срок?

Если хотя бы один ответ отсутствует, исходное утверждение нельзя переносить в решение без оговорки.

Четвёртый сбой: ложная причинная связь

Фраза «поскольку поставщик является производителем, он контролирует качество продукции и способен отгрузить заказ в течение 3–5 рабочих дней» соединяет несколько утверждений в одну убедительную цепочку.

Даже если бы компания действительно была производителем, из этого автоматически не следовало бы, что она лучше контролирует качество или быстрее отгружает товар. Производитель может иметь перегруженный склад, задерживать выпуск, зависеть от поставок комплектующих или отгружать продукцию только по графику. Поставщик, наоборот, может быстро выполнять заказы за счёт запасов на складе. Причину нужно подтверждать отдельно.

Ложная причинная связь появляется, когда два факта соединяются словами «поэтому», «так как», «значит», «что свидетельствует о», хотя данные подтверждают только соседство этих фактов.

«У компании нет найденных арбитражных дел, поэтому она надёжна». «У кандидата много лет опыта, поэтому он будет хорошо руководить командой». «После повышения тарифа число заказов снизилось, значит, причиной стало повышение тарифа». Во всех трёх фразах может быть доля правды. Но причинный вывод требует дополнительного основания.

Для проверки причинной связи полезно убрать связующее слово. Вместо «поставщик быстро отгружает, потому что у него собственный склад» сказать: «У поставщика заявлен склад. Срок отгрузки по фактическим заказам не проверен». Вместо «заказы снизились из-за тарифа» сказать: «Снижение заказов произошло после изменения тарифа; другие причины пока не исключены».

Илья однажды получил от нейросети похожий вывод в отчёте по продажам. В марте сервис обработал 10 000 заказов, а в апреле — 8 800. Тариф на доставку действительно повысили, но только 20 апреля. Основное снижение пришлось на первую неделю месяца, когда в одном районе несколько дней не работало приложение для курьеров.

Нейросеть увидела два заметных факта: тариф повысился, а заказов стало меньше. Она связала их привычной деловой фразой: «Снижение спроса связано с увеличением стоимости доставки». Если бы Илья переслал отчёт, компания могла бы вернуть прежний тариф, хотя причиной падения оказался сбой в работе сервиса.

Илья заменил вывод на более честную формулировку: «В апреле количество заказов снизилось на 12 процентов. Повышение тарифа произошло 20 апреля и не объясняет снижение в начале месяца. Для оценки влияния тарифа нужны данные по периодам после изменения цены и по районам».

Такой текст менее эффектен. В нём нет красивой причины, которая закрывает вопрос одной строкой. Зато он не выдаёт гипотезу за установленный факт.

Почему гладкому тексту верят

Модель, о которой идёт речь в этой книге, прежде всего создаёт правдоподобное продолжение текста. Она подбирает слова, связи и структуру, которые хорошо соответствуют запросу и множеству уже известных ей языковых образцов. Правдоподобность означает, что фраза похожа на разумный ответ. Достоверность означает, что её можно связать с проверяемым основанием.

В обычных задачах эти свойства часто совпадают. Если попросить написать поздравление, точность почти не важна. Если попросить сократить письмо, связность и ясность могут быть главной целью. Но в проверке поставщика, расчёте, кадровом решении или интерпретации документа между ними возникает разрыв.

У нейросети нет встроенного чувства деловой ответственности. Она не знает, что конкретная цифра попадёт в письмо руководителю, станет основанием для аванса или повлияет на выбор кандидата. Если запрос требует «уверенного заключения», модель может убрать осторожные формулировки, чтобы ответ соответствовал стилю. Если в вопросе уже содержится предположение, она иногда принимает его за исходный факт.

Пустое основание особенно хорошо маскируют три свойства ответа.

Гладкость. Предложения соединены без пауз и противоречий. Человек читает такой текст как единый рассказ, а не как набор отдельных утверждений. Если начало кажется верным, доверие переносится на продолжение.

Подробность. Точные числа, даты и названия создают ощущение работы с реальными материалами. Но число становится доказательством только тогда, когда понятно, откуда оно взялось и к чему относится.

Уверенный тон. В ответе нет слов «возможно», «предположительно» и «нужно уточнить». Это не означает, что модель проверила информацию. Уверенность часто является свойством формулировки, а не результатом проверки.

Фраза «по открытым данным» тоже не является источником. Источник начинается там, где можно открыть конкретный документ, увидеть дату, условие и исходную формулировку. Название сайта, общий намёк на реестр или ссылка без указания проверяемого пункта не заменяют подтверждение.

Утверждение или черновик

После вопроса Ильи Марина перестала читать ответ как единое заключение. Они разложили его на короткие части и присвоили каждой одну из пяти рабочих меток.

Проверяемый факт. Его можно сопоставить с документом, реестром, письмом, расчётом или наблюдаемым событием. Например: «Дата регистрации компании — 2018 год», если это подтверждено выпиской из ЕГРЮЛ.

Интерпретация. Это вывод из нескольких фактов. Например: «Компания выглядит устойчивым поставщиком». Такая фраза может быть полезна для обсуждения, но сама по себе фактом не является.

Предположение. Это версия, которая может оказаться правдой, но пока не имеет достаточного основания. Например: «Наличие собственного склада позволит сократить сроки». Сначала нужно подтвердить, что склад собственный, а затем проверить связь со сроками.

Рекомендация. Это предложенное действие: «заключить договор», «запросить образцы», «провести пробную поставку». Рекомендация не доказывает факты, на которых построена. Её качество зависит от качества исходных данных.

Редакторский текст. Это фразы, которые организуют материал: «ниже приведено краткое резюме», «основные выводы следующие». Они помогают читать, но не добавляют доказательств.

На практике одна фраза часто объединяет несколько меток. «Поставщик является надёжным производителем и может быстро выполнить заказ» включает утверждение о роли компании, оценку надёжности, причинную связь и прогноз. Её нужно разрезать:

«В материалах компания названа поставщиком продукции марки «ТермоГрад». Роль производителя не подтверждена. Срок отгрузки заявлен как 3–5 рабочих дней при наличии товара. Надёжность поставки не проверена».

Новый вариант длиннее и менее удобен для пересылки. Зато в нём видно, что известно, что предполагается и какой вопрос остался открытым.

Для работы с нейросетью можно использовать короткую инструкцию:

«Раздели ответ на проверяемые факты, интерпретации, предположения и рекомендации. Для каждого факта укажи, в каком именно фрагменте исходных материалов он подтверждается. Сохрани все условия, ограничения, даты и пороги. Если подтверждения нет, напиши “в материалах не найдено”. Не называй компанию надёжной и не делай причинных выводов без отдельного основания».

Такая инструкция дисциплинирует структуру ответа, но не превращает нейросеть в независимого проверяющего. Получив ссылку или документ, модель всё равно может неправильно прочитать строку, перепутать компанию с одноимённой организацией или перенести условие из одного сценария в другой. Поэтому результат нужно сверять с источником, а не с тем, насколько убедительно модель описала собственную проверку.

Если запрос связан с российским поставщиком, юридическое существование организации можно сверить по выписке из ЕГРЮЛ, полученной через официальный сервис ФНС. Судебные дела проверяются отдельно по идентификаторам организации в картотеке арбитражных дел. Но отсутствие найденных дел не равно доказанной надёжности, а запись в реестре не подтверждает качество товара, соблюдение сроков и готовность выполнить конкретный заказ.

Практические реплики

Марина составила для себя несколько коротких формулировок, чтобы не возвращаться к привычной фразе «нейросеть уже всё проверила».

Для запроса к нейросети:

«Работай только с приложенными материалами. Не добавляй сведения о складе, клиентах, производстве и судебных спорах, если их нет в источниках. Для каждого срока и цены укажи объём заказа, способ оплаты и остальные условия. Отдельно перечисли, что осталось неизвестным».

Для разговора с коллегой:

«Я сейчас не прошу оценить, хороший ли это поставщик. Сначала отделим факты от выводов. Какой пункт можно подтвердить документом прямо сейчас?»

Для запроса поставщику:

«Подтвердите, пожалуйста, кто является изготовителем продукции, где находится товар на дату запроса, какая цена действует для партии 200 штук при авансе 30 процентов и входит ли в срок 3–5 рабочих дней доставка до нашего города».

Для письма руководителю:

«Предварительно подтверждены дата регистрации и условия предложения по двум объёмам заказа. Информация о собственном складе, количестве клиентов и производстве не подтверждена. До принятия решения нужно получить уточнение по наличию, сроку отгрузки и цене для плановой партии».

Последняя формулировка не скрывает неполноту данных. Она показывает, что уже сделано и какой следующий шаг нужен.

Ещё один пример дал отдел персонала. Елена Рябова попросила нейросеть подготовить краткую справку по кандидату на должность руководителя смены. В резюме было написано: «Координировал работу смены из 8–10 сотрудников во время временной замены руководителя». В готовой справке появилась фраза: «Имеет опыт управления командой из 8–10 человек».

С точки зрения стиля обе фразы звучали почти одинаково. С точки зрения решения о найме это разные сведения. Координация смены во время временной замены не обязательно означает постоянное руководство, подбор сотрудников, оценку результатов и ответственность за дисциплину.

Елена заменила вывод на два отдельных пункта: «Кандидат указывает опыт координации смены из 8–10 сотрудников во время временной замены руководителя. Опыт постоянного управления командой требует уточнения на собеседовании». Нейросеть помогла быстро оформить информацию, но не стала источником сведений о кандидате.

Тот же механизм встречается и вне работы. В семейном чате человек прислал фотографию мокрого пятна на потолке и спросил, из-за чего появилась протечка. Нейросеть ответила, что причина, вероятно, в конденсате из-за плохой вентиляции. По фотографии нельзя было исключить протечку трубы, повреждение крыши или воду от соседей. Безопасный ответ должен был назвать несколько возможных причин и предложить по возможности перекрыть воду, связаться с управляющей организацией и зафиксировать повреждения. Версия о конденсате могла быть полезной гипотезой, но не основанием для ремонта.

Пауза перед действием

Марина не стала пересылать исходное заключение. Она отправила руководителю короткий предварительный вариант, а поставщику направила три уточняющих вопроса. Решение о перечислении аванса отложили до получения ответа и пробной закупки небольшой партии.

Самое полезное изменение произошло не в формулировке запроса, а в моменте перед действием. Марина ввела для себя короткий протокол.

Сначала нужно выделить каждое самостоятельное утверждение. Не «проверить весь ответ», а отдельно отметить дату, цену, срок, статус компании, наличие склада, количество клиентов и рекомендацию.

Затем определить цену ошибки. Если неверна фраза о второстепенной характеристике товара, последствия могут быть небольшими. Если неверны сумма аванса, срок поставки, полномочия подписанта или сведения о кандидате, ошибку нельзя оставлять в рабочем документе.

После этого всё, что не удалось подтвердить, нужно пометить как черновик. Черновик можно использовать для поиска вопросов, подготовки письма или планирования разговора. Нельзя использовать его как доказанный факт.

Проверка занимает несколько минут, если не пытаться охватить весь текст одновременно. Возьмите любой недавний ответ нейросети и действуйте по шагам.

Первое. Отметьте названия организаций, даты, числа, проценты, сроки и слова «поэтому», «значит», «гарантирует», «подтверждает».

Второе. Разделите длинные фразы на короткие утверждения. «Поставщик является производителем и быстро отгружает товар» превращается как минимум в два вопроса: кто производитель и чем подтверждён срок отгрузки.

Третье. Поставьте рядом с каждым утверждением одну из меток: факт, интерпретация, предположение, рекомендация или редакторский текст.

Четвёртое. Для одного утверждения с высокой ценой ошибки откройте исходный документ или официальный источник. Если подтверждение не найдено, перепишите фразу так, чтобы она отражала неопределённость.

Пример результата:

«Дата регистрации подтверждена выпиской из ЕГРЮЛ».

«Цена 4 900 рублей указана для партии от 500 штук при полной предоплате».

«Цена для плановой партии 200 штук при авансе 30 процентов требует отдельного подтверждения».

«Поставщик выглядит подходящим для пробной закупки, но надёжность регулярных поставок не проверена».

«Рекомендуется запросить подтверждение наличия и провести небольшую тестовую поставку».

В этом варианте нейросеть всё ещё могла быть полезна. Она собрала материалы в удобную последовательность, нашла места для вопросов и помогла написать запрос поставщику. Но её текст перестал быть готовым решением. Он стал рабочим черновиком, из которого можно безопасно двигаться дальше.

Гладкость, подробность и уверенный тон помогают читать ответ. Они не подтверждают его содержание. Перед тем как превратить ответ в письмо, платёж, кадровое решение или обещание клиенту, нужно сделать паузу и спросить: какое здесь утверждение, откуда оно взялось и что произойдёт, если оно окажется неверным.

Отсюда возникает следующий вопрос. Проверять одинаково тщательно каждую фразу невозможно и не нужно: ошибка в рекламном черновике и ошибка в платёжном поручении имеют разную цену. Поэтому дальше потребуется карта риска, которая подскажет, где достаточно редакторской правки, а где нужна полноценная проверка источников и условий.

Карта риска: где ошибка обойдётся дорого

Один и тот же ответ утром может быть безобидным черновиком, а уже через пять минут — дорогой ошибкой. Фраза «это стандартная операция, дополнительная проверка не нужна» уместна при подборе вариантов заголовка, но опасна перед подписанием договора и неприемлема перед банковским платежом. Правдоподобие и уверенный тон остаются прежними, а цена доверия меняется радикально.

Мы уже отделили убедительную форму от подтверждённого содержания. Теперь нужно решить, какие ответы проверять в первую очередь. Пользователь не может тратить одинаковое количество времени на каждую подсказку нейросети: иначе он либо утонет в перепроверках, либо, устав, начнёт пропускать самые опасные места. Нужна не общая тревога, а карта риска.

Мифы, из-за которых проверяют не то

Миф первый: любая ошибка нейросети одинаково опасна.

Нет. Ошибка в варианте заголовка обычно означает несколько лишних минут работы. Ошибка в реквизитах может привести к переводу денег не тому получателю. Ошибка в объяснении нормы ТК РФ способна повлиять на приказ, уведомление или решение об увольнении. Сам факт ошибки ещё ничего не говорит о последствиях. Важно оценивать не только ответ, но и действие, которое последует за ним.

Миф второй: чем длиннее документ, тем выше риск.

Длинный текст действительно содержит больше мест для неточностей, но размер документа не определяет цену неверного шага. Короткая строка с номером счёта может быть опаснее десятистраничного отчёта. Одна неверная дата в налоговом уведомлении может иметь большее значение, чем несколько неудачных формулировок в презентации. Риск определяется не объёмом ответа, а тем, что пользователь сделает на его основании.

Миф третий: если действие можно технически отменить, ошибка обратима.

Удалённое отправителем письмо не возвращает его копию, уже скачанную получателем. Исправленный пост не стирает скриншоты и не отменяет впечатление аудитории. Отозванный платёж не всегда означает, что деньги вернутся. Дополнительное соглашение не делает прежнее решение бесплатным: для его заключения может потребоваться согласие другой стороны, время и новые расходы.

Миф четвёртый: срочность разрешает проверять меньше.

Срочность сокращает доступное время, но не снижает цену ошибки. Если платёж нужно провести за час, это не основание доверять первому ответу. Следует изменить способ работы: не исследовать всё подряд, а проверить несколько критических полей по первичному источнику и отложить необратимое действие, если обязательный контроль невозможен.