Великий ИИ-обман

Глава 5. Испытание, которое нельзя выиграть красивым ответом

Хороший тест начинается до знакомства с результатами. Если сначала увидеть ответ и только потом решить, что считать успехом, понравившийся продукт легко получит преимущество. Опишите задачу, условия и критерии заранее. Это защитит вас и от рекламы, и от собственной симпатии к удобному интерфейсу.

Возьмём условную задачу: извлечь из документов дату, сумму и номер договора. Успехом будет правильное заполнение всех трёх полей с указанием исходной страницы. Пропуск не считается правильным ответом. Выдуманное значение фиксируется отдельно. Если поле отсутствует, система должна обозначить отсутствие. Формат ответа тоже задаётся до испытания, иначе вы можете потратить время на преобразование результата.

Соберите небольшой набор обычных материалов, несколько сложных и несколько неполных. Обычные показывают повседневную полезность. Сложные выявляют границы. Неполные показывают, как система ведёт себя, когда решение невозможно. Не берите только те примеры, на которых продукт уже хорошо показал себя. И не используйте документы с чужими чувствительными сведениями без необходимого основания.

Для творческой работы критерии будут другими. Условный рекламный текст должен сохранить свойства товара, не добавить неподтверждённых обещаний, уложиться в заданный объём и соответствовать тону бренда. Оценка может включать человеческое суждение, но часть условий всё равно проверяется прямо. Наличие вкусовой оценки не оправдывает отсутствие критериев вообще.

Разделите обязательные условия и желательные качества. Если файл не открывается, красивый стиль уже не спасает результат. Если в объявлении неверная цена, высокая выразительность не делает его пригодным. Сначала проверяют обязательное. Только затем сравнивают удобство, качество формулировок и скорость.

Проведите сравнение с текущим способом работы. Если раньше задача занимала двадцать минут, а с ИИ — десять минут подготовки, пять минут ожидания и десять минут проверки, экономии нет. Если сотрудник может выполнять другую работу во время ожидания, учитывайте отдельно активное время и общее время выполнения. Для срочного ответа важна задержка, для себестоимости — занятость человека.

Условный тест включает тридцать документов. Полностью верно обработаны двадцать четыре, в четырёх требуется небольшая правка, в двух пропущены существенные данные. Можно сообщить «80 процентов документов обработаны без правок». Нельзя сообщить «почти всё автоматизировано», если ручная проверка каждого файла остаётся обязательной. Размер выборки и характер ошибок должны сопровождать цифру.

Записывайте затраты на исправление. Иногда продукт ошибается редко, но его ошибки трудно найти. Иногда он ошибается чаще, зато явно помечает сомнительные места. Для рабочего процесса второй вариант может быть удобнее. Сравнение только по доле правильных ответов пропускает стоимость контроля.

Не разрешайте продавцу менять условия посередине без фиксации. Он может предложить улучшить инструкцию или добавить документ — это нормально. Тогда проведите новый этап и отдельно сохраните старый результат. Иначе настройка будет продолжаться до первого успеха, а весь путь назовут первоначальной точностью продукта.

Версия и настройки входят в описание испытания. Сохраните дату, название тарифа, доступные функции, инструкцию и входные материалы. Если сервис обновится, вам будет с чем сравнивать поведение. Скриншот ответа полезен, но файл с исходным заданием и результатом обычно сообщает больше.

Повторяемость тоже важна. Для нескольких типичных задач выполните повторный запуск. Если результаты заметно различаются, оцените, допустимо ли это. Для идей разнообразие может быть достоинством. Для переноса реквизитов оно требует дополнительного внимания. Не объявляйте различие автоматически дефектом; соотнесите его с назначением продукта.

Более строгий тест можно сделать слепым: убрать названия сервисов из результатов и попросить компетентного человека сравнить их по одинаковым критериям. Это особенно полезно для текста и дизайна, где известный бренд создаёт ожидание качества. Если оцениваете самостоятельно, хотя бы перемешайте ответы и не смотрите на цену до первой оценки.

Результат небольшого теста лучше формулировать как решение о следующем шаге. «Подходит для черновиков при проверке человеком». «Нужен дополнительный тест на сканах». «Не допускается к отправке писем». «Цена не оправданна при нашем объёме». Такие выводы полезнее общего балла, который не показывает способ применения.

Есть задачи, где самостоятельно установить правильность вы не можете. Тогда испытание должен оценить специалист или нужно выбрать менее ответственное применение. Просить вторую нейросеть проверить первую иногда помогает заметить расхождение, но совпадение двух ответов не является независимым доказательством истины. Они могут использовать один и тот же ошибочный источник.

В конце теста вернитесь к первоначальному обещанию. Если продавали экономию, проверьте суммарное время. Если продавали автономность, посчитайте вмешательства. Если продавали доход, технический тест ещё не завершает проверку: нужны покупатели и экономический расчёт. Чтобы оценить числовые заявления продавца, нужно также разобраться, как рассчитаны проценты точности.

Глава 6. Проценты точности и удобные знаменатели

Число «99 процентов» кажется точнее любого описания. Но процент имеет смысл только вместе с тем, что считали. Точность распознавания отдельных символов, правильность полей, пригодность документов и успех полного процесса — разные показатели. Одинаковая цифра может скрывать совершенно разную работу.

Условный документ содержит двадцать полей. В ста документах всего две тысячи полей. Система правильно перенесла 1 980, а двадцать ошибочных распределились по двадцати документам. Точность полей составила 99 процентов, доля документов без ошибок — 80 процентов. Оба числа правильны. Для человека, отправляющего документы дальше, второе может быть важнее первого.

Поэтому до сравнения попросите единицу оценки. Что считается одним заданием? Можно ли частично правильный ответ считать успехом? Ошибка в незначительном поле и в сумме учитывается одинаково? Если продавец не может определить показатель, цифра пока не пригодна для решения.

Есть проблема неравномерных случаев. Условная система выявляет редкие опасные сообщения. Из тысячи сообщений опасны десять. Программа всегда говорит «всё нормально» и правильно оценивает 990 обычных сообщений. Общая точность — 99 процентов, но ни одного опасного случая она не обнаружила. Для этой задачи показатель выглядит отличным и одновременно скрывает полный провал цели.

Нужно отдельно смотреть, сколько нужных случаев найдено и сколько обычных ошибочно помечено. Если система часто поднимает ложную тревогу, люди тратят время и перестают обращать внимание. Если пропускает важное, последствия могут быть серьёзными. Не существует одного процента, который без условий решает оба вопроса.

Сравнение с человеком тоже требует равных условий. Человеку дали грязный скан и ограничили время, программе — чистый файл и подготовленные инструкции. Или наоборот. Спросите, что получили обе стороны, сколько времени имели и кто оценивал результат. Без этого «превзошли эксперта» может описывать устройство теста, а не продукт.

Бенчмарк — набор заданий и правил оценки для сравнения систем. Он полезен, когда соответствует вопросу. Но высокий результат на математических задачах не подтверждает качество разговора с клиентом. Хороший перевод не подтверждает точность бухгалтерского извлечения. Оценка относится к испытанному типу задач, а перенос требует обоснования.

Конец ознакомительного фрагмента.

Текст предоставлен ООО «Литрес».

Прочитайте эту книгу целиком, купив полную легальную версию на Литрес.

Безопасно оплатить книгу можно банковской картой Visa, MasterCard, Maestro, со счета мобильного телефона, с платежного терминала, в салоне МТС или Связной, через PayPal, WebMoney, Яндекс.Деньги, QIWI Кошелек, бонусными картами или другим удобным Вам способом.