Business Therapy Sprint №2. Архитектор гибридных команд. Люди и ИИ

- -
- 100%
- +
Ваша точка передачи существует?
___________________________________________________________
___________________________________________________________
___________________________________________________________
___________________________________________________________
Вопрос третий: Знает ли агент границы своей компетенции?
Что агент НЕ должен делать? Где он должен остановиться и передать задачу человеку? Определены ли эти границы? Или агент пытается отвечать на всё, даже на то, в чём не разбирается?
В «Домашнем уюте» бот пытался отвечать на все вопросы, включая те, где нужна была эмпатия и нестандартное решение. В «Поиск Профи» нейросеть пыталась оценивать софт-скилы, для которых у неё не было данных.
Где границы вашего агента? Запишите их:
___________________________________________________________
___________________________________________________________
___________________________________________________________
___________________________________________________________
Вопрос четвёртый: Кто и как разбирает ошибки агента?
Когда агент ошибся — кто это заметил? Кто исправил? Кто разобрал причину? Кто дообучил агента? Или ошибка просто «проехала», а клиент остался с неверным ответом?
В «Поиск Профи» никто не отслеживал ошибки нейросети. Анна просто знала, что «эта штука иногда косячит», и перепроверяла всё вручную. Но конкретные примеры ошибок никуда не записывались. Агент не учился. Он продолжал ошибаться на тех же кейсах.
Кто у вас отвечает за работу над ошибками агента?
___________________________________________________________
___________________________________________________________
___________________________________________________________
___________________________________________________________
Вопрос пятый: Есть ли стандарт качества для работы агента?
Как вы поймёте, что агент работает хорошо? Что он справляется? Что ему можно доверять? Есть ли у вас метрика: «точность ответов — 95%», «время ответа — меньше минуты», «доля передач человеку — не более 10%»?
Если метрик нет — вы не можете управлять агентом. Вы просто надеетесь, что он работает нормально.
Ваши метрики для агента:
___________________________________________________________
___________________________________________________________
___________________________________________________________
___________________________________________________________
Операция на живом примере: Как «Поиск Профи» перестал перепроверять нейросеть
Когда Олег заполнил матрицу, картина стала ясной. Нейросеть делала свою работу — фильтровала резюме. Но менеджеры не доверяли ей, потому что не было ни чёткой точки передачи, ни границ компетенции, ни разбора ошибок, ни метрик качества. Они просто получили новый инструмент и старую ответственность: «найти лучшего кандидата любой ценой». И они находили. Перепроверяя каждое резюме. Вручную.
Мы сделали четыре вещи.
Первое: ввели точку передачи.
Теперь, когда нейросеть заканчивала анализ, менеджер получал уведомление в мессенджер: «Готова подборка по вакансии „Менеджер по продажам“. Десять кандидатов. Время на реакцию — два часа». Менеджер знал, что задача пришла. Он не сидел и не гадал: «А может, нейросеть уже отобрала? А может, ещё нет?».
Второе: определили границы компетенции.
Мы прописали простой стандарт. Нейросеть отвечает за фильтрацию по жёстким критериям: опыт, образование, зарплатные ожидания, локация. Человек отвечает за оценку софт-скилов, мотивации и fit с культурой клиента. Нейросеть — только «да/нет» по объективным данным. Никаких «этот кандидат кажется перспективным». Человек — всё, что связано с субъективной оценкой.
Третье: запустили разбор ошибок.
Мы ввели простой ритуал. Раз в неделю менеджеры в течение пятнадцати минут записывали в общий лог примеры, где нейросеть ошиблась. «Отбраковала кандидата с релевантным опытом, потому что он указал должность „менеджер по работе с ключевыми клиентами“, а в вакансии было „Key Account Manager“. Нейросеть не распознала синонимы». IT-специалист раз в месяц дообучал нейросеть на этих примерах. Ошибок становилось меньше.
Четвёртое: установили метрики и дали разрешение не перепроверять.
Мы ввели KPI для нейросети: точность отбора — не ниже 90%. Если точность падала ниже — IT-специалист разбирался. Если держалась выше — менеджеры получали официальное разрешение НЕ перепроверять агента.
Это было самым трудным. Анна сказала: «Я не могу не проверять. Это моя работа». Тогда Олег сказал: «Давай проведём эксперимент. Две недели ты не проверяешь нейросеть. Если точность упадёт — я лично отвечаю перед клиентом. Если нет — ты освобождаешь себе четыре часа в день».
Анна согласилась. Через две недели точность нейросети была 92%. Анна освободила себе двадцать часов в неделю. Эти часы она потратила на то, чтобы глубже прорабатывать отобранных кандидатов и давать клиентам более качественные рекомендации.
Через месяц Олег позвонил мне. «Время закрытия вакансии сократилось на треть, — сказал он. — А самое главное — Анна улыбается. Она перестала быть цербером при нейросети. Она стала рекрутером».
Новая прошивка: Что «вшить» в ДНК компании прямо сейчас
Вы заполнили матрицу. Вы увидели, где люди дублируют работу агентов. Что с этим делать?
Конец ознакомительного фрагмента.
Текст предоставлен ООО «Литрес».
Прочитайте эту книгу целиком, купив полную легальную версию на Литрес.
Безопасно оплатить книгу можно банковской картой Visa, MasterCard, Maestro, со счета мобильного телефона, с платежного терминала, в салоне МТС или Связной, через PayPal, WebMoney, Яндекс.Деньги, QIWI Кошелек, бонусными картами или другим удобным Вам способом.



