Нейросеть вместо фокус-группы, консультанта и совета директоров. Шестьдесят человек в одной комнате

Глава 6. Один вопрос — сто интервью

«Всем понятно?» — спрашивает лектор.

Тишина. Значит, понятно?

Вы сидели в этой аудитории. Вы знаете: тишина значит другое. Признаться при тридцати людях, что не понял, — дорого. Поэтому «всем понятно» выясняется позже, на экзамене, поодиночке — где цена признания равна нулю.

Держите этот механизм. Он сейчас сэкономит вам запуск.

На групповом раунде моя панель дружно сошлась на «удобно». Хорошее слово, приятное. А потом я опросил тех же персонажей поодиночке — и треть призналась, что не поняла главный экран.

В группе никто не соврал. В группе было стыдно быть непонятливым — и синтетическая группа честно воспроизвела этот стыд, потому что она сделана из текстов про людей, а люди в группах ведут себя так. Плюс вторая сила, тише первой: первый ответивший прокладывает колею. После двух «удобно» третьему дешевле согласиться, чем копать в себе сомнение. Вы видели это на каждом совещании. Теперь увидели в панели.

Настоящие исследователи поэтому не выбирают между форматами — они используют оба. Группа — это столкновение: аргументы бьются друг о друга, позиции двигаются, рождается энергия спора. Интервью один на один — это признания: то, что человек не скажет при свидетелях. Рентген и УЗИ. Разные снимки одного пациента.

Приём — серия глубинных интервью по той же панели:

Опроси персонажей поодиночке: никто не видит чужих ответов. Формат интервью: открытые вопросы; после каждого ответа — «почему» или «вспомни последний случай, когда...». Подсказывать варианты ответа запрещено.

Про запрет подсказок — остановимся, он не формальность. Сравните: «Вам мешает цена, интерфейс или сроки?» — и человек послушно выберет из трёх. А мешала ему четвёртая вещь, которой в вашем списке нет, — и вы о ней теперь не узнаете. Подсказка — это не помощь отвечающему. Это ограничение ответа вашей фантазией. Открытый вопрос страшнее и медленнее — и только он приносит то, чего вы не ждали. А зачем ещё спрашивать?

И второй приём — сверка форматов, самая вкусная часть:

Сравни, что этот персонаж говорил в группе и что — наедине. Выпиши расхождения.

Расхождение — это не ложь персонажа. Это карта: где именно давление группы прячет правду о вашем продукте. «В группе хвалил цену, наедине признался, что будет ждать скидку» — вы только что узнали, как поведут себя реальные покупатели, которые тоже хвалят вслух и ждут молча.

Пять минут практики. Три интервью один на один с участниками вчерашнего раунда — с теми, кто в группе говорил меньше всех. Найдите одно расхождение с групповым мнением. Нашли? Теперь главный вопрос: в каком формате вам сказали правду? Подсказка: скорее всего, в обоих. Просто это разные правды — публичная и приватная. Покупают, кстати, по приватной.

Одной строкой: Группа даёт спор, интервью — признания: важное спрашивайте поодиночке и без подсказок.

Глава 7. Синтез: из шума — в решение

Сколько фотографий вы привезли из последнего отпуска?

Полторы тысячи? И сколько раз вы их с тех пор смотрели?

Вот именно. Данные — это ещё не память. Память — это альбом на тридцать снимков, который кто-то не поленился собрать.

После пятнадцати раундов у вас та же беда: папка транскриптов на полтораста страниц. Поздравляю — вы честно воспроизвели главную проблему настоящих исследований. Данные есть. Решения нет. В агентствах за этап «после разговоров» отвечает отдельный человек — и стоит он дороже модератора. Догадываетесь почему?

У нас этот человек — та же система. Но с одним железным условием: синтез делается в новой сессии. Не тем «человеком», который вёл дебаты.

Зачем такая строгость? Проверьте на себе: вычитайте собственный текст сразу после написания. Ошибок нет, правда? А утром — три штуки в первом абзаце. Автор привязан к черновику: он читает то, что хотел написать. Модель, писавшая реплики, привязана к ним точно так же. Свежая сессия читает транскрипты как чужие — и режет без жалости.

Синтез — три прохода, и порядок не переставляется.

Проход первый, механический — кластеры:

Вот транскрипты 15 раундов. Выпиши все возражения и аргументы «за» дословно, сгруппируй в кластеры — кучки похожего по смыслу. Для каждого кластера: сколько раз встретился, у каких групп участников, самая яркая цитата. Ничего не интерпретируй — только считай и цитируй.

«Ничего не интерпретируй» — строчка обязательная, и вот почему. Что сделает модель без неё? Перепрыгнет к выводам, минуя счёт. Не по глупости — по вероятности: в текстах, на которых она училась, после данных обычно идут выводы, и она тянется к привычному сюжету. А вам нужны именно частоты. Смотрите, какая разница: возражение, всплывшее в одном раунде, — шум. В девяти из пятнадцати — сигнал. Громкость и частота — разные вещи; громкое вы запомнили сами, частое найдёт только счёт.

Проход второй — карта решений: «Теперь интерпретируй. Для каждого крупного кластера: что это значит для версии А и для Б; что лечится формулировкой, а что требует менять продукт; что проверяется дёшево и как».

Проход третий — меморандум на страницу:

Сведи в меморандум: рекомендация и почему; три главных риска с цитатами; три вещи, которые проверить на живых людях до запуска; что осталось спорным. Пиши для человека, который транскриптов не читал и примет решение за пять минут.

Про пункт «что осталось спорным» — отдельно. Его надо требовать явно. Не потребуете — модель сгладит спорное в пользу красивой рекомендации, вы уже знаете этот рефлекс по главе первой: гладкий вывод вероятнее честного. А спорное — это ваши точки думания; список разногласий с консилиума вырос, но остался тем же инструментом.

Чем это кончается в деле? Моя история с позиционированием: мы шли к версии А. Кластеры показали: её главный козырь понятен только трети панели — профессионалам. А версию Б бросали на цене — что лечилось одной формулировкой. Запустили Б с новым блоком про цену. Меморандум занял страницу и перевернул решение стоимостью в квартал работы.

Живые клиенты потом сказали то же, что панель. Но мы к тому моменту уже были готовы. Почувствуйте разницу между «узнать заранее» и «узнать по факту» — она измеряется в деньгах.

Пять минут практики. У вас пока один-два транскрипта? Тем лучше — тренируйтесь на малом: новая сессия, первый проход, только кластеры и частоты. Найдите возражение, которое встречается чаще всего. Не то, которое громче. Которое чаще. Это разные возражения — проверьте.

Одной строкой: Сводка — в новой сессии и в три прохода: сначала считать, потом толковать, потом страница решения со «спорным».

Глава 8. Словарь клиента

Что вы набираете в поиске, когда болит спина?

«Люмбалгия»? «Дорсопатия»?

Нет. Вы набираете «болит поясница отдаёт в ногу». Хотя врач, к которому вы в итоге попадёте, назовёт это люмбалгией — и будет прав.

А теперь перевернём. Ваши клиенты ищут вас словами «болит поясница». А что написано у вас на сайте? «Инновационное решение для оптимизации»?

Вот об этом глава.

Мы неделю бились над заголовком лендинга. Перебрали десятки вариантов — умных, точных, выверенных. А потом я перечитывал транскрипт раунда и споткнулся о фразу, которой персонаж-скептик пересказывал продукт жене. Обычную, корявую, без единого нашего термина.

Это и был заголовок. Готовый. Он лежал в транскрипте три дня, пока мы сочиняли.

Механизм простой и беспощадный: люди не покупают ваши формулировки — они покупают свои. Чужой термин глаз проскакивает; своё слово цепляет, потому что читается как «это про меня». Вы сами так устроены: объявление «продаётся жильё улучшенной планировки» вы пролистнёте, а «тихая трёшка окнами во двор» — прочитаете. Хотя это одна квартира.

И вот что прекрасно: раунды из главы третьей производят словарь клиента как побочный продукт. Тоннами. Выбрасывать его — как выбрасывать опилки на лесопилке, не зная, что из них делают плиты.

Приём — добыча словаря, два списка:

Вот транскрипты. Список первый: все слова и обороты, которыми участники называют [продукт, проблему, результат] между собой, — дословно, без причёсывания, с корявостями. Список второй: слова, которые употребляю я — и не употребляет никто из них.

Первый список — ваши будущие заголовки, письма и скрипты. А второй...

Второй — отрезвляющий. Это ваш акцент. Профессиональный жаргон, который вы не слышите, как не слышат собственный акцент, — а аудитория слышит только его. Каждое слово из второго списка на вашем лендинге — это фраза на иностранном языке в разговоре с покупателем. Он не переспросит. Он уйдёт.

Дальше — режим, потому что словарь живёт:

Правило пополнения: после каждой панели — новые карточки в словарь; он лежит в базе знаний и растёт, как растёт язык. Правило употребления: заголовки, письма и скрипты пишутся из словаря, а не из головы. Голова предлагает «оптимизацию» — словарь отвечает «чтобы не переделывать дважды». Побеждает словарь. И правило проверки: сомневаетесь между двумя формулировками — обе в раунд, панель скажет, какая «своя».

Лао Ван, кстати, довёл этот приём до фанатизма, до которого мне далеко: каждое слово, которым заказчики называют поломки, уходит у него в базу, и объявления пишутся их словами. Говорит, впервые за пятнадцать лет стали приходить «по объявлению». Не потому что объявление стало умнее. Потому что оно перестало быть на иностранном.

И это не только про товары. Музыкант, который вместо «атмосферный пост-рок» напишет в афише слова, которыми слушатели пересказывают его концерт друзьям, соберёт другой зал. Репетитор, преподаватель, мастер — у каждого есть словарь клиента, и он всегда богаче собственного.

Пять минут практики. Добудьте оба списка из уже имеющихся транскриптов. Возьмите один свой заголовок и перепишите словами из первого списка. Положите варианты рядом. Какой из них написал бы ваш клиент? Вот его и публикуйте.

Одной строкой: Люди покупают свои слова, не ваши: добывайте словарь из записей разговоров и пишите заголовки из него.

Врезка. Цифровой двойник клиента

Короткая идея между главами — для тех, у кого панели прижились.

Разовая панель собирается и распускается. Но два-три персонажа из неё вы наверняка уже полюбили — тех самых неудобных, из практики второй главы. Не распускайте их. Заведите двойника: постоянного персонажа-клиента, который живёт у вас в базе знаний и растёт вместе с ней.

Досье двойника — обычный файл: биография, скрытый мотив, а главное — всё настоящее, что вы о таких клиентах знаете: их отзывы, их словарь из главы восьмой, их прошлые возражения. После каждой панели и каждого живого разговора досье пополняется. Через полгода это уже не выдумка на вечер — это концентрат вашей реальной клиентской базы в одном характере.

Зовётся двойник в любую сессию одной строчкой:

Вот досье Марины. Покажи ей [что угодно: письмо, цену, макет] — пусть отреагирует в своём характере и своими словами.

«Покажи это Марине» — самая короткая фокус-группа на свете: три секунды на созыв. У меня таких двое — скептик и энтузиаст, — и ни один текст не уходит клиентам, не пройдя мимо обоих. Правило гигиены то же, что у всякой синтетики: Марина репетирует, живые — решают.

Глава 9. Когда толпу не слушают

Восемь глав я учил вас доверять толпе больше, чем одному голосу. Теперь остановитесь и ответьте на вопрос.

Согласились бы вы, чтобы толпа из шестидесяти человек — умных, разных, злых — решила за вас, на ком жениться?

Нет? Интересно. А почему?

Вот на этом «почему» и построена глава. Разберём четыре случая, когда голос толпы надо выслушать — и не послушаться. Каждый я оплатил лично.

Случай первый: вопросы знаний. Панель из шестидесяти человек одобрила мой договор аренды склада. Живой юрист — один — за пять минут нашёл два пункта, из-за которых я мог остаться без склада и без депозита.

Почему шестьдесят проиграли одному? Потому что ошибку в договоре не чувствуют — её знают. Толпа сильна там, где правда распределена: мнения, реакции, словарь. И слаба там, где правда концентрирована: право, медицина, налоги, инженерия. Среднее мнение шестидесяти неспециалистов о договоре — это ноль, умноженный на шестьдесят. Тест перед любым кастингом: это вопрос мнений или вопрос знаний? Второе — к специалисту, а система пусть готовит вас к встрече: вопросы, перевод с казённого, черновик позиции.

Случай второй: вопросы нового. Панель почти единогласно похоронила функцию нашего продукта: непонятно, уберите. Мы почти убрали — оставили из упрямства разработчика. Через год она стала главной причиной, по которой нас выбирают.

Панель ошиблась? Нет. Панель сделала ровно то, что вы заказывали: показала первую реакцию. А первая реакция на всё по-настоящему новое — «непонятно», потому что толпа отвечает из вчерашнего опыта, а у нового в этом опыте ещё нет места. Отсюда правило: на новом панель репетирует возражения, но не решает судьбу. «Непонятно» от тридцати персонажей — не приговор. Это техзадание на объяснение. Судьбу нового решает эксперимент — и ваша воля, о ней ниже.

Случай третий: вопросы вкуса. Прогоните свой текст через шестьдесят советчиков и примите все правки. Что получится?

Текст, который не раздражает никого. И не принадлежит никому.

У толпы есть физика: она усредняет. Для возражений это дар, для почерка — гильотина. Помните вопрос из первой книги — какие слова должны оставаться корявыми и своими? Панель может сказать, что ваш выбор непривычен. Спасибо, учтём в подаче. Но выбирать голос по среднему — значит не иметь голоса. Вкус не голосуется.

Случай четвёртый, главный: вопросы воли. Есть решения, у которых по определению один автор — тот, кто отвечает. Закрыть направление. Пообещать клиентам. Рискнуть своими деньгами. Панель здесь блистает на разведке: возражения, сценарии, пре-мортем. Но в момент решения она превращается в то, чем ею часто пользуются, — в способ размазать ответственность.

«Так сказала фокус-группа» — худшая строчка, которую я видел в журнале решений. Однажды она была моей. Толпа — инструмент разведки. Решает подписант.

Соберём фильтр — десять секунд перед любым кастингом. Что за вопрос: мнений — панель решает многое; знаний — эксперт, панель молчит; нового — панель репетирует, эксперимент решает; вкуса — панель информирует, выбирает почерк; воли — панель разведывает, решаете вы. Вопрос слоёный? Режьте слоями: цену тарифа — панели, текст договора с покупателем — юристу, «делаем ли вообще» — себе.

И последнее. Заметили, что делает эта глава с самой книгой? Правильно: она — её условие. Толпа, которую слушают всегда, так же опасна, как советчик, которого не проверяют никогда. Обе крайности избавляют от думания. Панель делает вас информированнее. Решательнее — не может. Это, к счастью, по-прежнему ваша работа.

Пять минут практики. Три ближайших вопроса, по которым вы собирались собирать панель, — через фильтр: мнения, знания, новое, вкус, воля. И честно: что вы надеялись на панель переложить?

Одной строкой: Толпа — разведка, не руль: знания — эксперту, новое — эксперименту, вкус и воля — вам.

Глава 10. Чего синтетическая толпа не знает

Спросите десять друзей: «Купил бы ты мой продукт за девятьсот девяносто?»

Сколько скажут «конечно»? Восемь.

Сколько купят? Вы знаете ответ.

Друзья не врут. Просто вопрос «купил бы ты» и действие «достать карту» обрабатываются разными участками — это знает любой, кто хоть раз собирал предзаказы. Исследователи зовут это разрывом между заявленным и реальным поведением, и разрыв этот не лечится ни искренностью, ни размером выборки.

Держите эту мысль. Сейчас я расскажу, как наступил на неё всеми шестьюдесятью персонажами сразу.

Окрылённый успехом с позиционированием, я решил, что нашёл вечный двигатель, и спросил панель о цене нового тарифа: сколько готовы платить? Панель уверенно сошлась на цифре. Красивые кластеры. Убедительные цитаты. Меморандум — загляденье.

Реальность промахнулась мимо прогноза на сорок процентов.

Что произошло? Разберём механизм, он важнее самой истории. Синтетическая толпа сделана из текстов интернета. Она блистательно знает, как люди спорят, сомневаются и возражают, — этого в текстах океан. И она не знает, сколько денег лежит в кошельке вашей аудитории в этом сезоне в вашем городе, — этого в текстах нет. А что делает модель там, где данных нет? Вы уже выучили: достраивает правдоподобное. Уверенным тоном. Помните сорок страниц уверенной воды из первой книги? Здесь та же вода — просто разлитая на шестьдесят голосов и оформленная как статистика.

Прибейте над столом границу метода. Толпа гениальна в трёх вещах: находить дыры в рассуждениях; выдавать спектр возражений и формулировок; репетировать реакции до встречи с реальностью. И безнадёжна в трёх: предсказывать проценты и деньги; заменять знание вашего конкретного рынка; сообщать неприятную правду, которой нет в подложенных материалах.

И это, к слову, не моё частное невезение. Когда команда Марко Зарштедта свела в систематический обзор двести восемьдесят пять пар «синтетическая выборка против живой» — двадцать восемь работ, журнал Psychology and Marketing, две тысячи двадцать четвёртый, — примерно в двух третях случаев результаты разошлись. Репетиция, не измерение: теперь с цифрой.

Заметили закономерность? Всё, что толпа умеет, — про «что». Всё, что не умеет, — про «сколько». Между ними, честности ради, есть средняя ступень — «что лучше из двух»: сравнивать и ранжировать версии панель к сегодняшнему дню умеет всё увереннее, особенно накормленная реальными материалами. Но абсолютные цифры — цены, доли, деньги — остаются за границей. Отсюда три правила гигиены.

Правило первое: панель ищет «что», люди меряют «сколько». Любая цифра из сводки — цена, спрос, доля дошедших до покупки — это гипотеза с обязательной проверкой снаружи. Проверка бывает крошечной: пять разговоров с настоящими клиентами, объявление с двумя ценами, три звонка старым заказчикам. У Лао Вана эту функцию исполняет жена — и я не шучу: один живой человек с правом сказать «ерунда» стоит десяти раундов.

Правило второе: кормите панель реальностью. Сравните двух актёров: одному дали сыграть «покупателя вообще», другому — стопку настоящих отзывов, жалоб и переписок ваших клиентов. Кто сыграет точнее? Панель поверх сотни реальных отзывов спорит голосами ваших клиентов. Панель на пустом столе — голосами среднего интернета.

Правило третье: следите за подхалимством в масштабе. Три раунда подряд толпа хвалит? Это не успех. Это сломанный кастинг. И второй признак поломки, тише первого: слишком гладкое согласие. Живые шестьдесят человек никогда не ложатся аккуратной кривой — сыгранная толпа даже при честном кастинге ровнее людей: она сглаживает чудаков и теряет хвосты. Нет выбросов и непримиримых — это не гармония, это пересборка панели. Вернитесь в главу вторую: скептики, скрытые мотивы, чужой флаг.

И последнее — самое важное, потому что оно превращает провал в актив. Я не выбросил метод после промаха с ценой. Я записал провал: что решил, на что рассчитывал, что вышло, почему. Через полгода таких записей у меня появилось то, чего не даёт ни одна фокус-группа, — статистика по себе: в каких вопросах панель мне помогает, где я склонен ей переверить, куда систематически съезжают мои собственные прогнозы.

Чувствуете, куда повернула книга? Толпа у нас есть. Дальше ей нужны компас и память.

Пять минут практики. Последний синтез — на стол. Обведите все цифры. Под каждой напишите дешёвый способ проверить её в реальности за неделю. Хотя бы одну — проверьте. Спорим, минимум одна не сойдётся?

Одной строкой: Панель ищет «что», люди меряют «сколько»: любую цифру из синтеза проверяйте живыми.

Сквозной кейс. Серия 1: запуск, который пройдёт через всю книгу

Через книгу сквозняком идёт один мой проект — тот самый запуск новой версии продукта. Вы уже видели его завязку: спор о позиционировании, панель на шестьдесят, двести диалогов и меморандум, который перевернул решение с версии А на версию Б (глава седьмая). И видели первый провал: панель уверенно назвала цену, реальность промахнулась на сорок процентов (глава десятая). Счёт после первой части: одно решение спасено, одно испорчено, метод понят. Дальше этому запуску понадобится компас — встретимся в конце части второй.

Практикум. Панель за выходные: от кастинга до меморандума

Когда это понадобится: сразу. Это сборочный конвейер части первой — все её приёмы, одной цепочкой, на одном вашем вопросе, за два дня по часу-полтора. Если главы читались, но руки ещё не дошли — вот выходные, ради которых читалось.

Сначала выберите вопрос. Правильный кандидат: что-то настоящее, спорное и ваше — версия объявления, цена услуги, название, идея, которую страшно показать. Прогоните его через фильтр главы девятой: это вопрос мнений? Отлично, мнения — родная стихия панели.

Суббота, утро — кастинг, полчаса. Формулировка № 2 из шпаргалки: двадцать персонажей (не шестьдесят — у нас выходные), квоты, четверть скептиков, скрытые мотивы. Приёмка таблицей; скептиков мало — вернуть рекрутёру. Панель — файлом.

Суббота, день — три раунда, по двадцать минут. Раунд первый: реакции десяти персонажей на вашу версию, с обязательной «причиной против» (формулировка № 3). Раунд второй: те же десять — но под чужим флагом: ваша версия как «версия конкурента» (формулировка № 7). Раунд третий: очные дебаты трёх «за» против трёх «против» до ответа «что меня сдвинуло» (№ 4). Каждый раунд — новая сессия, каждая запись — файлом с номером. Устали — стоп: материала уже достаточно.