- -
- 100%
- +
Проблема в том, что такой график получается сам по себе — даже на случайных данных. В 2016–2017 годах Эдвард Нуфер с коллегами, а в 2020 — Жиль Жиньяк и Марцин Зайенковский показали: если взять любые оценки, где реальный балл входит и в одну ось, и в другую, и добавить обычную случайность, то «слабые переоценивают, сильные недооценивают» получается автоматически. Это статистический артефакт — та самая регрессия к среднему, о которой будет вторая часть.
Это не значит, что самоуверенных дураков не существует. Это значит, что специального эффекта «некомпетентные особенно самоуверенны», скорее всего, нет. Просто все люди плохо оценивают себя, и это одинаково для всех уровней.
Парадокс выбора: джем, который не повторился
В 2000 году Шина Айенгар и Марк Леппер поставили в калифорнийском супермаркете стол с джемами. В один день — 24 сорта, в другой — 6. К большому столу подходили чаще (60% против 40%), но покупали — намного реже: 3% против 30%. Отсюда родилась идея: слишком большой выбор парализует.
В 2010 году Бенджамин Шайбехенне с коллегами собрали все эксперименты на эту тему — пятьдесят штук — и посчитали средний эффект. Он оказался практически нулевым. В одних условиях большой выбор мешал, в других — помогал, в среднем — ничего. Повторный «джемовый» опыт в немецком супермаркете эффекта не показал вовсе.
— Значит, всё враньё? — спросил Митя.
— Нет. Значит, эффект есть, но не «всегда», а «при определённых условиях»: когда варианты похожи друг на друга, когда человек не разбирается в теме, когда цена ошибки высока. У нас три тарифа вместо двенадцати — это правильно. Но не потому, что «наука доказала», а потому, что для наших клиентов, которые не хотят разбираться в двенадцати вариантах, это удобнее. Это надо проверять на своих клиентах, а не верить джему.
Урок первой части
Так Артём вывел правило, которое потом применял ко всей «психологии для бизнеса»: красивый одиночный эксперимент — это гипотеза. Закон — это то, что повторили много раз, в разных странах, разные люди. Неприятие потерь, якорь, фрейминг, ошибка планирования — повторили. Даннинг–Крюгер и парадокс выбора — нет.
Теперь ему предстояло понять, почему в марте было плюс три миллиона, а в апреле минус четыреста тысяч. И оказалось, что ответ — не в психологии, а в статистике.
ЧАСТЬ II. ЧИСЛА УМЕЮТ ВРАТЬ
Как не обмануться собственными отчётами
Глава 10. Лучший месяц, за которым всегда приходит худший
— Так что было в марте? — спросил Митя. — Почему три миллиона, а потом провал?
Артём достал таблицу продаж за семь лет. Восемьдесят четыре месяца. Он попросил Митю найти все месяцы, где выручка была рекордной, и посмотреть, что было в следующем.
— Почти всегда меньше, — сказал Митя через десять минут. — Из двенадцати рекордных месяцев в одиннадцати следующий был хуже.
— А теперь найди самые провальные.
— …После них почти всегда лучше.
— Вот. И знаешь, что самое смешное? Я после каждого рекорда хвалил отдел продаж, а после каждого провала — ругал. И каждый раз убеждался: похвалил — стало хуже, поругал — стало лучше. Семь лет верил, что ругать полезнее.
Гальтон и высокие отцы
В 1886 году Фрэнсис Гальтон, двоюродный брат Дарвина, измерил рост нескольких сотен родителей и их взрослых детей. Он ожидал, что у очень высоких родителей будут очень высокие дети. Оказалось — да, дети выше среднего, но ниже родителей. А у очень низких родителей дети — ниже среднего, но выше родителей. Все тянулись к середине. Гальтон назвал это «регрессией к посредственности».
Почему так? Потому что рост — это гены плюс случайность. Очень высокий человек — это, скорее всего, хорошие гены плюс повезло. Гены он передаст, а везение — нет. Значит, ребёнок в среднем будет чуть ниже.
То же самое с продажами. Рекордный месяц — это хорошая работа плюс удача: крупный клиент случайно закрыл сделку именно в марте, конкурент случайно сорвал поставку. Работа останется, удача — нет. Апрель обречён быть хуже.
Это регрессия к среднему. Она не требует никакой причины. Она просто следует из того, что в любом результате есть доля случайности.
Урок, который стоил Артёму семи лет
Канеман рассказывал, как он объяснял это инструкторам израильских ВВС. Инструкторы говорили: «Когда курсант делает отличный полёт и мы его хвалим — следующий полёт хуже. Когда делает плохой и мы кричим — следующий лучше. Значит, крик работает, похвала нет». Канеман нарисовал им на доске регрессию к среднему: отличный полёт — это умение плюс удача; следующий будет ближе к среднему независимо от того, что скажет инструктор.
— То есть ты семь лет зря ругал продажников?
— Я семь лет награждал и наказывал случайность. И людей, которые под неё попали.
Что сделал Артём
Перестал реагировать на отдельные месяцы. Смотрит на скользящее среднее за квартал. Хвалит и ругает за то, что человек сделал — количество встреч, качество предложений, — а не за то, что с ним случилось.
Грабли
Регрессия к среднему — не «всё вернётся на круги своя». Если вы реально что-то улучшили — среднее тоже сдвинется. Она лишь говорит: не приписывайте одиночному всплеску или провалу причину, пока не увидели, что он держится.
Глава 11. Самолёты, которые не вернулись
В октябре Артём решил заняться «лучшими практиками». Он собрал пять самых успешных клиентов «Вектора» — тех, кто покупает больше всех, — и стал искать, что у них общего. Оказалось: все пришли через личную рекомендацию, все начинали с маленького пилота, все имели в штате «своего» метролога.
Вывод напрашивался: искать клиентов через рекомендации, предлагать пилоты, целиться в заводы с метрологами.
Митя, который за четыре месяца уже кое-что понимал, спросил:
— А те, кто пришёл через рекомендацию, попробовал пилот и всё равно не купил, — их сколько?
Артём открыл базу. Таких было двадцать три.
Абрахам Вальд и броня
В 1943 году американские военные обратились к математикам: бомбардировщики возвращаются с задания все в пробоинах, надо укрепить броню — но броня тяжёлая, всё не укрепишь. Куда ставить? Военные предлагали очевидное: туда, где больше всего дырок — крылья, хвост, фюзеляж.
Математик Абрахам Вальд сказал: нет. Ставить надо туда, где дырок нет — в двигатели и кабину. Потому что вы видите только самолёты, которые вернулись. Дырки в крыльях — не смертельны, с ними возвращаются. А самолёты с дырками в двигателе вы не видите: они не вернулись.
Это ошибка выжившего. Мы делаем выводы по тем, кто выжил, — потому что только их и видно. А правда часто написана на тех, кого нет.
Как это касалось «Вектора»
Артём смотрел на пять успешных клиентов и видел рекомендации и пилоты. Но двадцать три неуспешных тоже пришли по рекомендации и попробовали пилот. Значит, рекомендация и пилот — не причина успеха. Это просто то, что было у всех, кто до «Вектора» вообще дошёл. Настоящая разница между пятью и двадцатью тремя оказалась в другом: у пяти покупателей оборудование «Вектора» стояло на линии, простой которой стоил больше миллиона в сутки. У остальных — на линиях, где простой был дёшев, и дорогой датчик им был просто не нужен.
— Так это же всё меняет! — сказал Митя. — Надо искать не «заводы с метрологами», а «дорогие линии».
— Именно. И я бы это никогда не увидел, если бы смотрел только на тех, кто купил.
Где ещё прячется ошибка выжившего
Книги про успех. «Все великие предприниматели бросили университет» — а сколько бросивших университет не стали великими? Их не приглашают писать книги.
«Раньше делали на века». Столетний дом кажется крепким — потому что тысяча хлипких домов того же года давно снесены.
Опросы клиентов. Опрашивать тех, кто остался, о том, что им нравится, — бесполезно. Надо спрашивать тех, кто ушёл, почему ушли.
Что сделал Артём
Завёл в CRM обязательную графу для каждой потерянной сделки: причина отказа, со слов клиента. Раз в квартал читает эти причины. Это самый полезный отчёт в компании.
Грабли
Не всякая разница между успешными и неуспешными — причина. Найдя её, вы получаете гипотезу, а не вывод: проверять всё равно придётся экспериментом (глава 15) или хотя бы честным сравнением похожих клиентов.
Ушедшие тоже врут — но иначе. «Дорого» в графе отказа означает что угодно: не поверил, не понял, не было бюджета, обиделся на менеджера. Причину отказа стоит уточнять голосом, а не принимать первую формулировку.
Самых важных не видно вовсе. Тех, кто даже не дошёл до разговора, нет ни в какой базе. Иногда единственный способ их найти — спросить у тех, кто ушёл к конкуренту, почему они вообще начали смотреть.
Глава 12. Мороженое и утопленники
— Дядь, смотри, — Митя показал таблицу. — Клиенты, которые пользуются приложением для телефона, покупают в три раза больше. Надо всех заставить поставить приложение!
— А почему они пользуются приложением?
— Потому что удобно?
— Или потому что это крупные заводы с большим штатом, которым вообще всё нужно — и приложение, и датчики, и сервис?
Митя задумался.
Корреляция и причина
Летом продажи мороженого растут. Летом больше людей тонет. Значит ли это, что мороженое вызывает утопления? Нет — лето вызывает и то, и другое.
Это классический пример того, что корреляция — не причинность. Если две вещи меняются вместе, есть как минимум четыре объяснения:
А вызывает Б (приложение → больше покупок).
Б вызывает А (те, кто много покупает, ставят приложение, чтобы следить за заказами).
Есть третье В, которое вызывает и А, и Б (крупный завод → и приложение, и покупки).
Случайное совпадение.
И только первое из четырёх — то, что хочется увидеть.
Как это проверить
Единственный надёжный способ отличить причину от совпадения — эксперимент. Взять сто похожих клиентов, случайно разделить пополам, одной половине активно предлагать приложение, другой — нет, и через полгода сравнить продажи. Об этом — глава 15.
«Вектор» проверил. Оказалось — вариант 3: приложение ставили те, кто и так покупал много. Само приложение продажи не увеличивало. Артём сэкономил бюджет на «принудительное внедрение приложения», который уже был почти согласован.
Грабли
Самая опасная ситуация — когда корреляция подтверждает то, во что вы и так верили. Тогда мозг перестаёт искать другие объяснения. Правило: чем больше корреляция вам нравится, тем сильнее надо её проверять.
Глава 13. Двенадцать лидов — это не статистика
В ноябре продажник Игорь пришёл с новостью: «Новый скрипт звонка работает! Из двенадцати звонков — четыре встречи. Раньше было одна-две!»
Артём хотел обрадоваться. Потом вспомнил регрессию к среднему и ошибку выжившего — и спросил:
— А сколько звонков надо сделать, чтобы я тебе поверил?
— Ну… двенадцать же уже.
— Мить, объясни ему.
Закон больших чисел
В 1713 году вышла книга Якоба Бернулли «Искусство предположений» — он умер за восемь лет до этого, и книгу издал племянник. В ней Бернулли доказал то, что теперь называют законом больших чисел: чем больше раз ты повторяешь случайный опыт, тем ближе средний результат к истинной вероятности.
Подбрось монету десять раз. Легко может выпасть семь орлов — 70%. Подбрось тысячу раз — будет примерно 500, и отклонение больше 55% уже редкость. Монета не изменилась. Изменилось количество бросков.
— Смотри, Игорь, — сказал Митя, который к ноябрю уже вполне освоился. — Если настоящая конверсия скрипта, скажем, 20%, то из двенадцати звонков четыре встречи — это просто как семь орлов из десяти. Бывает. А чтобы отличить 20% от 30%, надо звонков двести, не меньше.
— Так это два месяца!
— Значит, через два месяца и узнаем.
Закон малых чисел
Канеман и Тверски дали этой ошибке ироничное название: «закон малых чисел». Люди верят, что маленькая выборка ведёт себя как большая. Что если в трёх сделках подряд клиент попросил скидку — значит, «все просят скидку». Что если два инженера из нового вуза оказались слабыми — «в этом вузе не учат».
Из закона больших чисел вытекает и обратное: чем меньше выборка, тем экстремальнее результаты. Маленькие сёла США одновременно возглавляют и список по самой низкой заболеваемости раком, и список по самой высокой. Не потому что в них что-то особенное, а потому что в селе на пятьсот человек три случая — это уже «эпидемия», а ноль случаев — «чудо».
Что сделал Артём
Правило: ни один вывод о конверсии, браке или удовлетворённости не принимается на выборке меньше ста. Если ста нет — ждём или признаём, что не знаем.
Грабли
«Сто» — не магическое число. Нужный размер выборки зависит от того, какую разницу вы хотите заметить: чтобы увидеть «вдвое лучше», хватит и трёх десятков, чтобы поймать «на пять процентов лучше» — не хватит и тысячи (глава 15).
Для редких событий выборка считается не в клиентах, а в событиях. Тысяча заказов, в которых было три отказа, — это статистика из трёх точек, а не из тысячи.
Ждать до ста не всегда возможно. Тогда честный ответ — «мы не знаем, но пробуем», а не «данные показывают». Разница между этими фразами и есть профессионализм.
Глава 14. Священник, который научил считать шансы
Декабрь начался с тревоги. Система контроля качества «Вектора» отметила партию датчиков как «возможно бракованную»: автоматический тест показал отклонение. Тест, по паспорту, ловит 99% дефектных изделий и ошибочно бракует только 2% исправных.
— Так партия бракованная? — спросил Митя. — Тест же на 99% точный.
— Давай посчитаем, — сказал Артём. — Только сначала одна история.
Теорема Байеса
Томас Байес был английским священником и математиком-любителем. Он умер в 1761 году, а его главную работу опубликовал друг, Ричард Прайс, через два года. В ней Байес показал, как правильно менять свою уверенность, когда приходят новые данные. Формула простая, а последствия — огромные.
Конец ознакомительного фрагмента.
Текст предоставлен ООО «Литрес».
Прочитайте эту книгу целиком, купив полную легальную версию на Литрес.
Безопасно оплатить книгу можно банковской картой Visa, MasterCard, Maestro, со счета мобильного телефона, с платежного терминала, в салоне МТС или Связной, через PayPal, WebMoney, Яндекс.Деньги, QIWI Кошелек, бонусными картами или другим удобным Вам способом.