Когда данные молчат: Как принимать решения при неполной статистике, ошибочных измерениях и неопределённости Александра Речная До важного решения — час, а цифры противоречат друг другу. Ждать полной ясности? Иногда ожидание опаснее ошибки. Малые выборки, пропуски, ошибки измерений и убедительные истории вместо доказательств — обычная реальность для тех, кому приходится выбирать. Как отличить шум от сигнала, связь — от причины? Когда искать новые данные, а когда действовать? Книга предлагает практичный способ думать в неопределённости: проверять допущения и базовые вероятности, учитывать цену ошибки, выбирать обратимые шаги с запасом прочности и заранее задавать условия пересмотра. Руководители, предприниматели и специалисты научатся оценивать ценность эксперимента, обновлять прогнозы и разбирать итоги без самообмана — по тому, что было известно в момент выбора, а не только по результату. Так неопределённость перестанет парализовать и станет частью решения. Книга создана с помощью ИИ. Обложка: GPT Image - Лицензия Александра Речная Когда данные молчат: Как принимать решения при неполной статистике, ошибочных измерениях и неопределённости Когда данные молчат: Как принимать решения при неполной статистике, ошибочных измерениях и неопределённости Александра Речная Когда данных недостаточно: почему решения всё равно приходится принимать В 17:52 на экране переговорной мигнуло напоминание: до поезда оставалось сорок восемь минут. На столе лежали распечатки, открытая таблица и телефон основателя небольшой компании Павла. В 18:40 он должен был уехать в соседний город — утром там его ждал разговор с владельцами пекарен. А к 18:30 команде нужно было ответить, войдёт ли она в пилотный проект: шесть пекарен готовы проверить новый сервис, который помогает продавать свежую выпечку ближе к закрытию, а не выбрасывать её. — Мы ещё не знаем, сколько покупателей действительно готовы заказывать, — сказала Алина, аналитик команды. Она говорила спокойно, не споря ради спора. — Опрос задерживается. У нас есть только девятнадцать интервью из сорока, и многие участники пришли по рекомендациям знакомых. Если сейчас объявить запуск, мы можем принять любопытство за спрос. Павел посмотрел на таблицу. Потом на часы. — Ты права. Мы этого не знаем. Но если мы не ответим сегодня, пекарни отдадут место другой команде. Через три недели получим отчёт — и уже не сможем проверить гипотезу на этих площадках. В комнате стало тихо. Спор был не между смелостью и трусостью. Алина защищала компанию от ложных выводов. Павел — от решения, которое примет календарь вместо них. Поезд действительно уходил в 18:40. И независимо от того, что они решат, время продолжало идти. Ожидание тоже имеет последствия Когда данных мало, легко представить, будто перед нами два варианта: дождаться полной уверенности или рискнуть вслепую. Но обычно есть и третий путь — сделать ограниченный шаг, который даст новую информацию, не превращая предположение в дорогостоящее обязательство. Важно не спутать неопределённость с бездействием. Неопределённость — это состояние, в котором мы не знаем всего необходимого. Бездействие — один из способов ответить на это состояние. Иногда разумный: например, если на кону безопасность человека, а недостающую информацию можно получить вовремя. Иногда дорогой: если окно возможности закроется раньше, чем поступят новые данные. А иногда незаметный: команда неделями «ещё немного изучает рынок», хотя никто не определил, какие именно сведения изменят её решение. У ожидания есть своя цена. Пока мы собираем данные, может исчезнуть партнёр, закончиться сезон, вырасти расходы или устать команда. Даже если ничего заметного не происходит, сама возможность выбрать позже может стать менее ценной. Календарь не обязан спрашивать нашего разрешения, чтобы изменить условия задачи. Это не повод торопиться. Осторожность часто защищает от ошибок — особенно если решение трудно отменить или возможный ущерб велик. Но стремление дождаться полной уверенности иногда скрывает другой страх: не ошибиться, а оказаться ответственным за выбор. Тогда мы просим данные не потому, что знаем, как они повлияют на решение, а потому, что надеемся однажды переложить на них саму ответственность. В исследованиях принятия решений описан эффект неприятия неопределённости: в некоторых ситуациях люди предпочитают известный риск неизвестным шансам, даже когда неизвестность не обязательно опаснее. В классических экспериментах с выбором между лотереями многие участники осторожнее относились к варианту с неясными вероятностями. Это понятная реакция, но она не подсказывает, следует ли ждать именно в нашей ситуации. Для этого важно спросить: что даст дополнительная информация и успеем ли мы ею воспользоваться? Данные ценны не сами по себе. Их ценность — в том, что они способны изменить действие к лучшему. Если отчёт придёт через месяц, но к тому времени предложение партнёров исчезнет, возможно, полезнее провести небольшой тест сейчас и продолжить анализ параллельно. Если же исследование покажет, что идея связана с серьёзным риском для людей, от которого нельзя защититься пилотным запуском, ожидание может быть самым ответственным выбором. От большого решения к проверяемому шагу На совещании Павел и Алина сначала спорили о вопросе «Запускать ли новый сервис?». Слишком широкий вопрос заставлял выбирать между двумя крайностями: запускать всерьёз или не делать ничего. Алина заметила, что команда пока не готова обещать рынку устойчивую работу сервиса. Павел ответил, что речь может идти не о полноценном запуске, а о проверке нескольких ключевых предположений. Так они перешли от вопроса «Готов ли рынок?» к более точному: «Готовы ли мы провести ограниченный пилот на шести площадках, если заранее зададим срок, условия и критерии остановки?» Это уже другое решение. Его легче обсуждать и, главное, проверять. Короткий алгоритм для таких случаев состоит из пяти шагов. 1. Сформулируйте конкретный выбор. Не «Что нам делать с бизнесом?», а «Подтвердить участие в пилоте до 18:30 или отказаться и дождаться полного исследования». Чем яснее выбор, тем труднее спрятать его за туманной просьбой «собрать побольше данных». 2. Обозначьте настоящий срок. У решения есть дата, после которой изменятся варианты. Уточните, что именно произойдёт, если вы промолчите: возможность действительно исчезнет или срок можно перенести? Не создавайте срочность ради драматизма, но и не притворяйтесь, будто дедлайна нет. 3. Разделите известное, неизвестное и предполагаемое. Например: шесть пекарен согласны на разговор — известное; сколько покупателей повторно воспользуются сервисом — неизвестное; что владельцы готовы выполнять новые действия каждый день, — пока предположение. Эта простая сортировка мешает выдавать гипотезы за факты. Она также показывает, какое именно исследование может помочь. 4. Оцените последствия действия и ожидания. Запишите, чего можно выиграть, что может пойти не так, какова цена задержки и насколько легко отменить выбор. Сравнивайте не «риск» с «безопасностью», а два набора последствий. Иногда безопаснее подождать. Иногда безопаснее попробовать в малом масштабе, чем сделать крупную ставку позже. 5. Выберите следующий посильный шаг и дату пересмотра. Хороший шаг не обязан решать всю задачу. Он должен быть достаточно ограниченным, чтобы не создавать чрезмерного ущерба, и достаточно содержательным, чтобы что-то выяснить. Сразу решите, по каким признакам вы продолжите, измените план или остановитесь. Важна оговорка: обратимость не делает любое действие приемлемым. Нельзя «проверить гипотезу» способом, который подвергает людей существенной опасности, нарушает закон или необоснованно раскрывает их данные. Если возможный ущерб велик, первым шагом может быть не пилот, а консультация специалиста, проверка требований или безопасный эксперимент без контакта с уязвимыми людьми. Матрица «решить сейчас / подождать» Чтобы обсуждение не скатилось к общим словам, команда внесла оба варианта в одну таблицу. Под «решить сейчас» они понимали не полноценное масштабирование, а ограниченный пилот. Под «подождать» — отказ от текущего места в программе и возвращение к вопросу после отчёта. Вариант Возможная выгода Цена задержки или выбора Обратимость Дата пересмотра Решить сейчас: провести ограниченный пилот на шести площадках Увидеть реальные действия владельцев и покупателей; проверить процесс до крупных вложений Можно потратить время команды и получить результат, который сложно обобщить на весь рынок Высокая, если не строить дорогую инфраструктуру, заранее ограничить срок и не обещать масштабирование Через четыре недели по заранее выбранным показателям Подождать полный отчёт Получить больше интервью и точнее понять сомнения потенциальных клиентов Потерять место в пилоте; отложить практическую проверку; через несколько недель часть условий может измениться Решение отложить формально легко пересмотреть, но потерянное окно может не вернуться В день получения отчёта, если подходящие площадки ещё доступны Таблица не выдала ответ автоматически. Она сделала спор предметным. Алина добавила, что девятнадцать интервью полезны для формулирования вопросов, но выборка из знакомых и знакомых знакомых не даёт надёжной картины всего рынка. Павел согласился: пилот не превратит шесть площадок в представительную выборку. Зато команда сможет увидеть то, чего не докажет один опрос: готовы ли сотрудники выполнять процесс в реальной смене, возникает ли повторный интерес, сколько времени занимает обслуживание. Алина предложила условие: не заказывать дорогую разработку и не объявлять широкий запуск. Сначала — четыре недели, ручная обработка заказов и чёткое согласие всех участников. В конце команда проверит, сколько пекарен хотят продолжить, возвращаются ли покупатели и не требует ли сервис столько ручной работы, что экономика теряет смысл. Если заранее выбранные показатели окажутся ниже минимально приемлемых, команда остановит пилот или изменит предложение. Так появился не компромисс между «верить» и «не верить», а план проверки. Опрос оставался полезным. Пилот не объявлялся доказательством успеха. Каждый источник информации отвечал на свой вопрос. Это принципиальное различие: небольшой эксперимент может уменьшить неопределённость, но не отменяет её. Он тоже подвержен случайности, ошибкам измерения и ограничениям выборки. Несколько удачных продаж не гарантируют спрос в другом районе или сезоне. Задача пилота — не обеспечить красивый вывод, а получить достаточно надёжный сигнал для следующего шага. Решение — не обещание угадать В 18:23 Павел отправил партнёрам ответ: компания входит в пилот на четырёхнедельных условиях, без обязательства масштабировать сервис. Алина перечитала письмо, проверила ограничения и добавила дату итогового пересмотра. Затем Павел убрал ноутбук в сумку. В 18:40 поезд тронулся. Ни у кого в вагоне не оказалось внезапной уверенности, что рынок полюбит новый сервис. У команды был план, срок и возможность изменить решение, когда появятся новые сведения. Принятие решения в условиях неполной информации — не искусство угадывать будущее. Это умение действовать так, чтобы цена возможной ошибки оставалась соразмерной, а новые данные могли повлиять на дальнейший выбор. Перед тем как решить, полезно спросить себя: • Что именно я должен выбрать сейчас? • Какой срок действительно существует? • Что я знаю, чего не знаю и что пока только предполагаю? • Что изменится, если я действую? Что изменится, если жду? • Можно ли сделать меньший и более обратимый шаг? • Когда и по каким признакам я пересмотрю решение? Не всякое ожидание — уклонение, как и не всякое действие — храбрость. Разумная осторожность иногда требует остановиться. Но если вы выбираете ждать, назовите, какую информацию ждёте, когда она появится и при каких условиях она изменит ваш выбор. Иначе «подождать» рискует стать решением без срока и владельца. Попробуйте выполнить небольшое упражнение. Выпишите три решения, которые вы откладываете, потому что «данных пока недостаточно». Для каждого укажите срок, после которого ситуация изменится; сведения, которые действительно способны повлиять на ваш выбор; и возможную цену ожидания. Затем отметьте, можно ли проверить важное предположение небольшим шагом — разговором, пробной версией, консультацией или ограниченным экспериментом. Наконец, впишите дату, когда вы вернётесь к решению. Выберите одно решение с умеренными ставками и высокой обратимостью. Сформулируйте для него следующий шаг так: «До такой-то даты я проверю это предположение вот таким способом, а затем пересмотрю выбор по таким-то признакам». Для решения с серьёзными последствиями шагом может быть сбор профессиональной помощи, а не самостоятельная проба. Цель упражнения — не заставить себя торопиться, а вернуть выбор из тумана в календарь. Хороший процесс не гарантирует хороший результат. Пилот может показать, что идея не работает. Решение, принятое на основании доступных фактов и честно обозначенных ограничений, всё равно способно привести к неудаче: потому что мир изменчив, данные несовершенны, а случайность не спрашивает, насколько тщательно мы всё обдумали. Но ясные ставки, ограниченный шаг и дата пересмотра помогают извлечь из результата урок, а не только сожаление. Поезд уходит в назначенное время. Идеальная уверенность — нет. Между ними остаётся пространство для решения: назвать то, что известно, признать то, чего пока не знаешь, и выбрать следующий шаг, который не требует притворяться всезнающим. Карта неопределённости: риск, случайность и то, чего мы не знаем В шесть утра набережная была почти пустой. Над заливом висел туман, фонари отражались в воде длинными золотыми полосами, а на площадке рабочие собирали сцену для городского праздника. До начала оставалось одиннадцать часов. В телефоне у Марины, организатора события, было три прогноза. Один обещал дождь с вероятностью 30 процентов, второй — 60, третий показывал короткий ливень вечером. Все предупреждали о ветре, но по-разному: обычные порывы или редкий шквал, способный опрокинуть незакреплённую конструкцию. На вопрос о сцене подрядчик ответил: «Всё будет нормально». Документа о финальной проверке у Марины не было. Она назвала всё это одним словом: риск. И именно это слово мешало ей думать. Дождь, порыв ветра и состояние сцены звучали как три варианта одной неприятности, но возникали по разным причинам. Значит, и отвечать на них следовало по-разному. Мы часто пытаемся победить неопределённость, вытребовав у неё одно точное число. Но прежде чем спрашивать «какова вероятность?», полезно задать другой вопрос: «С чем именно я имею дело?» Иногда мир бросает кости по правилам, которые мы примерно знаем. Иногда правила есть, но мы плохо понимаем саму игру. А иногда у нас нет даже перечня того, что стоило бы проверить. Это и есть карта неопределённости: не обещание всё предвидеть, а способ не путать разные виды незнания. Первая точка: дождь, у которого есть шансы Марина прошла вдоль ограждения к пирсу. Ветер шевелил афиши, а над водой по-прежнему лежал туман. Дождь был первым вопросом, потому что о нём хотя бы говорили числа. Вероятность дождя — пример случайности, которую часто можно описывать с помощью статистики. Если прогнозная система хорошо откалибрована, то среди множества похожих ситуаций, которым она присвоила вероятность 60 процентов, дождь действительно должен идти примерно в шести случаях из десяти. Это не обещание дождя именно над сценой и именно в 17:20. Это оценка, опирающаяся на прошлые наблюдения, текущие данные и способ построения прогноза. Случайность — не синоним хаоса. Она означает, что отдельный исход заранее не определён, хотя повторяющиеся исходы можно изучать. Мы не знаем, в какой именно день выпадет шестёрка, но можем считать шансы при многократном броске исправного кубика. Мы не знаем, пойдёт ли дождь в конкретный час, но метеорологи сравнивают прогнозы с наблюдениями и выясняют, насколько часто их оценки сбываются. Важно, однако, не превращать вероятность в приказ. «Дождь — 60 процентов» само по себе не отвечает на вопрос, отменять ли праздник. Решение зависит от последствий. Для концерта на открытом поле даже короткий ливень может испортить аппаратуру и травмировать зрителей на скользком покрытии. Для ярмарки с навесами тот же дождь может означать лишь меньше посетителей и больше грязи. Число помогает оценить шансы, но выбор требует ещё двух вещей: понимания цены ошибки и наличия вариантов. Можно отменить всё мероприятие. Можно перенести концерты в соседний зал. Можно установить навесы, укрыть оборудование и заранее объявить, при каких условиях программа остановится. Чем больше обратимых решений, тем меньше нужда угадывать единственный правильный исход. Марина посмотрела на три прогноза. Их нельзя было просто сложить, разделить и назвать среднее истиной. Разные приложения могут опираться на одни и те же модели и исходные данные. Это не три независимых свидетеля. Кроме того, «дождь вечером» может означать разное: дождь в пределах района, на конкретной станции наблюдения или в какой-то момент широкого временного интервала. Прежде чем сравнивать числа, надо выяснить, что именно каждое число описывает. Полезный вопрос для случайности звучит так: «Если условия будут похожими, повторится ли это достаточно часто, чтобы шанс можно было оценить?» Если да, вероятности могут быть уместны. Тогда действуют не верой в одно число, а сочетанием частоты, цены последствий и плана на случай неблагоприятного исхода. Вторая точка: ветер, который не помещается в прогноз У пирса дуло сильнее. Листы с программой хлопали о стойки. Марина взглянула на крепления сцены и представила, как порыв поднимает край тента. С ветром было сложнее, чем с дождём. Проблема заключалась не только в том, насколько вероятен сильный порыв. Нужно было понять, насколько хорошо прогнозная модель описывает именно эту площадку. Залив, здания, деревья, форма сцены и направление ветра могли изменить местные условия. Даже точная оценка для района не обязательно точно описывает порыв у края временной конструкции. Здесь перед нами уже не просто случайность, но и неполная модель. Модель — это упрощённое описание того, как связаны события. Прогноз ветра учитывает одни факторы, но может недостаточно хорошо описывать другие. Например, модель способна правильно оценивать среднюю скорость ветра и при этом недооценивать редкие порывы. Или она может давать надёжную оценку для открытого побережья, но хуже работать рядом с плотной застройкой. Это не означает, что модель бесполезна. Это означает, что её нельзя путать с самой реальностью. Число может выглядеть точным, хотя основано на предположениях, подходящих не для каждого места и каждого редкого события. Полезное различение между измеримым риском и менее поддающейся подсчёту неопределённостью связывают с экономистом Фрэнком Найтом. В практическом смысле оно напоминает: иногда у нас есть достаточно понятная модель вероятностей, а иногда мы даже не уверены, что перечислили все важные условия. В первом случае можно считать шансы. Во втором надо проверять модель, искать дополнительные сведения и готовить решение, устойчивое к разным вариантам. Для ветра Марине требовалось не голосование прогнозов, а несколько конкретных действий: узнать допустимые нагрузки для сцены, получить заключение инженера, проверить местные условия и определить заранее, при какой скорости или порыве выступление нужно остановить. Показание прибора у площадки в нужный момент могло бы быть важнее усреднённого прогноза на весь район. Но значение порога должен задавать специалист, отвечающий за конструкцию, а не организатор, которому хочется сохранить программу. Когда модель неполна, полезно задать вопросы: • Какие предположения лежат в основе оценки? • Какие факторы она не учитывает? • Меняется ли вывод, если одно из предположений неверно? • Можно ли быстро получить наблюдение или консультацию, которые сузят неопределённость? • Какой запас прочности нужен, если мы ошиблись? Ответом не всегда будет ещё один расчёт. Иногда лучше изменить конструкцию, уменьшить высоту баннера, закрыть часть площадки или перенести выступление под крышу. Это не попытка идеально предсказать ветер. Это способ сделать последствия ошибки менее опасными. Третья точка: сцена, о которой нечего сказать Марина вернулась к подрядчику и спросила о финальной проверке. Тот повторил: «Сцену собирали вчера. Всё нормально». На уточнение «кто проверял крепления?» ответил не сразу. Теперь вопрос звучал уже иначе. Не «какова вероятность, что сцена не выдержит?», а «что мы вообще знаем о её состоянии?» Отсутствие сведений о сцене — не случайность, которой можно приписать красивый процент. Это пробел в знаниях. Возможно, документы существуют, но их забыли передать. Возможно, конструкцию проверяли, но никто не зафиксировал результат. Возможно, проверку ещё не проводили. Пока эти варианты не различены, число вроде «вероятность поломки — 2 процента» было бы не измерением, а догадкой, переодетой в цифру. Такой пробел часто называют известным незнанием: мы понимаем, чего не знаем. Марина знала, какой вопрос задать — нужна ли проверка и есть ли подтверждение её результата. Это уже ценная информация. То, что пока неизвестно, может оказаться доступным через осмотр, документ, испытание или разговор с ответственным человеком. Но существует и более трудный слой — неизвестные неизвестные. Это факторы, о которых мы не подумали и которые поэтому не попали в список проверок. Нельзя составить полный перечень того, что мы даже не догадались спросить. Однако можно повысить шанс, что важный пробел обнаружится: попросить специалиста со стороны пройти площадку, провести репетицию, проверить сценарий глазами техника, охраны и человека, отвечающего за доступность для зрителей. На репетиции звукорежиссёр мог бы заметить, что кабель проложен в месте, где во время дождя собирается вода. Никто не выходил на площадку с вопросом «а что, если этот участок затопит?», потому что никто пока не связал дождь с электрическим оборудованием. Когда связь обнаруживается, незнание становится известным пробелом — и с ним уже можно работать. Здесь важно не требовать от себя невозможного. Умение принимать решения не означает умение заранее перечислить все сюрпризы. Оно означает, что вы создаёте условия для раннего обнаружения проблем и не ставите всё на одну хрупкую догадку. Карта из трёх секторов Случайность, неполная модель и незнание не являются тремя непересекающимися коробками. Один и тот же вопрос может включать все три слоя. Но такое деление помогает подобрать действие к источнику неопределённости, вместо того чтобы снова и снова искать одно универсальное число. Сектор карты Что нам известно Диагностический вопрос Подходящее действие Случайность Есть повторяющиеся наблюдения и более или менее надёжная оценка шансов Как часто похожие события происходят при сопоставимых условиях? Оценить вероятность и последствия; выбрать порог действия, страховку или запасной план Неполная модель Мы понимаем часть связей, но не уверены, что учли все важные условия Какие предположения могут быть неверны и что модель упускает? Проверить предположения, получить экспертную оценку, сравнить сценарии, сделать решение устойчивым Незнание Не хватает сведений; иногда мы пока не знаем, какие именно вопросы задать Что мы не проверили, не спросили или не можем подтвердить? Провести осмотр, репетицию и независимую проверку; расширить круг участников; сохранить запас и наблюдать за обстановкой Третий сектор включает два разных положения. В одном мы знаем, какой информации не хватает: например, у нас нет акта проверки сцены. В другом мы ещё не обнаружили сам пробел: никто не учёл влияние сильного дождя на прокладку кабеля. Для первого подходят прямые запросы и проверки. Для второго — процедуры, которые помогают увидеть неожиданное: обход площадки, разбор возможных отказов, взгляд людей с разными ролями, план на случай внезапных изменений. У каждого сектора есть своя ловушка. Для случайности ловушка — принять шанс за гарантию: «дождь всего лишь с вероятностью 30 процентов». Для неполной модели — поверить в точность числа, не проверив допущений. Для незнания — придумать процент там, где пока нет оснований его считать. Если данных нет, честный ответ иногда звучит так: «Мы не знаем; вот как это выясним или ограничим последствия». Как составить карту для своего решения Возьмите лист бумаги и выберите одно решение, которое сейчас откладываете из-за нехватки уверенности. Не берите сразу всю жизнь — достаточно проекта, поездки, разговора или покупки. Затем пройдите маршрут. 1. Назовите решение и срок. Не «понять, что будет», а, например: «Решить до четверга, проводить ли мероприятие на открытой площадке». Укажите, что именно выбираете и когда ещё можно изменить план. 2. Разделите утверждения. Запишите отдельно факты, предположения и неизвестное. «Прогноз показывает дождь» — не то же самое, что «на площадке будет дождь». «Подрядчик сказал, что сцена в порядке» — не то же самое, что «сцену осмотрел квалифицированный специалист». 3. Отметьте тип неопределённости. Для каждого пункта спросите: здесь есть оцениваемая случайность, неполная модель или пробел в сведениях? Если подходят несколько вариантов, отметьте несколько. Карта не должна заставлять реальность влезать в одну клетку. 4. Выберите действие по типу проблемы. Если речь о случайности — оцените частоту и последствия. Если о модели — выясните, на каких предположениях она держится и что изменит вывод. Если о нехватке сведений — решите, кто и как может их получить. Если возможны неизвестные факторы — организуйте независимую проверку и не убирайте все запасные варианты. 5. Установите условия пересмотра. Решение становится легче, когда есть ясное правило: «Если к 14:00 нет подтверждения проверки сцены, концерты на ней отменяются» или «Если ветер достигнет установленного инженером порога, программу останавливаем». Условие должно опираться на наблюдаемый сигнал, а не на расплывчатое «если будет опасно». 6. Проверьте, можно ли уменьшить ставку. Можно ли сначала провести пробный запуск, выбрать меньший масштаб, сохранить альтернативную площадку или отложить необратимую часть решения? Иногда лучший способ справиться с неопределённостью — не узнать о ней больше, а сделать ошибку дешевле. 7. Спросите, кто может увидеть проблему, которую вы пропустили. Позовите человека, который не вложен в первоначальный план. Попросите его не подтверждать решение, а найти, что способно его сорвать. Такой взгляд не гарантирует обнаружение всех неожиданностей, но расширяет карту. Вернёмся к Марине. К полудню она перестала задавать один большой вопрос — «отменять ли праздник?» — и разделила его на несколько более точных. Дождь оставался вероятным, но его последствия можно было смягчить навесами и переносом части программы. Для ветра инженер должен был определить безопасный предел, а на площадке — появиться наблюдение за условиями. Сцена оставалась не «рискованной на столько-то процентов», а непроверенной. Пока не появлялось подтверждение проверки, концерты на ней не начинались. На репетиции звукорежиссёр заметил, что кабельный канал проходит рядом с низким участком площадки. Команда заранее перенесла его выше. Это не отменило возможности сюрприза. Но одна неожиданность превратилась в понятную задачу, прежде чем стала аварией. Так одно мероприятие вобрало все три слоя. Дождь был случайным событием с шансами, которые можно оценивать. Ветер требовал проверки модели и местных условий. Состояние сцены было пробелом в сведениях, который можно было устранить осмотром. А сочетание дождя, кабелей и рельефа площадки оказалось фактором, о котором команда сначала не подумала. К вечеру туман над заливом рассеялся, но полной ясности не наступило. Она и не была нужна. У команды появились границы допустимого, запасной план и условия остановки. Решение стало не безошибочным, а управляемым. В этом и состоит практический смысл карты неопределённости. Не всякое незнание можно превратить в вероятность. Не всякую модель можно сделать полной. Не всякую неожиданность можно предвидеть. Но почти всегда можно точнее определить, что именно неизвестно, и выбрать следующий шаг: оценить шанс, проверить предположение или поискать сведения, которых пока нет. Прежде чем требовать от мира точного числа, выясните, на какой участок карты вы смотрите. Откуда берутся цифры: источники данных и скрытые допущения На экране был зелёный круг и крупная цифра: 68% клиентов поддерживают новый тариф. Встреча шла к концу. Команда обсуждала, стоит ли повысить цену на популярный пакет и добавить в него подписку на фильмы. Руководитель маркетинга уже произнёс слово «большинство», финансовый директор попросил оценить потенциальный доход, а менеджер продукта Лена всё ещё смотрела на сноску внизу слайда: «Исследование клиентов, май». — А что именно люди поддержали? — спросила она. Вопрос прозвучал просто, почти педантично. Но за ним открылась дверь, ведущая от красивой цифры к её происхождению. Там, в глубине, обнаружились другие цифры, ограничения и формулировки. Не обман — во всяком случае, никаких признаков намеренного обмана не было. Просто число успело пройти через несколько рук, и каждая рука немного изменила его смысл. След на слайде Лена нашла ссылку на исследование в общей папке. Там лежала презентация подрядчика, проводившего опрос, а к ней была приложена таблица с ответами и короткое описание методики. В презентации подрядчика речь шла не о «поддержке нового тарифа». Участникам задавали вопрос: «Насколько вероятно, что вы попробуете пакет “Связь + кино”, если первые три месяца он будет стоить столько же, сколько ваш нынешний тариф?» Люди выбирали один из вариантов: «определённо попробую», «скорее попробую», «скорее не попробую», «точно не попробую» или «не могу сказать». Из 612 человек, ответивших на этот вопрос, 416 выбрали один из двух положительных вариантов. Это и давало примерно 68%. Цифра не исчезла. Но её значение стало другим. Людей спрашивали не о том, поддерживают ли они повышение цены. Их спрашивали, попробуют ли они пакет с временной скидкой — причём без уточнения, сколько он будет стоить после первых трёх месяцев. «Попробовать» — не то же самое, что «одобрить». Намерение — не поступок. А согласие на условиях, которые выглядят выгодно сейчас, ничего само по себе не говорит о согласии на будущую цену. Лена открыла методику. Приглашения на опрос отправили девяти тысячам клиентов, которые открывали приложение за последний месяц. Ответить можно было добровольно. Анкету заполнили 740 человек, но на ключевой вопрос ответили 612. Значит, 68% — это не доля всех клиентов компании и даже не доля всех получивших приглашение. Это доля положительных ответов среди тех, кто ответил на конкретный вопрос. Каждое уточнение оставляло на цифре новый след: • исследование проводилось в мае; • приглашения получили пользователи приложения, активные в течение последнего месяца; • ответ был добровольным; • 68% рассчитали среди ответивших на ключевой вопрос; • вопрос касался намерения попробовать пакет на специальных условиях, а не одобрения постоянного повышения цены. Так число, казавшееся готовым решением, превратилось в более скромное, но полезное свидетельство: часть активных пользователей приложения выразила интерес к пробному пакету при условии, что первые три месяца цена не изменится. Это не бесполезный результат. Он может помочь решить, стоит ли тестировать предложение. Но он не доказывает, что большинство всех клиентов поддержит повышение тарифа. У каждого числа есть маршрут Цифра похожа на посылку, которая прошла несколько сортировочных пунктов. На каждом этапе к ней прикладывают новую этикетку. Иногда этикетка помогает понять содержимое. Иногда постепенно подменяет его. Полезно прослеживать происхождение показателя по шести этапам. Этап Что происходит Где может измениться смысл Первичный источник Определяется, что именно хотят узнать Вопрос исследования может не совпадать с решением, которое предстоит принять Сбор Выбираются люди, время и способ получения ответов Часть целевой группы не получает приглашения или не хочет участвовать Очистка Удаляются дубликаты, ошибочные и неполные записи Исключения могут изменить состав ответивших Показатель Ответы превращаются в число или долю Выбирается знаменатель, правило округления, граница между категориями Визуализация Число показывают на графике или слайде Масштаб, подписи и акценты влияют на впечатление Пересказ Результат объясняют словами «Собираются попробовать» превращается в «поддерживают» Эти переходы не обязательно совершаются недобросовестно. Человек готовит презентацию для руководителей, у которых мало времени. Таблицу сокращают до одного вывода, вывод — до заголовка, заголовок — до фразы на совещании. На каждом шаге теряется часть контекста, словно из длинного рассказа вырезают уточнения в скобках. Поэтому вопрос «Можно ли доверять этому источнику?» полезно заменить более точным: «Как именно источник получил это число и какие ограничения я могу проверить?» Авторитетная организация может опубликовать показатель, который не подходит к вашей задаче. Маленькое исследование, напротив, может быть очень полезным, если ясно, кого и о чём спрашивали. Доверие — не медаль, которую источнику выдают за известное имя. Скорее, это результат проверки: видны ли методы, можно ли восстановить знаменатель, понятно ли, кого не включили и почему? Что скрывается за сбором данных Первое дело расследователя — определить, о какой группе людей вообще идёт речь. В статистике для этого различают целевую группу и тех, до кого удалось добраться через конкретный канал. Если компания хочет узнать мнение всех клиентов, а опрос проводит только внутри приложения, между этими группами может возникнуть зазор. Клиенты, которые регулярно открывают приложение, могут быть активнее, лояльнее или сильнее вовлечены в дополнительные услуги. Те, кто давно не заходил, в опрос не попадут. Бывшие клиенты тоже не ответят — хотя их опыт иногда особенно важен, когда компания меняет цены. Дальше следует вопрос о том, кто согласился участвовать. Добровольный ответ не означает автоматически плохие данные. Но люди, заинтересованные в теме, чаще отвечают на опросы о ней. Одни хотят похвалить компанию, другие — пожаловаться. Если высказались преимущественно самые довольные или самые недовольные, среднее настроение может оказаться не похожим на настроение тех, кто промолчал. Большая выборка не всегда устраняет эту проблему. Тысячи ответов, собранных среди людей, которые сами решили откликнуться, могут дать очень точное описание именно этих ответивших — и всё ещё плохо представлять остальных. Размер выборки снижает случайные колебания лишь при определённых предположениях. Он не исправляет автоматически смещённый способ отбора. Не менее важно выяснить, что именно измеряли. «Поддержка», «удовлетворённость», «интерес» и «вероятность покупки» звучат как соседние понятия, но отвечают на разные вопросы. Для исследования их приходится превращать в конкретные определения: какую шкалу использовали, какой ответ считали положительным, о каком периоде спрашивали. Это называется операционализацией: абстрактное понятие переводят в наблюдаемый показатель. Такой перевод необходим, но он не нейтрален. Если удовлетворённостью считать ответ «очень доволен» или «скорее доволен», результат будет одним. Если учитывать только «очень доволен», он будет другим. Это не означает, что одна цифра обязательно верна, а другая ложна. Они просто отвечают на разные определения. В истории с тарифом слово «поддерживают» не соответствовало измерению. Людей спросили, насколько вероятно, что они попробуют пакет, — а не считают ли они повышение цены справедливым и готовы ли продолжать платить после пробного периода. Затем появляется знаменатель. Фраза «68% ответили положительно» кажется завершённой, пока не спросишь: 68% от кого? От всех клиентов? От получивших приглашение? От начавших анкету? От ответивших на конкретный вопрос? У доли всегда есть нижняя часть, даже если её не произносят вслух. Для иллюстрации: если бы 612 ответов представляли собой простую случайную выборку из подходящей группы, а ответы не были бы искажены самоотбором и пропусками, обычная оценка случайной погрешности для доли около 68% составила бы примерно ±4 процентных пункта при 95-процентном уровне доверия. Но такой расчёт описывает только случайные колебания при заданных условиях. Он не компенсирует возможное отличие добровольных участников от тех, кто не ответил. Точность до десятых не спасает от систематической ошибки. Как вывод меняют очистка и оформление После сбора данных обычно наступает очистка. Удаляют дубликаты, пустые строки, ответы, оставленные не до конца, записи, которые не подходят под правила исследования. Это нормальная и часто необходимая работа. Но важно знать, что именно убрали. Если из анализа исключили людей, которые не поняли вопрос, это может быть полезно — или указывать на неудачную формулировку. Если исключили ответы «не могу сказать», положительная доля среди оставшихся вырастет. Если включили такие ответы в общий знаменатель, она снизится. В обоих случаях расчёт может быть выполнен без ошибки; различается выбранный способ ответа на вопрос. Поэтому просите не только итоговое значение, но и описание обработки: сколько записей было собрано, сколько осталось, по каким правилам кого исключили и меняется ли вывод при другом разумном выборе. Если при небольшом изменении правила «большинство» превращается в «примерно половина», перед вами не твёрдый вывод, а чувствительный результат. Затем данные превращают в показатель. Ответы могут взвешивать, чтобы приблизить состав участников к структуре клиентской базы по возрасту или региону. Это способ корректировки, а не волшебная печать представительности. Веса зависят от того, какие характеристики известны и какие различия решили исправить. Если активность в приложении связана с отношением к новому тарифу, выравнивание по возрасту и региону не обязательно устранит это смещение. На слайде же остаётся визуализация. Крупное «68%» легко прочесть как свойство реальности, а не результат конкретного расчёта. Заголовок «Большинство клиентов поддерживает новый тариф» усиливает это впечатление. Сноска мелким шрифтом не всегда спасает: читатель сначала видит вывод, а условия часто обнаруживает только после уточняющего вопроса. Важно не только проверить число, но и проверить предложение, которым его сопровождают. Сравните: • «68% клиентов поддерживают новый тариф». • «68% ответивших на вопрос выбрали один из двух положительных вариантов». • «416 из 612 участников, ответивших на вопрос, сообщили, что скорее или определённо попробовали бы пакет, если первые три месяца он стоил бы как их нынешний тариф». Первая фраза шире данных. Третья длиннее, зато читатель понимает, что именно измерили. Иногда для заголовка нужна краткость; тогда ограничения можно вынести в заметную подпись, а не прятать в примечание, которое приходится искать с лупой. Интерес автора — повод проверить, а не обвинить У данных есть не только метод, но и автор. Исследование могли заказать сама компания, независимый подрядчик, отраслевое объединение или организация, заинтересованная в определённом выводе. Это важно учитывать, но не следует превращать в автоматический приговор. Компания могла заказать опрос, чтобы понять, заинтересуют ли клиентов новые условия. Подрядчику могли платить за проведение исследования, а не за конкретный ответ. При этом обе стороны могут быть заинтересованы в ясном и убедительном результате. Даже без прямого давления люди склонны уделять больше внимания показателям, которые поддерживают ожидаемое решение. Полезно выяснить: кто оплатил работу, кто подготовил выводы, была ли возможность увидеть исходные вопросы и таблицы, существуют ли правила исключения записей, сообщил ли автор ограничения исследования? Если организация раскрывает методику и не скрывает неудобные детали, это скорее укрепляет доверие, чем ослабляет его. Прозрачность не гарантирует безошибочности, но делает ошибку заметнее, а вывод — проверяемее. Короткий аудит убедительной цифры Когда число собираются использовать для важного решения, не обязательно становиться профессиональным исследователем. Достаточно пройти по нескольким вопросам. 1. Что именно утверждает фраза рядом с цифрой? Не расширяет ли она значение измерения? 2. Откуда взято число? Можно ли найти первичный отчёт, таблицу или описание исследования, а не только пересказ? 3. Когда и у кого собирали данные? Совпадает ли эта группа с той, о которой предстоит принять решение? 4. Как участники попали в исследование и кто ответил? Был ли отбор случайным, а участие добровольным? Кто мог остаться вне наблюдения? 5. Как звучал вопрос или как определили показатель? Измеряли ли именно то понятие, которое использует вывод? 6. Каков знаменатель? Сколько людей или наблюдений вошло в расчёт, а сколько начали сбор или получили приглашение? 7. Кого и почему исключили? Меняется ли результат, если разумно изменить правила очистки? 8. Как обработали данные? Использовали ли взвешивание, объединение категорий, округление, специальные фильтры? 9. Кто заказал и кто подготовил исследование? Какие интересы могут влиять на выбор вопроса, показателя или акцента? 10. Что число не позволяет заключить? Какой следующий вывод потребует дополнительных данных или проверки? Не на каждый вопрос удастся сразу получить ответ. Это тоже результат аудита. Если происхождение числа невозможно восстановить, его не обязательно выбрасывать. Но его следует использовать как слабый сигнал, а не как доказанный факт. Например, он может подсказать, что стоит провести пилотный тест, но не оправдать дорогое решение для всей клиентской базы. Перепишите вывод — и сохраните его пользу В истории с тарифом честная формулировка могла бы звучать так: «В майском опросе среди активных пользователей приложения 416 из 612 человек, ответивших на ключевой вопрос, сообщили, что скорее или определённо попробовали бы пакет “Связь + кино”, если первые три месяца его цена не превышала бы цену их нынешнего тарифа. Участие в опросе было добровольным; результат не показывает, как все клиенты отнесутся к постоянному повышению цены после пробного периода». Эта версия не делает исследование бессмысленным. Она очерчивает границы, внутри которых ему можно доверять. На её основе команда может проверить интерес к пробному предложению, провести небольшой эксперимент с разными ценами или отдельно спросить о стоимости после первых трёх месяцев. Но она уже не позволяет незаметно заменить «попробовать временный пакет» на «поддержать повышение тарифа». Попробуйте провести такой же аудит на показателе из собственной жизни или работы. Возьмите число, которое регулярно встречается в отчёте: среднюю оценку команды, процент выполнения плана, уровень конверсии, число часов сна по приложению. Запишите формулировку, которой его обычно сопровождают. Затем найдите источник и заполните короткую карточку: •Показатель и его точное определение: что считается успехом или событием? •Источник и дата: кто собрал данные и когда? •Группа наблюдений: кого или что учитывали? •Способ сбора: как возникли ответы или записи? •Знаменатель и исключения: что вошло в расчёт, что осталось за его пределами? •Ограничения: какой вывод делать нельзя? •Более точная формулировка: как сказать о результате, не обещая больше, чем он показывает? Если это число показывает приложение для сна, например, выясните, считает ли оно все ночи или только те, когда вы носили устройство. Если оцениваете конверсию, уточните, что считается посетителем и какое действие — завершённым переходом. Если смотрите на среднюю оценку команды, выясните, кто ответил на опрос и что означают крайние значения шкалы. Задача не в том, чтобы усомниться во всём. Задача — узнать, на что именно можно опереться. На следующем совещании Лена предложила не отвергать результат, а изменить решение. Не объявлять повышение поддержанным клиентами, а проверить интерес к пробному пакету и отдельно измерить реакцию на постоянную цену. Команда сохранила полезный сигнал — и отказалась выдавать его за ответ на другой вопрос. Любое число сжимает историю: кто его получил, когда, у кого, каким способом, по каким правилам и с какими определениями. Чем убедительнее выглядит показатель, тем полезнее ненадолго задержаться перед выводом и восстановить эту историю. Не ради подозрительности, а ради точности. Когда известны границы данных, решение не обязательно становится лёгким — зато становится яснее, на что оно опирается и что ещё предстоит узнать. Поэтому к вопросу «что показывают эти данные?» стоит добавлять ещё два: «как они появились?» и «чего в них может не быть?». Числа не становятся бесполезными из-за ограничений — важно лишь не требовать от них ответа, на который они не рассчитаны. Чем точнее мы понимаем источник, способ измерения и правила отбора, тем надёжнее можем соотнести вывод с тем, что действительно известно. Но даже хорошо описанный набор данных не обязательно полон. Пустая ячейка, неучтённый случай или отсутствующая запись — тоже часть истории сбора информации. Чтобы понять, можно ли доверять общему выводу, нужно разобраться, почему некоторые сведения не попали в данные и что это отсутствие может скрывать. Пропуски в данных: что означает отсутствие информации В понедельник утром руководитель клиники Марина открыла таблицу результатов программы реабилитации. На каждого пациента приходилось несколько строк: оценка боли при первом визите, назначенное лечение, повторная оценка через три месяца. В последнем столбце зияли пробелы. Из двухсот человек повторно пришли сто сорок шесть. Остальные пятьдесят четыре — двадцать семь процентов — будто растворились между первым приёмом и итоговым измерением. Среди вернувшихся состояние в среднем улучшилось. Одна программа выглядела заметно успешнее другой. Можно было уже готовить отчёт и рекомендовать её всем новым пациентам. Но Марина задержала руку над клавиатурой. Она знала: некоторые пациенты перестают ходить, когда им становится легче. Другие — когда становится хуже. Кто-то не может добраться до клиники, кто-то боится неприятного разговора, кто-то не отвечает на звонки, потому что занят уходом за близким. В таблице все эти истории выглядели одинаково: пустая клетка. Именно здесь начинается работа с пропусками. Не с вопроса «чем заполнить пустоту?», а с вопроса «почему она появилась?». Пустая клетка — след события Пропуск часто воспринимают как технический дефект: будто нужное число существовало, но его случайно забыли перенести в таблицу. Иногда так и есть. Но отсутствие значения может быть следом разных событий: специалист не успел внести запись, пациент отказался отвечать, система дала сбой, человек переехал или прекратил наблюдение. У этих причин разные последствия для выводов. Если карточки потерялись из-за случайной поломки сервера, это одна история. Если люди чаще пропускают повторный визит потому, что их состояние ухудшается, — совсем другая. В обоих случаях значение отсутствует, но причины отсутствия связаны с данными по-разному. Прежде чем анализировать таблицу, важно также отличить пропуск от других видов записи. Ноль — это значение, если шкала допускает ноль и его действительно измерили. «Не применимо» — не пропуск: например, пациенту не назначали процедуру, поэтому оценка её побочных эффектов не требуется. «Неизвестно» — тоже не то же самое, что «нет». Если всё это закодировано одинаково, таблица стирает различия, которые могут оказаться важнее самих чисел. Смерть, серьёзное осложнение или перевод в другое учреждение тоже нельзя автоматически считать обычной пустой клеткой. Иногда это отдельное событие, которое нужно учитывать как исход исследования, а не пытаться заменить каким-нибудь средним значением. Способ обращения с такими случаями зависит от вопроса: что именно клиника хочет узнать? Три возможные причины отсутствия В статистике различают несколько механизмов пропусков. Их названия звучат технически, но за каждым стоит знакомая жизненная ситуация. Полностью случайный пропуск. Представим, что во время сбоя случайно исчезли несколько анкет. Сбой не затронул определённых пациентов, диагнозы или конкретные результаты — просто так совпало. Вероятность пропуска не связана ни с известными характеристиками человека, ни с тем значением, которое мы хотели измерить. Это самый безобидный сценарий для анализа, но в реальных данных он встречается реже, чем хотелось бы. Даже поломка оборудования может быть не совсем случайной: например, устройство чаще отключается в определённом отделении, а туда направляют пациентов с более сложным состоянием. Пропуск связан с тем, что уже известно. Допустим, повторный визит чаще пропускают пациенты, живущие далеко от клиники. Расстояние записано в карте. Если после учёта расстояния сам пропуск не зависит от неизвестного результата, такой механизм относят к пропуску, случайному при условии наблюдаемых данных. К похожему примеру относятся пациенты, которые реже доходят до повторного осмотра после особенно тяжёлого первого приёма, если исходная тяжесть симптомов зафиксирована. Здесь важна оговорка: категории зависят от того, что именно мы измерили и внесли в модель. Если мы знаем адрес, но не знаем, есть ли у человека транспорт или кто может присмотреть за ребёнком, часть причин останется невидимой. Пропуск связан с тем, чего мы не знаем. Например, человек не приходит повторно именно потому, что его боль усилилась, а текущую боль мы как раз собирались измерить. Или, наоборот, человеку стало значительно лучше, он решил, что визит больше не нужен, и оценка его состояния пропала из таблицы. Вероятность отсутствия данных зависит от ненаблюдаемого значения. Такой механизм называют неслучайным пропуском. Это не обвинение пациента и не указание на чью-либо недобросовестность. Это описание связи между отсутствием ответа и самим результатом, которого нам не хватает. Одна и та же ситуация может относиться к разным механизмам. Если человек пропускает визит из-за записанного в карте ухудшения на предыдущем осмотре, механизм может быть объясним наблюдаемыми данными. Если пропуск связан с нынешним, ещё не измеренным ухудшением, картина сложнее. Поэтому механизм нельзя определить только по виду пустых клеток. Нужны знание процесса, разговор с людьми и честные допущения. Почему среднее не возвращает человека в таблицу Представим, что в клинике оценивают боль по шкале от нуля до десяти, где более высокое число означает более сильную боль. Среди 146 пациентов, пришедших повторно, средняя оценка составила 4,2. Если просто подставить это число во все 54 пропуска, таблица станет полной. Но она не станет правдивее. Такая подстановка утверждает, будто каждый отсутствующий пациент испытывал ровно ту же боль, что и средний вернувшийся. Между тем часть людей могла почувствовать себя лучше и не увидеть смысла в визите, а часть — стать хуже и избегать клиники. Среднее превращает неизвестные индивидуальные истории в одинаковые выдуманные ответы. Чтобы увидеть цену этого допущения, можно провести не «заполнение», а проверку чувствительности. Если предположить, что средняя боль у пропустивших визит была 5,2, общий результат для двухсот пациентов составил бы около 4,47. Если предположить 6,2 — около 4,74. Это не оценки, которым следует верить автоматически. Это сценарии, помогающие понять, насколько вывод зависит от того, что мы предполагаем о пропущенных данных. Подстановка среднего способна уменьшить разброс значений: исчезает реальная неопределённость, а цифры выглядят аккуратнее, чем заслуживает ситуация. Она может ослабить связи между показателями и исказить сравнение групп. Особенно опасно подставлять одно среднее всем, когда доля пропусков различается между программами, диагнозами или клиниками. Заполненная таблица приятна глазу. Но полнота файла — не то же самое, что полнота знания. Протокол разбора пропусков Марине не понадобилась волшебная формула. Ей понадобился последовательный разбор. Такой маршрут подходит и для исследовательской таблицы, и для ежемесячного отчёта отдела, и для личного трекера привычек. Этап Что сделать Зачем 1. Посчитать Определить число и долю пропусков по каждому показателю и сроку измерения Увидеть масштаб проблемы 2. Разделить Проверить пропуски по группам, отделениям, периодам и характеристикам пациентов Найти закономерности 3. Выяснить причины Сверить записи, журналы системы, попытки связи и, где уместно, обратную связь пациентов Понять, какие события стоят за пустотой 4. Сформулировать механизм Описать, почему значение могло отсутствовать и с чем эта вероятность связана Сделать предположения явными 5. Проверить устойчивость Сравнить выводы при нескольких правдоподобных сценариях Конец ознакомительного фрагмента. Текст предоставлен ООО «Литрес». Прочитайте эту книгу целиком, купив полную легальную версию (https://www.litres.ru/book/aleksandra-rechnaia-34109979/kogda-dannye-molchat-kak-prinimat-resheniia-pri-nepoln-74661697/) на Литрес. Безопасно оплатить книгу можно банковской картой Visa, MasterCard, Maestro, со счета мобильного телефона, с платежного терминала, в салоне МТС или Связной, через PayPal, WebMoney, Яндекс.Деньги, QIWI Кошелек, бонусными картами или другим удобным Вам способом.