Глубокий анализ Черных Лебедей

Финансовые рынки, доходы от блокбастеров, популярность книг – это мир Парето. Распределение Парето (или степенные законы) говорят нам: вероятность экстремального события не экспоненциально мала, как у Гаусса, а убывает по степенному закону. Это значит, что события в 10 000 раз больше среднего – не невозможны, они просто редки. Но их вероятность достаточно высока, чтобы определять всю игру.

Если вы не восприимчивы к «толстым хвостам», вы обречены на среднюю, ничтожную доходность. Но если вы подставляетесь под хвосты без защиты, вы рискуете всем. Ключ – не избегать хвостов, а управлять асимметрией: стоять так, чтобы получить выгоду от позитивных Лебедей, будучи защищённым от негативных.

2. Структурная неопределённость против измеримой: Игра в кости, где правила меняются во время броска

Давайте проведём мысленный эксперимент, который навсегда изменит ваше представление о риске.

Измеримая неопределённость (Риск): Представьте урну со 100 шарами. Вы знаете, что там 50 белых и 50 чёрных. Вы не знаете, какой шар вытащите, но вы знаете все возможные состояния и их вероятности. Это – азартная игра. Здесь работает классическая теория вероятностей и страхование.

Структурная неопределённость (Неизвестность): Теперь представьте урну, про которую вы не знаете ничего. Сколько в ней шаров? Какого они цвета? Есть ли там вообще шары? А может, там ядовитая змея? Это – игра, где правила неизвестны и, более того, могут меняться по воле того, кто держит урну.

Финансовый мир – это вторая урна. Всегда.

Кейс: «Волшебный» обменный курс

До 2015 года швейцарский франк (CHF) был привязан к евро. Национальный банк Швейцарии (SNB) много раз заявлял, что будет «делать всё возможное» для сохранения этой привязки. Трейдеры верили в измеримый риск: курс колеблется в узком коридоре. Они строили стратегии, основанные на этой «уверенности».

15 января 2015 года SNB неожиданно отказался от привязки. За несколько минут франк вырос по отношению к евро на 30%. Это был не шок от данных; это был шок от правил. Модели, основанные на исторической волатильности, были уничтожены. Погибли фонды, брокеры, трейдеры.

Это и есть структурная неопределённость. Это момент, когда сама система, порождающая данные, меняется. Прошлые данные становятся не просто бесполезными, а смертельно опасными, потому что создают иллюзию понимания.

Философское обоснование: Критерий Трюффэ

Французский математик Жан-Пьер Оверне ввёл понятие «Трюффэ» (Truffe) – чёрного трюфеля, который невозможно найти с помощью стандартных методов. Структурная неопределённость – это «Трюффэ» финансового мира. Вы не найдёте её, копаясь в прошлых данных. Вы найдёте её, только поняв экологию системы – политические настроения, технологические сдвиги, психологию регуляторов.

Перестаньте спрашивать: «Какова вероятность события X?» Начинайте спрашивать: «А какие структурные изменения в системе могут сделать наше текущее понимание вероятности бессмысленным?»

3. Парадокс больших данных: много информации – больше слепых зон

Мы живём в эру Big Data. Кажется, что с таким объёмом информации мы должны видеть всё. Но происходит обратное: мы становимся слепы.

Аналогия: Фонарь и потерянные ключи

Человек ищет ключи под фонарём. Прохожий спрашивает: «Вы уверены, что потеряли их здесь?» Человек отвечает: «Нет, я потерял их в тёмном переулке. Но здесь светлее».

Большие Данные – это гигантский, невероятно мощный фонарь. Мы направляем его на те области, где есть данные, и ищем там закономерности. Но Чёрные Лебеди рождаются именно в тех «тёмных переулках», где данных нет и не может быть.

Три ловушки Больших Данных:

Иллюзия корреляции. Если вы проанализируете достаточно большие массивы данных, вы обязательно найдёте сильные корреляции, которые являются чистой случайностью. Например, корреляция между потреблением маргарина в США и числом разводов в штате Мэн. Big Data порождает «ложные открытия», за которыми мы начинаем охотиться, игнорируя реальные, но слабые сигналы.

Проклятие размерности (Curse of Dimensionality). Чем больше параметров мы добавляем в модель, тем более «разреженным» становится наше пространство данных. Представьте куб. Чтобы заполнить его точками с шагом в 1 см, нужно 1000 точек (10x10x10). Чтобы заполнить 100-мерный куб с тем же шагом, вам понадобится 10^100 точек – число, превышающее количество атомов во Вселенной. Наши модели тонут в пустоте собственной сложности, находя мнимые паттерны в шуме.

Систематическая ошибка выжившего (Survivorship Bias). Данные, которые у нас есть, – это данные от того, что «выжило». Мы изучаем успешные компании, но игнорируем тысячи провалившихся, данные о которых трудно получить. Мы анализируем историю рынков, которые существуют до сих пор, но забываем о тех, которые исчезли (как советская экономика). Наша картина мира становится заведомо оптимистичной и неполной.

Кейс: Google Flu Trends. В 2009 году Google с помпой объявил, что может предсказывать вспышки гриппа по поисковым запросам лучше, чем CDC. Модель работала на огромных данных. Первые два сезона она была точна. А потом стала давать сбои, в один год предсказав на 140% больше случаев, чем было на самом деле. Почему? Люди меняли своё поведение в поиске. Алгоритмы Google меняли автодополнение. Модель, обученная на прошлых данных, не учитывала рефлексивность системы. Данных было много, но понимания – мало.

Техническая врезка для Data Scientist'а: Байесовский подход к незнанию

Классическая статистика бессильна перед событиями, которых никогда не было. Но байесовская статистика предлагает инструмент – априорную вероятность. Вы можете закладывать в модель свою субъективную веру в возможность события до того, как увидите данные.

Если вы – разумный байесианец, вы скажете: «У нас нет данных о коллапсе доллара, но исходя из структурного анализа монетарной политики, я назначаю этому событию априорную вероятность не 0.0001%, а 1%». Это кардинально меняет вашу стратегию.

Современная статистика редких событий – это не о более точных вычислениях. Это о смене парадигмы:

От «толстых хвостов» Гаусса к «тощим» хвостам реального мира.

От измеримого риска к признанию структурной неопределённости.

От слепой веры в Big Data к мудрому поиску в «тёмных переулках» Smart Data.

Вы должны стать статистиком-детективом, который ищет не улики в освещённом месте, а мотивы и возможности в тени системы.

Мыслительный эксперимент этой главы:

Вы – глава разведки небольшой, но технологически развитой страны. Ваши аналитики приносят вам отчёт: «На основе анализа всех перехваченных коммуникаций и спутниковых снимков за последние 5 лет, вероятность внезапной атаки нашего соседа оценивается в 0.001%. Угроза минимальна».Какие ТРИ вопроса вы зададите своим аналитика́м, чтобы проверить, не стали ли они жертвой:

«Толстых хвостов»?

Структурной неопределённости?

Парадокса Больших Данных?

(Пример ответа: 1. Какое одно событие, если оно произойдёт, полностью изменит эту вероятность? 2. Что́ в политической системе нашего соседа может измениться завтра так, что его прошлое поведение станет нерелевантным? 3. На каких данных мы focusing и какие «тёмные» источники информации (например, настроения в частных чатах элит) мы игнорируем?)

Следующая глава: «Психология Лебедя: Когнитивные искажения, которые делают нас слепыми». Мы спустимся в самые глубины человеческого разума, чтобы понять, почему мы сами – главное препятствие на пути к ясному видению.