Филип Тетлок - Думай медленно — предсказывай точно. Искусство и наука предвидеть опасность

Michael J. Mauboussin. The Success Equation: Untangling Skill and Luck in Business, Sports, and Investing. Boston: Harvard Business Review Press, 2012. P. 73.

http://fivethirtyeight.com/features/the-conventional-wisdom-on-oil-is-always-wrong/.

И приблизительно 90 % всех «активных» суперпрогнозистов, отвечавших как минимум на 50 вопросов за год, оказались в числе 20 % высшей категории, так что если они и падают, то не совсем уж низко. Это подразумевает, что соотношение мастерство/удача для суперпрогнозистов может быть выше, чем для обычных прогнозистов. Однако точное определение этого соотношения может оказаться непростой задачей. Величины варьируются в зависимости от отдельных суперпрогнозистов, периодов истории и типа вопросов. Если бы я рискнул предположить, то для активных суперпрогнозистов за последние четыре года это соотношение составляет как минимум 60⁄40 и, возможно, может доходить до такого максимума, как 90⁄10.

Сэнфорд Силлман, в беседе с автором, 15 февраля 2013 и 19 мая 2014 года.

B. A. Mellers, L. Ungar, K. Fincher, M. Horowitz, P. Atanasov, S. Swift, T. Murray, and P. Tetlock. The Psychology of Intelligence Analysis: Drivers of Prediction Accuracy in World Politics // Journal of Experimental Psychology: Applied 21. 2015. № 1. March. P. 1–14; B. A. Mellers, E. Stone, T. Murray, A. Minster, N. Rohrbaugh, M. Bishop, E. Chen, J. Baker, Y. Hou, M. Horowitz, L. Ungar, and P. E. Tetlock. Identifying and Cultivating ‘Superforecasters’ as a Method of Improving Probabilistic Predictions // Perspectives in Psychological Science. Forthcoming 2015.

Задание взято из Анкеты пригодности к прогнозированию, разработанной Грегом Митчеллом и Фредом Освальдом.

Анализ был заказан директором ЦРУ. В заключении говорилось, что если Штаты проиграют войну Вьетнаму, то это им дорого обойдется, но ужасные последствия, в которые верили политики, там не упоминались — и это был верный прогноз. Директор вручил его президенту Джонсону, но, поскольку полмиллиона солдат уже завязли в тропических болотах, Джонсону он не понравился. Он никогда никому об этом отчете не рассказывал. Макнамара узнал о его существовании только десятилетия спустя.

Robert McNamara. In Retrospect. New York: Vintage, 1996. P. 33.

Daniel J. Levitin. The Organized Mind: Thinking Straight in the Age of Information Overload. New York: Dutton, 2014.

Суперпрогнозисты считают, что метод Ферми, требующий от нас мужества совершать ошибки, — жизненно важный элемент их занятий. Представьте себе суперпрогнозиста, выступающего под псевдонимом Сапожник. Он работает инженером программного обеспечения в Вирджинии и почти ничего не знает о Нигерии. В 2012 году его спросили, вступит ли нигерийское правительство в официальные переговоры с группой джихадистов «Боко Харам». Он начал со взгляда снаружи и рассчитал процент успеха прошлых попыток вести переговоры с террористическими группами вообще и «Боко Харам» в частности. Он вывел среднее из двух своих подсчетов (0 % успеха переговоров с «Боко Харам» и 40 % успеха переговоров с повстанцами вообще). Затем он переключился на взгляд изнутри и проанализировал возможности каждой стороны. Правительство хочет сохранить хорошие отношения с умеренными исламистами, которые стремятся быть посредниками между правительством и террористами. «Боко Харам» также могла быть заинтересована в том, чтобы по крайней мере появиться на переговорах. Он также учел множество слухов о незаконченных переговорах. Но он взвесил эти факты и радикализм «Боко Харам» и сделал предположение о 30 %-ной вероятности. После этого он соединил взгляд снаружи и изнутри, получил 25 %-ную вероятность и рассчитал уменьшение этой цифры по мере приближения к финальной дате. Результат расчетов, основанных на всех этих, возможно, ошибочных выводах: высшие 10 % результата Брайера при ответе на вопрос, который получил массу ложноположительных ответов из-за слухов о незаконченных переговорах.

Или представьте себе суперпрогнозиста Регину Джозеф, которая рассмотрела вопрос о риске еще одного взрыва эпидемии птичьего гриппа в Китае. Регина имела опыт работы аналитиком по политическим рискам, также ее разнообразная карьера включала в себя работу в электронных СМИ и тренировку олимпийской женской сборной США по фехтованию, но с эпидемиологией она никогда раньше не сталкивалась. Она также начала со взгляда снаружи: как часто число пострадавших от птичьего гриппа преодолевало пороговую величину (около 80 %)? Однако сезон гриппа был уже на 1/ 4завершен, так что она снизила процент до 60. Затем она приступила к взгляду изнутри, обратила внимание на улучшившуюся политику народного здравоохранения и систему предупреждения. Все это заставило ее снизить процент до 40 — и со временем она еще сильнее его снизила. Окончательный результат не блестящий, но лучше, чем у 85 % прогнозистов.

Или рассмотрим пример Велтона Чэнга, отставного офицера с боевым опытом в Ираке. Он начал рассматривать вопрос о вероятности взятия Алеппо Свободной сирийской армией в 2013 году со взгляда снаружи: сколько времени потребуется нападающему, даже превосходящему противника по военной мощи, чтобы занять такое крупное урбанистическое образование, как Алеппо? Короткий ответ: от 10 до 20 % базовой вероятности успеха. Затем Велтон обратился ко взгляду изнутри, обнаружил, что ССА не превосходит противника по военной мощи, — и еще сильнее снизил процент вероятности. Итог: его результат Брайера по этому вопросу попал в лучшие 5 %.

Поразительно, как много приблизительных прикидок стоят за очень даже хорошими прогнозами. Перед нами не стоит выбора, делать грубые допущения или нет, мы выбираем, делать ли их явно или тайно.

Билл Флэк, в беседе с автором, 5 августа 2014 года.

Peggy Noonan. The Presidential Wheel Turns // Wall Street Journal . 2013. April 26.

Amos Tversky and Daniel Kahneman. Judgment Under Uncertainty: Heuristics and Biases // Science 185 (4157). P. 1124–1131.

Брюс Буэно де Мескита в The Predictioneer’s Game (New York: Random House, 2009) предлагает элегантный, основанный на теории игр подход к сбору оценок вероятности при взгляде изнутри. Задайте конкретные вопросы: «Кто ключевые игроки?», «Насколько каждый из них могущественен?», «Чего хочет каждый из них?», «Насколько они этого хотят?». Затем протестируйте возможные комбинации. Буэно де Мескита также благоразумно использует мудрость толпы. Он обычно просит множество экспертов ответить на каждый из вопросов, которые предполагает взгляд изнутри. Насколько его техника сочетается с техникой суперпрогнозистов — неизвестно, но в принципе это вполне познаваемо.

Ответ на вопрос в итоге получился утвердительным, так что можно сказать, что результат Дэвида был бы еще лучше, если бы он просто использовал Перспективу «за кончиком носа». Легкость, с которой можно было вообразить еще один террористический акт сразу после инцидента с Charlie Hebdo , конвертировалась бы в высокую степень вероятности, и это было бы верно, но суперпрогнозисты демонстрируют такие хорошие результаты, отвечая на разные вопросы, оттого что подвергают интуицию системы 1 тщательной проверке системой 2. По подсказке внимательного читателя Дэвид предложил следующее исправление: если ежедневная вероятность атаки 1,8/365, то вероятность атаки в следующие 69 дней будет 1,0– (1,0–1,8/365)χ69, что составляет 0,29 (а не 0,34).