Филип Тетлок - Думай медленно — предсказывай точно. Искусство и наука предвидеть опасность

David Leonhardt. How Not to Be Fooled by Odds // New York Times . 2014. October 15.

Роберт Рубин, в беседе с автором, 28 июня 2012 года.

William Byers. The Blind Spot: Science and the Crisis of Uncertainty. Princeton, NJ: Princeton University Press, 2011. P. VII.

Там же. P. 56.

См., например: Samuel Arbesman. The Half-Life of Facts: Why Everything We Know Has an Expiration Date. New York: Current, 2012.

Jacob Weisberg. Keeping the Boom from Busting // New York Times . 1998. July 19.

Роберт Рубин, в беседе с автором.

Прогнозисты или алгоритмы могли бы иметь огромное преимущество, если бы умели предсказывать непредсказуемость (в финансовых терминах — волатильность). Например, экстремирующий агрегационный механизм, который бы «знал», когда нужно сдать назад и умерить прогнозы, мог бы избежать налагаемых взысканий в виде большого результата Брайера, который ждет все экстремизирующие алгоритмы, которые слепо превращают 75 % в, скажем, 90 %. Я не хочу сказать, что суперпрогнозисты овладели этой загадочной наукой. Хотя они обходят обычных прогнозистов в периоды как исторических потрясений, так и спокойствия, в кризисные времена их отрыв сокращается. Я вернусь к этой проблеме в главе 11, когда буду рассказывать о критике, которой Нассим Талеб подверг турниры.

Новички в прогнозировании часто спрашивают: почему просто не сказать — 0,5, «подбрасывание монеты», каждый раз, когда они «ничего не знают» о проблеме? Есть несколько причин. Одна — риск попасть в плен внутренних противоречий. Представьте, что вас спросили, закроется ли индекс фондового рынка Nikkei выше 20 000 к 30 июня 2015 года. Ничего об этом не зная, вы скажете, что вероятность 0,5. А теперь представьте, что вас спросили, закроется ли он выше 22 000, и вы опять говорите — 0,5, или между 20 000 и 22 000, и снова ваш ответ — 0,5. Чем больше возможностей дают вопросы, тем более очевидным становится, что постоянное использование 0,5 приводит к назначению бессвязных вероятностей, которые значительно превысят 1,0. См.: Amos Tversky and Derek Koehler. Support Theory: A Nonextensional Representation of Subjective Probability // Psychological Review 101. 1994. № 4. P. 547–567. Также, даже когда людям кажется, что они ничего не знают, они обычно знают хотя бы кое-что, что может дать подсказку, достаточную, чтобы хотя бы немного сдвинуться от максимальной неопределенности. Астрофизик Дж. Ричард Готт демонстрирует, что должны делать прогнозисты, когда они знают только о том, как долго на данный момент длится какое-то событие (гражданская война, рецессия или эпидемия). В этом случае стоит встать на позицию «коперниковой скромности» и допустить, что в той точке времени, в которой вы находитесь и наблюдаете за явлением, нет ничего особенного. Например, если сирийская гражданская война на момент постановки вопроса IARPA продолжалась два года, представьте, что вероятность того, что вы находитесь в самом ее начале (она длилась еще только 5 % времени) или уже ближе к концу (допустим, она длилась уже 95 % времени), одинакова. Теперь вы можете сконструировать грубую доверительную полосу возможностей: что война может продлиться либо 1/39 от 2 лет (т. е. меньше месяца), либо 39 χ2, т. е. 78 лет. Может быть, это и не блестящий результат, но это лучше, чем сказать «от нуля до бесконечности». И если 78 лет кажется вам смехотворно долгим периодом, то, значит, вы не соблюли базовое правило, согласно которому должны «ничего не знать». Вы только что представили взгляд снаружи на войны вообще (то есть знаете, что очень мало войн продолжалось такое длительное время). Иными словами, вы в самом начале пути к тому, чтобы стать хорошим прогнозистом. См.: Richard Gott. Implications of the Copernican Principle for Our Future Prospects // Nature 363. 1993. May 27. P. 315–320.

Брайан Лабатт, в беседе с автором, 30 сентября 2014 года.

B. A. Mellers, E. Stone, T. Murray, A. Minster, N. Rohrbaugh, M. Bishop, E. Chen, J. Baker, Y. Hou, M. Horowitz, L. Ungar, and P. E. Tetlock. Identifying and Cultivating ‘Superforecasters’ as a Method of Improving Probabilistic Predictions // Perspectives in Psychological Science. 2015.

Charlie Munger. A Lesson on Elementary Worldly Wisdom // address to the University of Southern California Marshall School of Business. 1994. April 14. http://www.farnamstreetblog.com/a-lesson-on-worldly-wisdom/.

В голову приходит печально известное выражение «годится для работы в правительстве». Финансовые аналитики бьются над тем, чтобы точно понять, верна ли разница оценок опций, которые находятся между тонкими вероятностными градациями, вроде 1/1000 и 1/100 000 вероятности обвала рынка. Здравый смысл подсказывает, что, если задание можно выполнить и его выполнение принесет достаточную выгоду, люди в конце концов с ним справятся. В этом свете, однако, наблюдается тревожная тенденция: люди гораздо больше интересуются исследованием границ градации в частном секторе, нежели в государственном. Разве не стоит ожидать от органов национальной безопасности при оценке террористической угрозы той же скрупулезности, которую демонстрируют работники банка Golden Sachs при оценке рыночных тенденций? Конечно, нет никакой гарантии, что старания увеличить степень градации увеличат также и точность. Оптимальной градацией для решения многих проблем уровня НСР, возможно, окажется пяти- или семипроцентная шкала, которую они ввели. Но из-за нехватки любопытства среди антиквантовых аналитиков сложно сделать вывод, возможны ли эти улучшения.

Перевод Р. Райт-Ковалевой. — Примеч. ред.

Kurt Vonnegut. Slaughterhouse-Five. New York: Dell Publishing, 1969. P. 76–77, 116.

Oprah Winfrey. Commencement address. Harvard University. 2013. May 30. http://news.harvard.edu/gazette/story/2013/05/winfreys-commencement-address/.

Konika Banerjee and Paul Bloom. Does Everything Happen for a Reason? // New York Times . 2014. October 17.

J. A. Updegraff, R. Cohen Silver, and E. A. Holman. Searching for and Finding Meaning in Collective Trauma: Results from a National Longitudinal Study of the 9/11 Terrorist Attacks // Journal of Personality and Social Psychology 95. 2008. № 3. P. 709–722.

Laura Kray, Linda George, Katie Liljenquist, Adam Galinsky, Neal Roese, and Philip Tetlock. From What Might Have Been to What Must Have Been: Counterfactual Thinking Creates Meaning // Journal of Personality and Social Psychology 98. 2010. № 1. P. 106–118.

Роберт Шиллер, в беседе с автором, 13 августа 2013 года.

Дэвид Будеску и Ева Чен изобрели метод оценивания суперпрогнозистов по весомости вклада, который придает особую значимость тем, кто увидит истину прежде остальных; см.: D. V. Budescu and E. Chen. Identifying Expertise to Extract the Wisdom of Crowds // Management Science 61. 2015. № 2. P. 267–280.

Даг Лорч, в беседе с автором, 30 сентября 2014 года. Вопрос о льдах Северного Ледовитого океана, как и вопрос об Арафате и полонии (и другие), нажал на идеологические красные кнопки многих прогнозистов. За маленькими вопросами они увидели большие. И большие были возмутителями спокойствия: «Реально ли глобальное потепление?», «Убил ли Израиль Арафата?». Прогнозисты попались в ловушку приема «заманить и подменить». Они заменили узкоспециальный сложный вопрос другим, эмоционально заряженным, который, по их мнению, требовал эмоционального же ответа. За это они поплатились резким увеличением результата Брайера.