Филип Тетлок - Думай медленно — предсказывай точно. Искусство и наука предвидеть опасность

John Maynard Keynes. Essays in Biography. Eastford, CT: Martino Fine Books, 2012. P. 175.

Noel F. Busch. Lord Keynes // Life . 1945. September 17. P. 122.

Michael Polanyi. Personal Knowledge. Chicago: University of Chicago Press, 1958. P. 238.

Если этот анализ верен, не только суперпрогнозисты, но и все прогнозисты, которые записались на турнир IARPA и не забросили его, должны, практикуясь, улучшить свои результаты. Правда ли все так? В идеальном мире это было бы легко выяснить: мы бы поместили результаты Брайера прогнозистов в график и посмотрели, улучшаются ли они со временем. Но мы не живем в таком мире, и узнать ответ на этот вопрос непросто. Добровольцы GJP не пытаются решить задачи в лаборатории, где сложность может поддерживаться на одном и том же уровне. В таком случае, если результат улучшается со временем, это означает, что у человека все лучше получается решать задачи. Но события реального мира, которые нужно прогнозировать, — не лабораторные задания. История постоянно изменяется, и сложность задач прогнозирования скачет туда-сюда. Так что, если мы посмотрим на точность прогнозиста в течение какого-то периода и увидим улучшение, можем сделать вывод, что либо у него лучше получается, либо вопросы стали проще. Отчасти эту проблему можно решить, если посмотреть на корреляцию между интеллектом и точностью с течением времени. Если она остается примерно одинаковой, значит, улучшения навыков, приобретенных в ходе турнира, у прогнозиста нет. Если же корреляция со временем снижается, это может указывать на уменьшающуюся роль природного интеллекта и увеличивающуюся роль навыков. Это далеко от идеального измерения, но, если бы я гнался за платоновским идеалом, я бы не покинул стены лаборатории. Результат? Корреляция с интеллектом на самом деле снижается. Это говорит нам о том, что практика действительно улучшает навыки прогнозистов.

Чтение этой сноски может помочь вам сэкономить гораздо больше денег, чем вы потратили на книгу. Чрезмерная уверенность может дорого стоить. Представьте двух людей, которые решают, вложить ли им 100 000 долларов пенсионных сбережений в биржевой индексный фонд, который приносит среднюю прибыль (средний S&P 500), или в фирму «Альфа», активно управляемый экспертами фонд, который обещает, что доходы будут превышать средние рыночные. Начав с предполагаемых фактов — что активные фонды далеко не каждый год обходят по доходам пассивные и что фирма «Альфа» берет за управлением фондами 1 % в год, а пассивный фонд 0,1 %, — мы можем рассчитать совокупную (за 30 лет) стоимость переоценки умения выбирать победителей. Допустим, оба фонда приносят доход 10 % до взятия платы за управление (получается, это будет 9,9 % от пассивного фонда и 9 % от активного), после повторного инвестирования прибыли более скромный инвестор получит $ 1 698 973, а самоуверенный инвестор — только $ 1 327 000. Разница в $ 371 973 — это высокая цена за когнитивную иллюзию. Конечно, заданные факты были условными, и если их изменить, цифры тоже могут измениться в пользу тех, кто охотится за активными менеджерами. Однако существующие свидетельства говорят о том, что более скромная и ленивая стратегия работает лучше. См.: Jeff Sommer. How Many Mutual Funds Routinely Rout the Market? Zero // New York Times . 2015. March 15. Это исследование позволяет предположить, что даже суперпрогнозисты не смогут превзойти глубоколиквидные рынки, на которых множество очень умных биржевых игроков с хорошими капиталами постоянно предугадывают действия друг друга. Это предположение никогда не проверялось, но суперпрогнозисты могут превзойти менее ликвидные и глубокие рынки (см. главу 9).

B. R. Forer. The Fallacy of Personal Validation: A Classroom Demonstration of Gullibility // Journal of Abnormal and Social Psychology 44. 1949. № 1. P. 118–123.

Жан-Пьер Бегон, в беседе с автором, 4 марта 2013 года.

Эксперт по энергетике Вацлав Смил вспоминал, как в 1975 году идеально предсказал потребление Китаем энергии в 1985 и 1990 годах, а также как в 1983 году он предугадал, какой будет мировая потребность в энергии в 2000-м. См.: Vaclav Smil. Energy at the Crossroads. Cambridge, MA: MIT Press, 2005. P. 138. Впечатляюще? Смил раскрыл свои прогнозы и продемонстрировал, что они были основаны на неверных суждениях, но при их сложении получилось правильное число — по случайности. Слишком большое количество прогнозистов на месте Смила воскликнули бы: «Получилось!» и стали делать новые прогнозы, используя те же методы.

Дэвин Даффи, в беседе с автором, 18 февраля 2013 года. Мой предыдущий EPJ -проект выявил, что экспертам с типом мышления лисы легче признавать, что им могло просто повезти, когда они делали свои лучшие прогнозы. P. E. Tetlock. Close-Call Counterfactuals and Belief-System Defenses: I Was Not Almost Wrong But I Was Almost Right // Journal of Personality and Social Psychology 75. 1998. P. 639–652.

Чем больше в турнирах роль случайности, тем сильнее риск, что прогнозисты забросят оттачивание мастерства. Но случайность может подстегивать и в оптимальных дозах мотивировать прогнозистов прикладывать усилия к решению задач и переходить на новый уровень. Как кажется, в покере есть именно эта оптимальная величина удачи. В отличие от покера, однако, в геополитических турнирах пропорции удачи и мастерства могут очень резко меняться, от 90/10 в пользу мастерства до 90/10 в пользу удачи. Прогнозистам нужен такой запас выдержки, которым обладал Марк Аврелий, чтобы справляться с миром, который может внезапно преобразоваться в совсем другой — и это может случиться несколько раз за их карьеру. Представьте концертирующего пианиста, который периодически вынужден играть на перепутанных местами клавишах. Это может оказать сильное деморализующее воздействие.

См. анализ сайта The PolitiFact.com по ссылке http://www.poli-tifact.com/truth-o-meter/article/2008/sep/09/e-mail-heardround-world/.

Энн Килкенни, в переписке по электронной почте с автором, 5 января 2014 года.

Шлезингер цитируется в: Irving L. Janis. Victims of Groupthink: A Psychological Study of Foreign-Policy Decisions and Fiascoes. Boston: Houghton Mifflin, 1972. P. 20.

Там же.

Честь мундира, кастовый дух ( фр. ). — Примеч. ред.

Там же.

Там же. P. 26

Марти Розенталь, в беседе с автором, 13 ноября 2014 года.

Элейн Рич, в беседе с автором, 20 ноября 2014 года.

Пол Терон, в беседе с автором, 16 ноября 2014 года.

Исследование Кристофера Чабриса и его коллег в области коллективного интеллекта подчеркивает наличие независимых свойств когнитивного функционирования на групповом уровне. См.: A. W. Wooley, C. Chabris, S. Pentland, N. Hashmi, and T. Malone. Evidence for a Collective Intelligence Factor in the Performance of Human Groups // Science 330. 2010. October. P. 686–688. http://www.sciencemag.org/content/330/6004/686.full.