Филип Тетлок - Думай медленно — предсказывай точно. Искусство и наука предвидеть опасность

Комиссия по возможностям разведки США относительно оружия массового уничтожения. Report to the President of the United States . Washington, DC. 2005. March 31. P. 155.

Роберт Джервис, в беседе с автором, 27 марта 2013 года.

Комитет по исследованиям поведенческой и социальной науки с целью улучшения разведывательного анализа для национальной безопасности. Intelligence Analysis for Tomorrow . National Academies Press. 2011.

Подбор вопросов в зоне Златовласки был сложной задачей, требовавшей отсеивания слишком легких вопросов (имевших менее 10 или более 90 % вероятности) и неподатливо сложных (нельзя было ожидать, что кто-либо знает на них ответы). В свете вышесказанного команда генерации вопросов Майкла Горовица заслуживает признания.

Заслуга открытия этого приема принадлежит двум коллегам из Университета Пенсильвании: Лайлу Ангару и Джонатану Барону. Лайл несет ответственность за все алгоритмы, задействованные в нашем проекте, за исключением L2E , разработанного Дэвидом Скоттом в Университете Райса.

Дэвид Игнатиус. Слишком много трескотни // Washington Post . 2013. 1 ноября. Игнатиус, должно быть, беседовал с кем-то в правительстве, имеющим доступ к засекреченным источникам.

Там же. РС никогда не оспаривало слова Игнатиуса. Я верю в то, что он прав. На самом деле я готов рискнуть своей репутацией и предположить, что суперпрогнозисты обходили разведывательных аналитиков во все годы, когда их можно было сравнивать.

Настоящая причина, по которой результаты суперпрогнозистов лучше, чем результаты разведывательных аналитиков, неизвестна. Вряд ли дело в том, что суперпрогнозисты умнее или обладают большей широтой мышления. Я подозреваю, что они справились лучше, потому что относятся к прогнозированию как к культивируемому мастерству, в то время как аналитики работают внутри организации, которая воспринимает прогнозирование как побочную деятельность, а не как главное занятие аналитиков. Взять, к примеру, высказывание Томаса Фингара, бывшего председателя Национального совета по разведке: «Предсказания не являются — и не должны являться — целью стратегических аналитиков. <���…> Их цель — определить самые важные течения в развитии событий, как они взаимосвязаны, куда они могут направляться, что служит движущей силой процесса и какие знаки могут свидетельствовать об изменении траектории». См.: Thomas Fingar. Reducing Uncertainty: Intelligence Analysis and National Security. Stanford, CA: Stanford University Press, 2011. P. 53, 74.

Мы с Томом Фингаром в 2010 году работали вместе в комиссии Государственного совета по исследованиям, которая убедила РС начать эксперименты в стиле IARPA , чтобы выявить, что именно работает. Том Фингар — мудрый и преданный слуга народа. И его заявление демонстрирует, почему РС вряд ли в ближайшее время займется взращиванием собственных суперпрогнозистов. Но как можно «определить, в каком направлении могут развиваться события», не делая при этом скрытых прогнозов?

Аналитики — не единственные профессионалы, которые отказываются признавать, как наполнена их работа скрытыми прогнозами. Возьмем журналиста Джо Клейна: «Профессор из Уортонской школы Пенсильванского университета хочет прицепить меня к компьютеру и посмотреть, как хорошо я делаю предсказания, — написал Джо Клейн в Time после того, как я пригласил его и других знатоков поучаствовать в турнире прогнозирования. — Спешу избавить его от лишних хлопот. Журналисты отлично себя показывают, когда нужно анализировать прошлое, неплохо описывают настоящее и просто ужасны, когда дело заходит о послезавтрашнем дне. Я прекратил делать предсказания сразу после того, как заверил Джейка Таппера из CNN , что Джорджа У. Буша никогда не выдвинут кандидатом в президенты от республиканцев после того, как он проиграл праймериз в Нью-Гемпшире в 2000-м». См.: http://swampland.time.com/2013/04/11/congress-may-finally-do-a-budget-deal/.

Со всем уважением к Клейну — а я очень уважаю тех, кто признается в своих предсказательных провалах, — он не прав. Он не прекратил делать предсказания. Он просто перестал признавать их предсказаниями. «Разве не интересно, что даже более экстравагантные военные угрозы Северной Кореи не привлекают большого интереса СМИ в США? — писал Клейн незадолго до того, как объявил, что прекратил делать предсказания. — Никто на самом деле не ожидает, что начнется война. Но если это произойдет? Если Ким со своими угрозами атаковать как Южную Корею, так и США зайдет слишком далеко и не сможет взять свои слова обратно? Это маловероятно, но не невозможно». См.: http://swampland.time.com/2013/03/29/the-kim-who-cried-wolf/.

Так вот, «маловероятно, но не невозможно» — это предсказание. И подобных высказываний полно в других статьях Клейна, как и в работах любого другого эксперта. Как и в мыслях вообще кого угодно. Все мы делаем предсказания, причем постоянно.

Вывод: очень сложно научиться делать что-то лучше, если ты даже не осознаешь, что делаешь это.

Ellen Langer. The lllusion of Control // Journal of Personality and Social Psychology 3. 1975. № 2. August. P. 311–328.

Некоторые произведения в этом жанре — просто вопиющие экземпляры дурновкусия, как, например, Radical E — книга, которая призывала предпринимателей следовать примеру таких моделей, как корпорации Nortel и Enron , и была опубликована за 8 месяцев до банкротства последней. Но другие примеры опознать сложнее. Отсутствие у них предсказательной силы может оставаться незамеченным в течение десятилетий, даже на занятиях в лидирующих бизнес-школах. В 1994 году Джим Коллинз и Джерри Поррас написали «Построено на века: успешные привычки провидческих компаний» ( Built to Last: Successful Habits of Visionary Companies) , в которой исследовалась история 18 образцовых компаний и на основе этого исследования была разработана «отличная модель для компаний, которые будут долгое время процветать». Эта книга пользовалась большой популярностью и заслужила много похвал. Однако, как заметил профессор по бизнесу Фил Розенвейг, если бы Коллинз и Поррас были правы, мы бы как минимум могли ожидать, что 18 описанных компаний будут продолжать успешную деятельность. Коллинз и Поррас закончили исследование в 1990 году, и Розенвейг проверил, как обстояли дела у этих компаний в течение десяти лет с того момента. «Вы бы получили больше прибыли, если бы вложили деньги в паевой фонд, чем в провидческие компании Коллинза и Порраса». См.: Phil Rosenzweig. The Halo Effect… and the Eight Other Business Delusions That Deceive Managers. New York: Free Press, 2014. P. 98. И снова на сцене шимпанзе, играющий в дартс.

Степень корреляции между ростом отца и сына определяет, настолько вам нужно сдвинуть свое предсказание роста сына в сторону среднего арифметического роста в популяции (173 см). Если бы корреляция была идеальной — 1,0, мы бы основывали предсказание исключительно на росте отца (никакой регрессии к среднему значению). Если бы корреляция была равна 0, мы бы сдвинули предсказание в сторону среднего, не обращая внимания на рост отца. В нашем особом случае корреляция 0,5 — и мы поступим правильно, если сдвинем предсказание на 50 % к среднему значению.