Филип Тетлок - Думай медленно — предсказывай точно. Искусство и наука предвидеть опасность

Вспомните заблуждение относительно не той стороны «может быть», которое заставляет людей думать, что прогноз «70 % вероятности, что событие произойдет» неверен, если событие не произошло. Именно из-за него скромное предложение Шермана Кента выражать прогнозы в числах ни к чему не привело. Используйте число — и вы под риском незаслуженного обвинения. Придерживайтесь фраз, туманных, как дымовая завеса, — и вы в безопасности.

Такое мышление соблазнительно для многих, но в разведсообществе соблазн становится непреодолимым, ведь эта организация так часто оказывалась между молотом и наковальней. После 9/11 РС обвинили в том, что оно не смогло соединить точки и недооценило риск террористических атак. После вторжения 2003 года в Ирак — в том, что оно соединило точки, которых на самом деле не было, и преувеличило риск существования оружия массового поражения. Каждый раз, когда подобное происходит, РС бросается в другую сторону, чтобы избежать ошибки, которую только что сделало. Неспособное поднять тревогу, когда угроза была реальной, оно поднимает тревогу при малейших признаках неприятностей. Поднимая ложную тревогу, РС рискует превратиться в мальчика, который кричал: «Волк!» Такой обвинительный пинг-понг никак не улучшает работу разведсообщества, даже, наоборот, препятствует долгосрочным вложениям, необходимым для лучших результатов в прогнозировании [233].

Что может реально помочь — так это безраздельная приверженность оцениванию: ведите счет, анализируйте результаты, исследуйте, что работает, а что нет. Но это требует математики, а математика сделает разведсообщество уязвимым для заблуждения относительно другой стороны «может быть» — они лишатся защиты в следующий раз, когда сделают неверное предсказание. Представьте директора Национальной разведки на расследовании в Конгрессе, посвященном вопросу, почему аналитики не предвидели очередное масштабное событие — революцию или атаку террористов, — пока не стало слишком поздно. «Ну, вообще-то мы довольно-таки хорошо работаем с такими вещами и улучшаем результаты, — отвечает он, вытаскивая таблицу. — Видите? Наши оценки демонстрируют, что результаты Брайера у наших аналитиков очень стабильные и со временем улучшаются. Мы даже догнали этих несчастных суперпрогнозистов. Так что, хоть мы и прозевали важное событие с ужасными последствиями, вы все-таки не забывайте про статистику».

И все-таки , несмотря ни на что, разведсообщество финансировало турнир IARPA . Более того, директор Национальной разведки сильно заинтересован в том, чтобы ведение статистики стало неотъемлемой частью их анализа. Конечно, за одну секунду все не может поменяться. Но в то же время перемены не могут не радовать. В конечном итоге история может оказаться на нашей стороне.

Уравновесив все сказанное выше, считайте, что я настроен осторожно-оптимистично по поводу того, что моя работа может сделать вклад в движение за доказательное прогнозирование. Но эта перспектива не всем кажется радужной. Нужно лишь представить, как по-другому могла бы сложиться моя жизнь, — и я узнаю, какие услышу возражения.

В 1976 году я был наивным двадцатидвухлетним канадцем, который, как и бесконечное количество других людей, собирался сделать выбор, который определил бы всю его дальнейшую жизнь. Я только что окончил Университет Британской Колумбии и подумывал о том, чтобы принять государственную стипендию на изучение гуманитарных наук в Оксфорде. Мой научный руководитель Питер Сьюдфелд считал, что это ужасная идея. «Езжай в Соединенные Штаты и посвяти себя науке», — посоветовал он. Я принял его совет, но с большим сомнением. Но если бы все-таки поехал в Оксфорд и сделал карьеру в гуманитарных науках, легко представить, что бы я сказал по поводу описанных в этой книге исследований и пути, по которому они дальше пойдут.

Числа — это прекрасно и очень нужно, сказал бы я в той параллельной вселенной, но нужно быть осторожными и не позволять им порабощать нас. «Не все, что считается, может быть посчитано, — говорится в известном высказывании, — и не все, что может быть посчитано, считается» [234]. В современную эру компьютеров и алгоритмов некоторые социологи об этом забыли. Как выразился критик-культуролог Леон Визельтир в New York Times , «есть „метрики“ для явлений, которые просто не могут быть метрически измерены. Числовые ценности приписываются вещам, которые не могут быть выражены в числах» [235]. Этот наивный позитивизм распространяется повсеместно, занимая области, в которых ему нечего делать. Как поэтически выразился Визельтир, «где раньше была мудрость, теперь будет подсчет».

На самом деле я с ним даже согласен. Для слишком многих людей числа являются священными тотемами, дарящими божественное откровение. По-настоящему одаренные математически люди знают, что числа — инструменты, ничего более, а их качество может варьироваться от никудышного до великолепного. Грубая версия системы конечного результата Кодмана, которая просто подсчитывает процент выживших пациентов, может привести к тому, что какая-нибудь больница похвастается 100 %-ной выживаемостью пациентов — умолчав, что просто не принимает серьезных больных. Числа необходимо постоянно проверять и улучшать, что может оказаться весьма нервным процессом, потому что он бесконечен. Прогрессирующее улучшение достижимо. Идеал — нет [236].

Именно так я воспринимаю результат Брайера, которым оценивается точность прогнозов, — как несовершенный. Одна из проблем заключается в том, что он оценивает ложные сигналы тревоги так же, как промахи. Но когда дело доходит до вещей вроде террористических атак, людей гораздо больше волнуют именно промахи, а не ложные сигналы тревоги. К счастью, эту проблему исправить несложно. Достаточно заранее предупредить прогнозистов: «Ложно-утвердительные результаты будут стоить вам в 10 раз меньше ложно-отрицательных», — чтобы они могли откорректировать в соответствии с этим свои суждения.

Но то, что система оценивания требует некоторых поправок, вовсе не значит, что она не вносит больших улучшений. Вспомните рейтинги кредитования, которые так часто подвергаются критике. Десятилетия назад, когда их не существовало, кредитный специалист принимал решение практически произвольно — и ваша судьба зависела от того, не напомнили ли вы ему кого-нибудь неприятного, или хорошо ли он спал ночью, или нет ли у него стереотипов об «инертных черных» или «ветреных женщинах». Возможно, кредитные истории далеки от идеала, но все-таки они представляют собой значительный прогресс. Также и я, хоть и не могу говорить, что моя система оценивания идеальна, все равно утверждаю, что она лучше, чем та, что используется для оценки прогнозиста в наши дни: по его титулам, уверенности, умению рассказать интересную историю, количеству проданных книг, появлений на CNN и времени, проведенному в Давосе.