Филип Тетлок - Думай медленно — предсказывай точно. Искусство и наука предвидеть опасность

Но мало что на свете сложнее мысленного путешествия во времени. Даже историкам непросто поставить себя на место человека определенной эпохи и не отвлекаться на знания о том, что случилось позже. Так что вопрос «Было ли суждение РС обоснованным?» очень сложен. Зато просто ответить на вопрос «Было ли суждение РС правильным?». Как я отмечал в главе 2, в подобной ситуации возникает соблазн использовать пример «заманить и подменить»: заменить сложный вопрос на простой, ответить на него и всерьез верить, что вы ответили на сложный вопрос.

Подмена, которая осуществляется в данном случае (вопроса «Было ли это хорошее решение?» на вопрос «Имело ли оно хороший результат?»), одновременно популярна и пагубна. Опытные игроки в покер считают эту ошибку заблуждением новичка. Новичок может переоценить вероятность, что следующая карта будет хорошей, повысить ставку и в результате везения выиграть, что не делает его поведение мудрым поступком. И наоборот: профессионал может верно оценить высокую вероятность получения хорошей карты, повысить ставку и в результате невезения проиграть, но это не значит, что его поведение было глупым. Хорошие игроки в покер, инвесторы и руководители высшего звена это понимают. Те, кто не понимает, не могут оставаться профессионалами в том, чем занимаются: они извлекают из опыта ложные уроки, и их суждения со временем становятся все хуже и хуже.

Так что нельзя назвать оксюмороном заключение, которое сделал Роберт Джервис: что оценка разведывательного сообщества была одновременно обоснованной и неверной. Однако — и этот момент ключевой — Джервис все равно подверг разведывательное сообщество критике. «Это были не просто ошибки, но ошибки, которые можно было исправить, — написал он об аналитиках РС. — Анализ мог и должен был быть лучше». Оказалась бы разница существенной? В каком-то смысле — нет. «Результатом могла бы стать менее уверенная оценка разведки, нежели фундаментально неверное заключение».

Так что РС все равно могло бы решить, что у Саддама есть ОМП, но проявить при этом меньше уверенности. Вам может показаться, что мы лишь слегка критикуем РС. На самом деле все крайне серьезно: ведь менее уверенное заключение РС могло бы очень сильно изменить ситуацию. Если бы некоторые конгрессмены установили планку «за пределами разумного сомнения» в вопросе поддержки вторжения, то их бы не устроила 60–70 %-ная уверенность РС, что Саддам производит орудие массового поражения. Резолюция Конгресса, дающая добро на использование силы, могла бы не пройти — и Соединенные Штаты могли бы не вторгнуться в Ирак. Редко когда в истории ставки поднимались выше этой — тысячи жизней и триллионы долларов [66].

Но в НРО 2002–16HC не говорилось о 60 или 70 %. Там говорилось: «Ирак продолжает…», «Багдад располагает…». Подобные утверждения не допускают сомнений. Они эквивалентны утверждениям «Солнце встает на востоке, а садится на западе». На брифинге в Белом доме 12 декабря 2002 года директор ЦРУ Джордж Тенет использовал слова «верное дело». Позже он протестовал, что его цитату выдернули из контекста, но это неважно, потому что словами «верное дело» действительно характеризовалось отношение РС. И это необычно. Анализ разведки всегда включает в себя долю неуверенности, причем иногда большую, и аналитики это знают. Однако в отношении иракского ОМП РС пало жертвой завышенной самооценки. В результате оно не просто ошиблось — оно ошиблось в случае, по поводу которого заявило, что не может ошибаться. Последующий анализ продемонстрировал, что РС никогда даже серьезно не допускало и мысли об ошибке. Джервис писал:

Не было никаких «красных команд», чтобы атаковать взгляды подавляющего большинства, не было анализа от адвокатов дьявола, никаких документов, которые предоставляли бы противоположные варианты. Самое поразительное: никто даже не высказал мнение, близкое варианту, который мы сейчас считаем истинным.

Как едко заметила комиссия по президентскому расследованию катастрофы, «одно дело — не сделать заключение о том, что Саддам прекратил производить запрещенное оружие, и совсем другое — даже не допустить такой возможности» [67].

РС — огромная бюрократическая система, которая медленно реагирует даже на шок серьезнейших неудач. Джервис сказал мне, что произошло после окончания его анализа провала 1979 года, когда американская разведка не смогла предвидеть Иранскую революцию (а это была величайшая геополитическая катастрофа той эпохи): «Я встретился с главой кабинета (ЦРУ) по политическому анализу, и она сказала мне: „Я знаю, что вы от нас пока ничего не слышали, и это должно было подтвердить все ваши опасения, но мы собираемся устроить большую встречу, на которой все проанализируем и обсудим с вами“. И это был конец истории. Ничего подобного не произошло». Однако шок от провала с ОМП был другим. Бюрократическая система была сотрясена до основания. «Они это восприняли близко к сердцу», — сказал Джервис [68].

В 2006 году было создано Агентство передовых исследований в области разведки ( IARPA ). Его миссией было финансирование самых передовых исследований, которые потенциально могли сделать разведывательное сообщество более эффективным и проницательным. Как можно догадаться по названию, IARPA была создана по образу и подобию DARPA (Агентства передовых исследований в области обороны). Это знаменитое оборонное агентство, чьи исследования, относящиеся к военной сфере, имели и имеют огромное влияние на весь мир. Работа DARPA даже поспособствовала изобретению интернета.

В 2008 году Дирекция национальной разведки, которая находится на верхушке всей системы шестнадцати разведывательных агентств, попросила Государственный совет по исследованиям создать комиссию. Задачей комиссии стало объединение исследований по хорошему прогнозированию и помощь РС в их применении. По стандартам Вашингтона это было дерзкое (или поспешное) решение. Далеко не каждый день бюрократия платит одному из самых уважаемых научных институтов в мире, чтобы тот провел объективное исследование, результаты которого могли бы доказать беспомощность этой самой бюрократии.

В работе комиссии принимали участие заслуженные ученые разных областей знаний, а председателем был назначен психолог Барух Фишхофф. Я тоже был в числе участников — возможно, из-за шумихи, которую поднял, когда в вышедшей в 2005 году книге «Экспертное политическое суждение» бросил вызов: «Можете ли вы побить играющую в дартс шимпанзе?» Спустя два года мы выдали заключение, которое было на 100 % в духе Арчи Кокрана: не верьте, пока не протестируете. «РС не должно опираться на аналитические методы, которые нарушают задокументированные поведенческие принципы или не имеют никаких доказательств эффективности, помимо интуитивной привлекательности», — отмечалось в нашем заключении. РС рекомендовалось «тщательно проверять текущие и предложенные методы в условиях, как можно более близких к реальности. Подобный подход к анализу, базирующийся на доказательствах, будет стимулировать дальнейшее обучение, необходимое для того, чтобы РС обходило противников государства в проницательности и динамичности» [69].