Филип Тетлок - Думай медленно — предсказывай точно. Искусство и наука предвидеть опасность

И все-таки: если точность предвидения можно улучшить с помощью измерений и если получаемые в результате преимущества столь существенны, почему же измерения точности прогнозов не являются общепринятой практикой? По большей части ответ на этот вопрос лежит в области нашей психологии: мы убеждаем себя, что знаем то, о чем на самом деле понятия не имеем, — например, точный ли прогнозист Том Фридман. В главе 2 я подробно рассмотрю эту психологическую особенность. Она веками тормозила прогресс в медицине. Когда врачи наконец признали, что их опыт и восприятие — ненадежные средства оценки эффективности лечения, они обратились к научному тестированию — и только после этого медицина начала быстрыми шагами двигаться вперед. Та же самая революция должна произойти и в прогнозировании.

Осуществить ее будет непросто. Глава 3 расскажет, какие усилия нужно приложить, чтобы тестировать предсказания так же тщательно, как современные экспериментальные методы лечения. Это сложнее, чем может показаться. В конце восьмидесятых я разработал методологию и составил на тот момент самую большую аналитическую подборку политических прогнозов экспертов. Одним из ее результатов много лет спустя стал тот самый анекдот, который теперь вызывает у меня раздражение. Другое же открытие, совершенное в ходе моего исследования, не получило и десятой доли внимания, уделенного анекдоту, хотя заслуживает его гораздо больше: из всех экспертов одна группа действительно обладала хоть и скромной, но реальной способностью к предвидению. В чем же заключалась разница между «способными» экспертами и совершенно безнадежными, опустившими общий результат до уровня играющего в дартс шимпанзе? Дело не в каком-то мистическом даре, и не в доступе к информации, которой нет у других, и не в определенной совокупности воззрений — как раз мнения у них зачастую расходились очень широко, и не имело значения, что именно они думали. Важно то, как они думали.

Отчасти вдохновившись этим открытием, IARPA и запустила тот беспрецедентный турнир по предсказаниям. Глава 4 посвящена тому, как это происходило и как выявляли суперпрогнозистов. Почему они так хороши в своем деле? На этот вопрос отвечают главы 5–9. Когда знакомишься с этими людьми, сложно не заметить их выдающийся ум, и можно заподозрить, что все дело именно в интеллекте. Однако это не так. Суперпрогнозисты также отличаются математическими способностями. Как и у Билла Флэка, у многих есть степени в точных и естественных науках. Значит ли это, что секрет — в математике? Вновь ответ «нет». Даже дипломированные математики-суперпрогнозисты, делая предсказания, редко пользуются цифрами. А еще они в основном повернуты на новостях, отслеживают развитие мировых событий и постоянно обновляют свои прогнозы, поэтому возникает соблазн объяснить их успех бесконечными часами, потраченными на изучение информации. Это тоже будет ошибкой.

Суперпрогнозирование действительно требует определенного уровня интеллекта, математических способностей и знаний о том, что происходит в мире, однако этим требованиям, вероятно, соответствует любой человек, который читает серьезные книги о психологических исследованиях. Так что же тогда поднимает прогнозирование на уровень «супер»? Как и в случае с экспертами из ранней моей работы, суть — в том, как думает прогнозист. Я еще рассмотрю это подробнее, но если говорить в двух словах, то, чтобы стать суперпрогнозистом, необходимо мышление, отличающееся внимательностью, открытостью, любопытством и — прежде всего — самокритикой. Также требуется умение сосредотачиваться. Тип мышления, вырабатывающий повышенную проницательность, не может сформироваться безо всяких усилий. Только целеустремленный человек может пользоваться им более-менее регулярно; именно поэтому наши исследования демонстрируют, что самый главный параметр результативности в данном случае — постоянное стремление к самосовершенствованию.

В последних главах я разрешу кажущееся противоречие между необходимостью трезвых суждений и эффективным руководством, отвечу на два самых серьезных вызова моему исследованию и завершу свою работу — что логично для книги о прогнозировании — рассуждениями о том, что день грядущий нам готовит.

Впрочем, возможно, вы считаете, что все это безнадежно устарело. В конце концов, мы живем в эпоху невероятно мощных компьютеров, неподвластных пониманию алгоритмов и Больших данных. Что же касается изучаемого мной прогнозирования, то в его основе лежит субъективный фактор — размышления и суждения живых людей. Не пора ли прекратить заниматься догадками?

В 1954 году блистательный психолог Пол Мил написал небольшую книгу, вызвавшую значительный резонанс [13] Paul Meehl . Clinical Versus Statistical Prediction. Minneapolis: University of Minnesota Press, 1954. . В ней анализировались двенадцать исследований, согласно которым хорошо информированные эксперты, предсказывавшие, добьется ли студент учебных успехов или вернется ли заключенный, условно отпущенный на свободу, обратно в тюрьму, в своих прогнозах оказывались не так точны, как простые автоматизированные алгоритмы, подытоживавшие объективные данные (итоги теста на способности или записи о поведении в тюрьме). Заявление Мила расстроило многих экспертов, но и последующие исследования — на данный момент их проведено уже более двухсот — показали, что в большинстве случаев статистические алгоритмы точностью превосходят субъективные суждения, а в той горстке исследований, где это не так, играют вничью. Учитывая, что алгоритмы, в отличие от субъективных суждений, — это быстрый и дешевый способ прогнозирования, ничья засчитывается за их выигрыш. Теперь уже вывод неоспорим: если у вас есть надежный статистический алгоритм, используйте его .

Этот вывод никогда не угрожал царствованию субъективных суждений, потому что мы очень редко располагаем надежными алгоритмами для решения конкретной проблемы. Непрактично заменять математикой старый добрый мыслительный процесс — и в 1954-м, и даже сейчас.

Однако потрясающий прогресс в области информационных технологий свидетельствует, что мы приближаемся к историческому перелому в отношениях человечества и машин. В 1997 году созданный на базе IBM компьютер Deep Blue обыграл шахматного чемпиона Гарри Каспарова. В наши дни имеющиеся в продаже шахматные программы могут обыграть любого человека. В 2011 году суперкомпьютер IBM Watson обошел чемпионов телевикторины Jeopardy! Кена Дженнингса и Брэда Раттера. Для инженеров, создававших Watson , это была гораздо более сложная задача, но они с ней справились. Сейчас уже вполне возможно представить себе соревнование по прогнозированию, в котором суперкомпьютер разгромит как суперпрогнозистов, так и суперумников. После этого люди, конечно, будут и дальше делать прогнозы — но, как случилось с участниками Jeopardy! , мы будем наблюдать за ними исключительно ради развлечения.