Филип Тетлок - Думай медленно — предсказывай точно. Искусство и наука предвидеть опасность

На второй год Даг присоединился к команде суперпрогнозистов и показал даже лучший окончательный результат Брайера — 0,14, что сделало его лучшим прогнозистом из всех 2800 добровольцев. Он даже обошел на 40 % рынок прогнозирования, на котором трейдеры покупают и продают фьючерсные сделки на исходы этих же вопросов. Он был единственным человеком, который обошел алгоритм экстремации. И Даг не просто превзошел «мудрость толпы» контрольной группы — он побил ее на 60 %, а это означает, что он в одиночку побил четырехлетнюю цель, поставленную IARPA перед многомиллионными исследовательскими программами, которые могли пользоваться любым трюком из руководства по прогнозированию, чтобы улучшить свою точность.

По любым человеческим стандартам результаты Дага Лорча невероятно хороши. Единственный способ заставить его выглядеть обыденно — это сравнить с божественным всезнанием, результатом Брайера 0, а это все равно что умалить талант Тайгера Вудса во времена расцвета его спортивной карьеры из-за того, что он не всегда мог попасть в лунку с одного удара.

Успехи превратили Дага Лорча в угрозу. Ведь он — человек без соответствующего опыта и образования, безо всякого доступа к секретной информации. Единственной оплатой, которую он, как и все остальные добровольцы к концу каждого сезона, получил, был подарочный сертификат Amazon на 250 долларов. Даг Лорч — обычный пенсионер, который, вместо того чтобы коллекционировать марки, или играть в гольф, или строить модели самолетов, стал делать прогнозы — и оказался настолько в этом деле хорош, что практически не оставил возможности опытному разведывательному аналитику — с зарплатой, допуском к секретным материалам и рабочим местом в штаб-квартире ЦРУ — его превзойти. Кто-нибудь может поинтересоваться, почему США тратят миллиарды долларов каждый год на геополитическое прогнозирование, если вместо этого можно подарить Дагу сертификат — и пусть себе этим занимается.

Конечно, если бы Даг Лорч был уникально одаренным оракулом, он бы не представлял большой угрозы для статус-кво. Один человек может сделать ограниченное количество предсказаний. Но Даг не уникален. Мы уже встречались с Биллом Флэком, бывшим сотрудником Министерства сельского хозяйства из Небраски. Из числа 2800 добровольцев было еще 58 человек, которые заняли верхние позиции в итоговых таблицах первого года. Они стали нашим первым классом суперпрогнозистов. Их коллективный результат Брайера составил 0,25 — в сравнении с 0,37 остальных прогнозистов. И этот разрыв еще сильнее увеличился за последующие годы, так что к концу четырехгодичного турнира суперпрогнозисты обошли других участников на 60 %. Еще один критерий качества работы суперпрогнозистов — то, как далеко они могли заглядывать в будущее. В течение всех четырех лет турнира суперпрогнозисты заглядывали вперед на триста дней точнее, чем обычные прогнозисты заглядывали на сто. Другими словами, обычным прогнозистам нужно было утроить свое предвидение, чтобы смотреть на то же расстояние, которое доступно суперпрогнозистам.

Насколько важна разница параметров? Давайте условно скажем, что результат Брайера у обычного прогнозиста равен зрению 0,2. Офтальмолог дает этому прогнозисту очки, которые улучшают его зрение до 0,5. Это улучшение на 60 %. Насколько это важно? 0,5 даже близко не стоит с ястребиным зрением. Но посмотрите на табличку Снеллена на этой странице. Изменение результата с 0,2 до 0,5 приводит к тому, что человек может разглядеть со второго по пятый ряд — и в итоге у него появляется гораздо больше возможностей поймать мяч, узнать друзей на улице, прочитать мелкий шрифт в контрактах и избежать лобовых столкновений. В общем и целом это разница, меняющая жизнь.

Таблица Снеллена

А теперь давайте вспомним, что суперпрогнозисты — любители, которые предсказывают глобальные события в свободное время, располагая только той информацией, которую сами смогут накопать. И в то же время они каким-то образом умудрились поднять планку настолько высоко, что даже профессионалам стало сложно ее перепрыгнуть, не говоря уже о том, чтобы сделать это с отрывом, который оправдывал бы их офисы, зарплаты и пенсии. Конечно, было бы замечательно провести прямое сравнение суперпрогнозистов и разведывательных аналитиков, но такая информация будет строго охраняться. Однако в ноябре 2013 года редактор Washington Post Дэвид Игнатиус сообщил, что «участник проекта» сказал ему, что суперпрогнозисты «показали результат в среднем на 30 % лучший, чем аналитики разведывательного сообщества, которые могут читать перехваченную и прочую засекреченную информацию» [73].

IARPA знало, что такое может случиться, когда устроило турнир, именно поэтому его решение так необычно. Тестирование, очевидно, может быть в интересах организации, но организация состоит из людей с собственными интересами, из которых самый явный — это сохранение и упрочение комфортного статус-кво. Как знаменитые и прославленные эксперты категорически не желают рисковать репутациями в ходе публичной проверки точности их предсказаний, точно так же и ключевые игроки внутри организаций вряд ли захотят попробовать свои силы в турнирах прогнозирования, если это будет означать, что их суждения подвергнутся проверке. Боб, сидящий в кресле генерального директора, не захочет знать, что какой-то экспедитор по имени Дэйв лучше прогнозирует состояние рынка, чем он сам, — не говоря уже о том, чтобы это узнали другие. Однако же IARPA пошло именно на такой шаг: поставило миссию разведывательного сообщества выше интересов конкретных членов этого сообщества. Во всяком случае, тех, которые не хотели раскачивать бюрократическую лодку.

Цель аргументов, которые здесь приведены, — убедить читателя. Но я надеюсь, что вы не убеждены по поводу этих суперпрогнозистов. Пока еще. Представьте, что я попросил каждого из моих 2800 добровольцев предсказать, как упадет монетка, которую собираюсь подбросить: орлом или решкой. Они предсказывают. Я бросаю монетку и записываю, кто был прав. Повторяю процедуру 104 раза (количество прогнозов, сделанных за первый год турнира). Результаты будут выглядеть как классическая гауссова кривая:

«Орел или решка»

Абсолютное большинство моих прогнозистов верно предсказали, как упадет монета, примерно в 50 % случаев — их можно найти в середине кривой. Но некоторые выдали другие результаты. Кто-то в основном ошибался (левая часть кривой), кто-то в основном угадывал верно (правая часть кривой). Что эти экстремальные результаты говорят нам о мастерстве людей, которые их получили? Если вы не верите в экстрасенсорику, то ничего. Тут нет никакого мастерства. Человек, правильно предсказывающий, как упадет монетка, не демонстрирует способность к прогнозированию падения монетки — не важно, сколько раз он это сделает, один или сто. Это все — чистая удача. Конечно, нужно много удачи, чтобы правильно угадать 70 % из 104 подбрасываний, и если в вашей игре участвовал только один угадывающий, это было бы крайне маловероятно. Но с 2800 участниками маловероятное становится вполне вероятным.