Smart Reading - Ключевые идеи книги: Суперпрогнозирование: искусство и наука предвидения. Филип Тетлок, Дэн Гарднер

Оригинальное название:

Superforcasting: The Art and Science of Prediction

Автор:

Philip Tetlock, Dan Gardner

Тема:

Обязательное чтение

Правовую поддержку обеспечивает юридическая фирма AllMediaLaw

www.allmedialaw.ru

Читать книгу политолога Филипа Тетлока и Дэна Гарднера о прогнозировании необходимо по ряду причин.

Первая: если вы любите спорить на политические темы и заключать пари на то, кто выиграет на предстоящих выборах-референдумах. Удалось ли вам расширить свою коллекцию вин на одну-две бутылки на Brexit?

Вторая: если по долгу службы вы вынуждены платить деньги и слушать современных предсказателей, то есть экспертов-аналитиков. Или читать производимую ими продукцию. Книга поможет разобраться, кто компетентен и чьим расчетам можно верить.

Третья: если вы – аналитик, вынужденный на работе превращаться в гадающую на кофейной гуще цыганку, то книга просто обязательна к прочтению. Редкий случай, когда можно разобрать по косточкам собственный процесс мышления.

Книга легко читается, состоит из коротких главок с массой примеров, когда прогнозы сбывались или, напротив, были провальны. В основе лежит второе масштабное исследование качества прогнозирования – «Трезвый расчет» (в нем приняло участие несколько тысяч человек).

Уникальность исследования состоит в том, что исследователи могли корректировать условия, в которых находились прогнозисты, наблюдать за одной группой «в особых условиях» и одновременно сравнивать ее с «контрольной». Это позволило объективнее выявлять и анализировать факторы, которые влияли на качество прогнозов – мировоззрение, умение учится на ошибках, работа в команде, знание высшей математики и т. п.

Исследование носило также прикладной характер, поскольку его заказывало Агентство передовых исследований в сфере разведки (IARPA) США, стремясь повысить эффективность работы после провальной оценки наличия химического оружия в Ираке.

Для экономически впечатлительных: проект «Трезвый расчет» перешел на стадию монетизации. Можно пройти курсы, освоить мастерство или заказать прогноз.

Да, и сразу следует оговориться: предсказывать исход какого-либо события более чем за год с высокой степенью вероятности невозможно – тут точно к цыганке. Научный факт.

«Суперпрогнозирование» описывает второе крупное исследование Филипа Тетлока – «Трезвый расчет» (Good Judgement Project, 2011–2014). Оно стало частью исследования о прогнозировании, профинансированного Агентством передовых исследований в сфере разведки (IARPA). Целью было повысить качество работы спецслужб. В «Трезвом расчете» мог поучаствовать любой (в итоге около 20 тыс. чел., в первый год проекта – 2,8 тыс. чел.). Участники отвечали на такие вопросы, как: наберет ли силу протестное движение в РФ, начнется ли война на Корейском полуострове и т. п. Вопросы имели горизонт не более года.

В результате удалось выявить суперпредсказателей (2 % участников). Суперпредсказатели отвечали лучше, чем контрольная группа, на 78 %, лучше, чем исследователи из институтов (Мичиганский университет, MIT и др.) на 30–70 %, а также лучше, чем профессиональные аналитики, имеющие доступ к материалам с грифом «секретно».

В первом же исследовании Тетлока принимали участие только профессиональные эксперты (1984–2004). Оно показало, что качество предсказаний примерно равно вероятности попадания шимпанзе в яблочко при игре в дартс.

Можно ли дать точный прогноз? И да, и нет. Триггерами политических событий порой выступают ситуации, которые невозможно предсказать, – так думает скептик. Например, Арабскую весну запустило самосожжение торговца фруктами в Тунисе.

В то же время погоду на несколько дней вперед ученые научились предсказывать. Да и мы изо дня в день неплохо угадываем загруженность дорог. Под этим мог бы подписаться оптимист. Реальность же лежит где-то между.

Фитнес-браслет заставляет двигаться, поскольку наглядно показывает – когда лежишь на диване, километры сами себя не проходят. Также и метеорологи сталкиваются с проверкой своих прогнозов ежедневно. Экономические и политически аналитики обычно лишены быстрой обратной связи (кроме того, прогнозы иногда служат иным целям, например, запугать или привести к изменению политики).

Подотчетность – ключ к повышению качества прогнозирования– показал проект «Трезвый расчет».

В 1956 г. Арчи Кокрейн пришел в себя после операции, чтобы узнать, что у него обнаружили раковую опухоль на нескольких органах, опухоль вырезали, жить ему осталось считанные месяцы. Но врачи ошиблись: Арчи Кокрейн прожил до 1988 г., рака у него не оказалось – хирург провел операцию, не дожидаясь результатов биопсии, и вырезал доброкачественную опухоль.

Сегодня эта история смахивает на анекдот, но на протяжении тысячелетий медицина была искусством, а не наукой. Исследования по эффективности применяемых методов не проводились (если человек выжил после пускания крови – значит, лечение помогло, если умер – лечение ни при чем). Сегодня рандомизированные контрольные испытания – стандарт.

Да, на операционный стол Кокрейн лег без ожидания результатов анализов, хотя уже в тот момент был убежденным приверженцем доказательной медицины. Как так?

У человека две системы принятия решений. Первая не задумываясь выдает ответ, второй требуется время. В части дел, если у нас есть мегатонны опыта «действие – обратная связь», то эффективные решения могут быть приняты первой системой (например, опытная медсестра видит, что ребенок заболевает).

Подробнее в книге Д. Канемана «Думай медленно… Решай быстро». Или читайте наше саммари .

Но в области политики и экономики эффективна только вторая система, поскольку быстрая обратная связь отсутствует(вспомним совершенные Брейвиком в Норвегии теракты в 2011 г. и те ошибочные интерпретации, которые циркулировали в СМИ в первые часы).

Сложность состоит в том, что человек ленится задумываться и включать вторую систему. Также человек без проблем приводит аргументы в пользу любой абсурдной, но выдвинутой его собственной системой номер один идеи. И она начинает казаться уже не столь абсурдной.

Сегодняшнее прогнозирование во многом смахивает на медицину XIX в., которая базировалась на первой системе. Методология проекта «Трезвый расчет» исправляет это.