Филип Тетлок - Думай медленно — предсказывай точно. Искусство и наука предвидеть опасность

Но, как я сказал, регрессию к среднему значению так же легко забыть, как и легко понять. Допустим, вы страдаете от хронической боли в спине. День на день не приходится: иногда вы чувствуете себя хорошо, иногда боль терпимая, но периодически становится ужасной. Конечно, именно в тот день, когда испытываете ужасную боль, вы решите обратиться к гомеопату или какому-нибудь другому распространителю медицинских услуг, не подтвержденных научными доказательствами. На следующий день вы просыпаетесь и… чувствуете себя лучше! Лечение работает! Возможно, тут подействовал эффект плацебо — но возможно и то, что вы почувствовали бы себя лучше, даже если бы вообще не получили никакого лечения, благодаря регрессии к среднему значению. Этот факт просто не приходит вам в голову, если вы не задумаетесь как следует, вместо того чтобы прийти к выводу, который делает ваш ракурс «за кончиком носа». Эта скромная маленькая ошибка ответственна за множество вещей, в которые люди верят, хотя им не следовало бы этого делать.

Лучшее предположение о росте сына, исходя из роста отца, предполагающее корреляцию 0,5 между двумя переменными

Если же вы будете постоянно держать в голове регрессию к среднему значению, она может стать ценным инструментом. Представьте, что у нас есть 2800 добровольцев, которые второй раз предсказывают исход 104 подбрасываний монетки. Распределение опять будет выглядеть как гауссова кривая с большинством людей в районе 50 % и крошечным количеством, которые правильно предскажут почти все или почти ничего. Но кто на этот раз покажет изумительные результаты? Скорее всего, другие люди. Корреляция между раундами будет близка к нулю, и лучшее предсказание по поводу успеха любого прогнозиста будет в районе 50 % — другими словами, произойдет тотальная регрессия к среднему значению.

Чтобы доказать это безошибочно, представьте, что мы попросим только тех, кто показал изумительно хорошие результаты в первом раунде, повторить упражнение. Благодаря регрессии к среднему значению очень вероятно, что большинство во второй раз покажут результат хуже. И ухудшение будет самым большим у тех, кому в первом раунде больше всего повезло. Угадавшие в первый раз 90 % могут резко понизить свой успех, до 50 %. Конечно, есть вероятность, что несколько человек и во второй раз покажут выдающийся результат, но тот факт, что остальные быстро регрессируют к среднему значению, заставит нас задуматься, прежде чем мы объявим их гуру подбрасывания монеток. Пусть они выполнят это упражнение снова. Рано или поздно удача от них отвернется.

Таким образом, регрессия к среднему значению — незаменимый инструмент в тестировании степени удачи в показателях: Мобуссин отмечает, что медленная регрессия чаще наблюдается в деятельности, в которой доминирует мастерство, быстрая же больше ассоциируется со случайностью [77].

Чтобы проиллюстрировать это утверждение, давайте представим себе двух людей, участвующих в турнире IARPA , — Фрэнка и Нэнси (см. график). В течение первого года Фрэнк выдавал ужасные результаты, а Нэнси — выдающиеся. На гауссовой кривой внизу Фрэнк помечен нижним показателем 1 %, а Нэнси — верхним показателем 99 %. Если их результаты были вызваны исключительно удачей — как с подбрасыванием монетки, — в течение второго года мы можем ожидать, что Фрэнк и Нэнси регрессируют к среднему значению, т. е. к 50 %. Если их результаты были в равных долях обусловлены мастерством и удачей, мы можем ожидать половинчатую регрессию: Фрэнк поднимется примерно до 25 % (между 1 и 50 %), а Нэнси опустится до 75 % (между 50 и 100 %). Если же их результаты полностью зависели от мастерства, не будет никакой регрессии: Фрэнк проявит себя так же ужасно в течение второго года, а Нэнси будет все так же блистать.

Степень удачи в турнире определяет степень регрессии к среднему значению от одного года к другому

Так и какие же результаты получились у суперпрогнозистов за несколько лет? Это ключевой вопрос. И ответ на него — феноменально хорошие. Например, за второй и третий год мы увидели процесс, обратный регрессии к среднему значению: суперпрогнозисты в общем и целом, включая Дага Лорча, на самом деле увеличили свой отрыв от других прогнозистов.

Но этот результат должен вызвать подозрение у внимательных читателей. Он означает, что за результатами суперпрогнозистов стоит совсем мало удачи — или ее и вовсе нет. А учитывая то, что они предсказывали — и редкую неопределенность, которая кроется в некоторых вопросах, — я сильно в этом сомневаюсь. Некоторые ситуации разрешились в последний момент благодаря внезапным событиям, которые никто с этой стороны от Господа не способен был предугадать. В частности, задавали вопрос на тему, произойдет ли фатальное столкновение судов в Восточно-Китайском море. Ответ оказался утвердительным, причем произошло это в последний момент перед окончанием срока, на который задавался вопрос, когда разозленный капитан рыболовецкого судна пырнул ножом южнокорейского офицера прибрежной охраны, конфисковавшего его судно за нарушение границы. Другие вопросы покоятся на сложных взаимодействиях между системами переменных. Возьмите, к примеру, вопрос о цене на нефть, который давно уже считается могилой для репутаций прогнозистов [78]. Количество факторов, которые могут как повысить цену на нефть, так и понизить ее, огромно: от действий нефтяников в США до действий джихадистов в Ливии и производителей батарей в Силиконовой долине. А количество переменных, которые могут повлиять на указанные факторы, еще больше. Многие из этих случайных связей еще и нелинейные — что, как показал Эдвард Лоренц, означает, что даже такое крошечное действие, как взмах крыльями бабочки, может иметь драматические последствия.

Итак, перед нами загадка. Если удача играет существенную роль, почему мы не наблюдаем существенную регрессию суперпрогнозистов как единой команды к общему среднему значению? Их показатели должен увеличивать какой-то противоположный процесс. И несложно догадаться, какой именно: по окончании первого года, когда была определена первая когорта суперпрогнозистов, мы поздравили их, объявили, что они «супер», и определили их в команды с другими суперпрогнозистами. Вместо регрессии к среднему значению их результаты стали еще лучше. Это позволяет предположить, что награждение статусом «супер» и размещение в командах с интеллектуально стимулирующими коллегами настолько улучшило показатели, что позволило нивелировать регрессию к среднему значению, которую мы бы увидели в противоположном случае. За третий и четвертый год мы «собрали свежий урожай» суперпрогнозистов и сформировали из них элитные команды, что дало нам новые возможности для сравнения сопоставимых понятий. Новые когорты продолжали показывать такие же хорошие или даже лучшие результаты, чем в предыдущий год, опять-таки вопреки гипотезе о регрессии.