Дэн Гарднер - Думай медленно – предсказывай точно. Искусство и наука предвидеть опасность

Как бы ни была важна калибровка, дело не только в ней, потому что, говоря об идеальной точности прогноза, мы представляем себе не «идеальную калибровку». Идеальность – это божественное всезнание, когда после слов «это случится» что-то случается, а после слов «это не случится» – не случается. Технический термин для такого всезнания – «разрешение».

Два графика на странице 84 показывают, как калибровка и разрешение запечатлевают разные аспекты хорошего прогнозирования. График сверху представляет идеальную калибровку, но плохое разрешение. Калибровка здесь идеальна, потому что, когда прогнозист говорит, что что-то случится с вероятностью 40 %, это происходит в 40 % случаев, а когда говорит, что вероятность 60 %, – это действительно происходит в 60 % случаев. Но разрешение при этом плохое, потому что прогнозист никогда не выходит за теневые рамки зоны «возможно», между 40 и 60 %. График внизу представляет великолепные калибровку и разрешение. Калибровка вновь идеальна, потому что события происходят с прогнозируемой частотой: предсказанное с вероятностью 40 % происходит в 40 % случаев. Но на этот раз прогнозист гораздо более решителен и точно распределяет высокие вероятности событиям, которые происходят, и низкие вероятности событиям, которые не происходят.

Комбинируя калибровку и разрешение, мы получаем систему оценки, которая полностью выражает наше ощущение от того, что должен делать хороший прогнозист. Если кто-то говорит, что событие Х произойдет с вероятностью 70 %, и событие происходит – это достаточно неплохой прогноз. Но если кто-то предсказал Х с вероятностью 90 % – его прогноз лучше. А прогнозист, достаточно смелый, чтобы предсказать Х с уверенностью 100 %, получает наивысшую оценку. Однако самоуверенность наказуема. Если кто-то говорит, что Х – верный случай, то он должен понести убытки, если Х не случится. Вопрос о том, насколько велики эти убытки, дискуссионен, но наиболее верно думать о нем в терминах тотализатора. Если я говорю, что «Янкиз» побьют «Доджерс» с вероятностью 80 % и готов на это поставить, я предлагаю вам ставку 4 к 1. Если вы принимаете и ставите со своей стороны 100 долларов, вы заплатите мне 100 долларов, если «Янкиз» выиграют, а я заплачу вам 400 долларов, если они проиграют. Но если я скажу, что вероятность победы «Янкиз» 90 %, я подниму ставку до 9 к 1. Если, по моему мнению, вероятность победы 95 %, ставка поднимается до 19 к 1. Это экстремальное значение. Если вы согласитесь поставить 100 долларов, я заплачу вам 1900 в случае, если «Янкиз» проиграют. Оценочная система в прогнозировании должна использовать подобное наказание.

Хорошо откалиброванный, но трусливый (сверху);

хорошо откалиброванный и смелый (снизу)

Математическая основа этой системы была разработана Гленом В. Брайером в 1950 году. Соответственно, ее результаты называются результатами Брайера. По сути, они показывают дистанцию между вашим прогнозом и тем, что на самом деле случилось. Поэтому тут как в гольфе: чем ниже результаты, тем лучше. Идеал – ноль. Прогноз от подстраховщика с вероятностью 50 на 50 или произвольное угадывание в целом даст результат Брайера 0,5. Прогноз, максимально неверный, – то есть такой, в котором утверждается, что событие произойдет с вероятностью 100 %, а оно не происходит, – получает катастрофический результат 2,0, настолько удаленный от Истины, насколько это вообще возможно [56] Результат Брайера «правильный», потому что побуждает прогнозиста высказывать свое настоящее мнение, а не подстраивать его под политические требования. Прогнозист, которого заботит только результат Брайера, выскажет свое искреннее мнение, что, допустим, есть 4 % вероятности, что Иран проведет ядерные испытания в 2015 году; но прогнозист, который переживает, что его назначат козлом отпущения, может поднять процент вероятности, чтобы не допустить возможных обвинений впоследствии – «но вы же говорили, что вероятность всего 4 %!». Результат Брайера предусматривает потери в репутации из-за самоуверенности, и они соответствуют финансовым потерям, которые несут игроки, допустившие такие же ошибки. Если вы не готовы сделать ставку в соответствии с вашим расчетом вероятности, пересчитайте вероятность. Glenn W. Brier. Verification of Forecasts Expressed in Terms of Probability // Monthly Weather Review 78. 1950. № 1. P. 1–3; Robert L. Winkler. Evaluating Probabilities: Asymmetric Scoring Rules // Management Science 40. 1994. № 11. P. 1395–1405. .

Итак, мы прошли долгий путь. У нас есть вопросы для прогнозирования с четко сформулированными терминами и временны́ми рамками. У нас есть много предсказаний с числами и есть математическая основа для подсчета результатов. Мы устранили двусмысленность настолько, насколько это вообще в человеческих силах, и готовы полным ходом отправиться в эпоху Нового Просвещения, так?

Не вполне. Вспомните: основная суть наших занятий – определение возможности оценить точность предсказаний, чтобы понять, что в прогнозировании работает, а что нет. Чтобы сделать это, мы должны интерпретировать значение результатов Брайера, что требует еще двух параметров: эталона для сравнения и сопоставимости.

Давайте предположим, что у вас обнаружили результат Брайера 0,2. Это далеко от божественного всезнания (0), но намного лучше угадывания шимпанзе (0,5), так что такой результат соответствует уровню ожидания от, скажем, человеческого существа. Но этим дело не ограничивается. Значение результата Брайера зависит от того, на что именно составляется прогноз. Например, очень просто представить обстоятельства, при которых результат Брайера 0,2 будет выглядеть разочаровывающим. Например, возьмем погоду в Фениксе, штат Аризона. Каждый июнь там очень жарко и солнечно. Прогнозист, который будет следовать бездумному правилу «всегда ставь 100 % на жарко и солнечно», получит результат Брайера, близкий к нулю, и легко обставит результат 0,2. Настоящее мастерство покажет здесь только тот прогнозист, который способен на большее, нежели бездумно предсказывать «без изменений». Это момент всегда недооценивают. Например, после президентских выборов 2012 года Нейта Сильвера, а также Сэма Вонга из Принстона и других предсказателей превозносили за то, что они угадали итоги по всем пятидесяти штатам, но при этом почти никто не заметил, что самое грубое универсальное предсказание «без изменений» (если штат голосовал за демократов или республиканцев в 2008 году, он сделает то же самое в 2012-м) дало бы результат 48 из 50. Поэтому восторженные восклицания, слышные в то время: «Он угадал все 50 штатов!» – самую малость преувеличивали суть дела. К счастью, предсказатели выборов – профи, они знают, что улучшение прогнозов, как правило, происходит миллиметр за миллиметром.