Нейт Сильвер - Сигнал и шум. Почему одни прогнозы сбываются, а другие – нет

У нас есть масса данных о том, какой была погода в прошлом, начиная еще со времен Второй мировой войны. Например, я могу зайти на сайт Wunderground.com и узнать, что в 13 января 1978 г. в 7 часов утра в Лэнсинге, штат Мичиган, – в день и час моего рождения – температура была равна –8 °С, шел небольшой снег и дул северо-восточный ветер {275}. Однако сравнительно немного людей занималось сбором данных о прогнозах погоды из прошлого. Ожидался ли в то утро в Лэнсинге снег? Это был один из тех немногих элементов информации, который можно было бы рассчитывать найти в интернете, но его там нет.

В 2002 г. предприниматель по имени Эрик Флер, выпускник факультета вычислительной техники Университета штата Огайо, работавший на MCI, перевернул все с ног на голову. Он попросту стал собирать данные о прогнозах, выпущенных NWS, Weather Channel и AccuWeather, чтобы понять, какая модель прогноза более точна – правительственная или частная. Сначала он занялся этим исключительно для самообразования – он проводил своего рода широкомасштабный научный проект, – однако это увлечение довольно быстро превратилось в прибыльный бизнес с названием ForecastWatch.com, в рамках которого данные переупаковываются в модернизированные по заказам пользователей отчеты для клиентов, начиная от трейдеров на энергетическом рынке (для которых изменение температуры на долю градуса приравнивается к десяткам тысяч долларов) и заканчивая учеными.

Флер обнаружил, что явного победителя выявить не удается. Его данные показывали, что AccuWeather чуть лучше других удаются прогнозы по осадкам, Weather Channel – прогнозы по температуре, а прогнозы правительства достаточно точны во всем остальном. То есть в целом все прогнозы были достаточно хороши.

Но чем больше оказывался период прогнозирования, тем менее точными становились прогнозы (рис. 4.6). Допустим, прогнозы, создаваемые за восемь дней, достаточно хороши с точки зрения постоянства, однако не намного лучше климатологических.

А если интервал прогнозирования составляет девять и более дней, все профессиональные прогнозы оказывались стабильно хуже климатологических данных.

Лофт рассказывал мне, что в тех случаях, когда период прогнозирования даже немного превышает неделю, теория хаоса начинает брать верх над всем остальным, и динамическая память атмосферы полностью стирается. Хотя приведенная ниже аналогия вряд ли может считаться совершенно точной, она помогает нам подумать об атмосфере как о трассе для гонок NASCAR, в которой различные погодные системы представлены отдельными автомобилями. После первой пары десятков кругов по трассе и при условии знания стартового порядка машин мы можем сделать довольно неплохое предсказание порядка, в котором они будут проезжать мимо нас. Наши предсказания не будут идеальными: на них повлияют и неожиданные поломки, и пит-стопы, и заглохшие моторы, – но наш прогноз будет значительно лучше случайно выбранной последовательности.

Рис. 4.6.Сравнение прогнозов максимальной температуры {276}

Вскоре, однако, более быстрые автомобили начнут опережать более медленные, и через какое-то время ситуация станет непредсказуемой. Может получиться и так, что машина, занимающая второе место, будет ехать рядом с машиной, которая занимает 16‑е место (обгоняя ее почти на круг), и с машиной, находящейся на 28‑м месте (которую она один раз уже обогнала и которую собирается обогнать еще раз). Все то, что мы знали о начальных условиях гонки, теперь не имеет для нас никакой ценности. Аналогично, если в атмосфере достаточно долго циркулировали воздушные потоки, погодные параметры настолько слабо будут напоминать о своих начальных значениях, что исходные модели теряют любой смысл.

Тем не менее открытие Флера поднимает пару тревожных вопросов. Одно дело, если в долгосрочных прогнозах (после семи или восьми дней) компьютерные модели демонстрируют, в сущности, нулевые результаты. На самом же деле они показывают негативный результат. Он оказывается хуже, чем мы с вами могли бы получить, сидя дома и изучая таблицы долгосрочных погодных явлений. Как такое может быть? Возможно, это связано с тем, что в компьютерные программы заложена слишком высокая чувствительность к естественно возникающей обратной связи в погодной системе. Они начинают сами создавать обратную связь. И теперь дело не ограничивается тем, что сигнал подавляется шумом, дело в том, что сам шум начинает многократно усиливаться.

Стоит задаться еще более масштабным вопросом: почему, если эти долгосрочные прогнозы так плохи, их продолжают публиковать Weather Channel (10-дневные прогнозы) и AccuWeather (сайт, поднимающий планку до 15-дневного прогноза)?

Доктор Роуз считает, что серьезного вреда в этом нет; даже прогноз, основанный исключительно на климатологии, может тем не менее представлять некий интерес для потребителей.

Когда дело заходит о коммерческом прогнозировании погоды, статистическая реальность правильности перестает быть самым главным условием. Скорее, ценность в глазах потребителей возникает благодаря ощущению правильности.

Например, коммерческие синоптики редко предсказывают, что вероятность дождя составляет именно 50 %. С точки зрения потребителей, это может свидетельствовать об определенной нерешительности и желании избежать конкретики {277}. Вместо этого они бросают монетку и округляют цифру до 60 или 40 %, хотя это делает прогнозы менее точными и менее честными {278}.

Флер также обнаружил еще один вопиющий пример фальсификации цифр, описывающий, пожалуй, один из самых главных секретов в прогнозной отрасли. Большинство коммерческих прогнозов погоды искажено , и, возможно, сознательно. В частности, прогнозы чаще говорят об осадках, чем они выпадают на самом деле {279}. Метеорологи называют это «сдвигом в сторону осадков»». Чем дальше вы отклоняетесь от исходных данных, предоставленных правительством, и чем больше потребителей изучают ваши прогнозы, тем сильнее становятся искажения. Прогнозы «добавляют ценность», уменьшая при этом правильность.

Один из самых важных тестов любого прогноза – и я бы даже сказал, что самый важный {280}, – носит название калибровки . Насколько часто сбывались ваши прогнозы о том, что вероятность выпадения осадков составляет 40 %? Если в долгосрочной перспективе дождь действительно шел примерно в 40 % случаев, это значит, что ваши прогнозы хорошо откалиброваны. Если на самом деле дождь шел в 20 или 60 % случаев, о хорошей калибровке говорить не приходится.

Во многих областях добиться хорошей калибровки непросто. Для ее применения требуется, чтобы вы думали в понятиях вероятности, а это не очень хорошо получается у большинства из нас (включая и большинство «экспертов»-прогнозистов). По сути, такой подход предполагает борьбу с чрезмерной уверенностью в себе, которая в немалых дозах присутствует у большинства прогнозистов. Помимо этого, оценка предполагает изучение большого объема данных, то есть сотен созданных прогнозов [70].