Нейт Сильвер - Сигнал и шум. Почему одни прогнозы сбываются, а другие – нет

Но я не хочу сказать, что наши априорные ожидания всегда доминируют над новыми свидетельствами или что теорема Байеса всегда приводит к нелогичным, на первый взгляд, результатам. Иногда новые свидетельства оказываются настолько значимыми для нас, что перевешивают все остальное, и мы можем практически моментально изменить свое мнение и стать полностью уверенными в событии, вероятность которого считали почти нулевой.

Давайте рассмотрим более мрачный пример – атаки 11 сентября. Большинство из нас, проснувшись в тот день утром, присваивало практически нулевое значение вероятности того, что террористы примутся разбивать самолеты о небоскребы на Манхэттене. Однако мы признали очевидную возможность террористической атаки после того, как первый самолет врезался во Всемирный торговый центр. И у нас исчезли любые сомнения в том, что на нас было произведено нападение, после того как самолет врезался во вторую башню. Теорема Байеса способна отобразить этот результат.

Допустим, до столкновения первого самолета с башней наши расчеты вероятности террористической атаки на высотные здания Манхэттена составляли лишь 1 шанс из 20 тыс., или 0,005 %. Однако мы также должны были считать достаточно низкой вероятность ситуации, при которой самолет столкнулся бы с башней Всемирного торгового центра по ошибке. Эта цифра может быть рассчитана эмпирически. За период длительностью 25 тыс. дней до событий 11 сентября, в течение которых осуществлялись полеты над Манхэттеном, произошло всего два подобных случая {576}: столкновение с Эмпайр-стейт-билдинг в 1945 г. и с башней на Уолл-стрит, 40, в 1946 г. Следовательно, возможность подобного инцидента составляла примерно 1 шанс из 12 500 в любой случайный день. Если по этим цифрам сделать расчеты с использованием теоремы Байеса (табл. 8.3a), то вероятность террористической атаки повышалась с 0,005 до 38 % в момент столкновения первого самолета со зданием.

Таблица 8.3а.Пример расчета вероятности террористической атаки по теореме Байеса

Однако идея, заложенная в теорему Байеса, заключается в том, что мы не корректируем свои расчеты вероятности только один раз. Мы делаем это постоянно по мере появления новых свидетельств. Таким образом, наша апостериорная вероятность террористической атаки после столкновения первого самолета, равная 38 %, становится нашей априорной возможностью столкновения со вторым.

И если вы еще раз проведете расчеты после столкновения второго самолета с башней Всемирного торгового центра, то увидите, что вероятность террористической атаки 99,99 % сменяется почти полной уверенностью в этом событии. Один несчастный случай в яркий солнечный день в Нью-Йорке был крайне маловероятен, но второй практически не мог не произойти (табл. 8.3б), как мы внезапно и с огромным ужасом поняли.

Таблица 8.3б.Пример расчета вероятности террористической атаки по теореме Байеса

Я сознательно выбрал в качестве примеров довольно сложные случаи – террористические атаки, рак, супружеская измена, – поскольку хочу продемонстрировать масштаб проблем, к решению которых может быть применено байесовское мышление. Теорема Байеса – это не волшебная формула. В ее самой простой формуле, которую мы приводим в этой книге, используются простые арифметические действия по сложению, вычитанию, делению и умножению. Но для того, чтобы она дала нам полезный результат, мы должны снабдить ее информацией, в частности нашими расчетами априорных вероятностей.

Однако теорема Байеса заставляет нас думать о вероятности событий, происходящих в мире, даже когда речь заходит о вопросах, которые мы не хотели бы считать проявлением случайности. Она не требует, чтобы мы воспринимали мир как внутренне, метафизически неопределенный: Лаплас считал, что все, начиная от орбит планет и заканчивая движением мельчайших молекул, управляется упорядоченными ньютоновскими правилами. И тем не менее он сыграл важную роль в развитии теоремы Байеса. Скорее можно сказать, что эта теорема связана с эпистемологической неопределенностью – границами наших знаний.

Когда мы не можем думать подобно истинным байесовцам, ложноположительное срабатывание начинает представлять собой проблему не только для маммографии, но и для всей науки. В введении я упомянул работу врача-исследователя Джона П. А. Иоаннидиса. В 2005 г. Иоаннидис опубликовал влиятельный труд под названием «Почему самые широко публикуемые выводы исследований неверны» {577}, в котором процитировал множество статистических и теоретических аргументов, подтверждавших, что (как и следует из названия) большинство гипотез, признанных истинными в медицине и большинстве других научных профессий, являются, по сути, ложными.

Гипотеза Иоаннидиса, как мы уже сказали, кажется одной из немногих истинных. Так, сотрудники компании Bayer Laboratories обнаружили, что не могут повторить в ходе собственных экспериментов до двух третей положительных заключений, опубликованных в медицинских журналах {578}. Еще один способ проверить правдивость выводов исследования состоит в том, чтобы понять, насколько точными являются результаты предсказаний в реальном мире, И, как мы видим на множестве примеров, приведенных в этой книге, часто выводы не выдерживают испытание реальностью. Судя по всему, частота появления неудачных предсказаний во множестве областей, от сейсмологии до политических наук, оказывается невероятно высокой.

«За последние 20 лет благодаря геометрическому росту доступной информации, развитию геномики и других технологий мы получили возможность измерять миллионы и миллионы потенциально интересных переменных, – рассказал мне Иоаннидис. – Можно ожидать, что мы сможем использовать эту информацию для того, чтобы заставить предсказания работать на нас. Я не говорю, что мы не достигли никакого прогресса. Принимая во внимание наличие миллионов научных работ, признать это было бы крайне стыдно. Однако совершенно очевидно, что мы не сделали миллионов открытий. Большинство работ не вносят реального вклада в развитие знания».

Вот почему наши предсказания могут оказаться более подверженными неудаче в эру Больших данных. С экспоненциальным ростом объема доступной информации по той же экспоненте растет и количество гипотез, требующих изучения. Например, правительство США в настоящее время публикует сведения о 45 тыс. экономических статистических показателей. Если вы захотите протестировать связи между всеми комбинациями из пар этих показателей – есть ли, допустим, причинно-следственная связь между ставкой банковского кредитования и уровнем безработицы в Алабаме? – то вам потребуется протестировать не меньше миллиарда гипотез [109]. Однако количество осмысленных связей в данных, говорящих о наличии причинно-следственной связи, а не о корреляции, и позволяющих протестировать то, каким образом мир работает по-настоящему, на много порядков ниже. Истина не растет теми же темпами, что и информация; по сути, в мире сейчас не больше истины, чем было до появления интернета или печатного пресса. Основная часть данных – всего лишь шум, так же как основная часть Вселенной заполнена вакуумом.