Нейт Сильвер - Сигнал и шум. Почему одни прогнозы сбываются, а другие – нет

Если философская подоплека теоремы Байеса удивительно глубока, то ее математика потрясающе проста. В своей базовой форме это всего лишь алгебраическое выражение с тремя известными переменными и одной неизвестной. Однако эта простая формула способна привести к инсайтам в предсказаниях.

Теорема Байеса прямо связана с условной вероятностью. Иными словами, она позволяет рассчитать вероятность какой-либо теории или гипотезы, если произойдет какое-либо событие. Представьте себе, что вы живете с партнером и, вернувшись домой из командировки, обнаруживаете незнакомую пару нижнего белья в своем гардеробе. Возможно, вы зададитесь вопросом: какова вероятность того, что ваш партнер вас обманывает? Условие состоит в том, вы найдете белье; гипотеза состоит в том, что вы заинтересованы оценить вероятность того, что вас обманывают. Хотите – верьте, хотите – нет, но теорема Байеса способна дать вам ответ на вопрос такого рода – при условии того, что вы знаете (или хотите оценить) три качества.

• Прежде всего вы должны оценить вероятность появления белья как условие правильности гипотезы – то есть при условии того, что вам изменяют.

Для решения этой проблемы давайте предположим, что вы женщина, а ваш партнер – мужчина, а предметом спора выступает пара трусиков. Если он вам изменяет, то несложно представить себе, как в ваш гардероб могли попасть чужие трусики. Но, даже если (или даже особенно в том случае если) он вам изменяет, вы можете ожидать, что он ведет себя достаточно осторожно. Давайте скажем, что вероятность появления трусиков при условии того, что он вас обманывает, составляет 50 %.

• Во-вторых, вы должны оценить вероятность появления белья при условии того, что гипотеза неверна.

Если муж вам не изменяет, должны быть другие, более невинные объяснения появления трусиков в вашем гардеробе. Некоторые из них могут оказаться довольно неприятными (например, это могли бы быть его собственные трусики). Возможно, что его багаж был по ошибке перепутан с чужим. Возможно, что в его доме по каким-то причинам вполне невинно заночевала какая-то ваша подруга, которой вы доверяете. Трусики могли бы быть подарком вам, который он забыл упаковать. Ни одна из этих теорий не лишена изъянов, хотя порой объяснения в стиле «мое домашнее задание съела собака» действительно оказываются правдой. Вы оцениваете их совокупную вероятность в 5 %.

• Третье и самое важное, что вам нужно, – это то, что байесовцы называют априорной вероятностью (или просто априори ). Как вы оценивали вероятность его измены до того , как нашли белье? Разумеется, вам сложно сохранять объективность оценки сейчас, после того как эти трусики появились в поле вашего зрения (в идеале вы оцениваете эту вероятность до того, как начинаете изучать свидетельства). Но иногда оценивать вероятность подобных событий можно эмпирически. Например, в ряде исследований было показано, что в течение любого случайным образом взятого года своим супругам изменяет около 4 % женатых партнеров {570}, так что мы возьмем эту цифру за априорную вероятность.

Если вы произвели оценку всех этих значений, то можете применить теорему Байеса для оценки апостериорной вероятности [107]. Именно в этой цифре мы и заинтересованы больше всего – насколько велика вероятность того, что нам изменяют, при условии что мы нашли чужое белье?

Расчет и простая алгебраическая формула, позволяющая его сделать, приведены в табл. 8.2.

Таблица 8.2.Пример расчета вероятности измены по теореме Байеса

Оказывается, что вероятность измены все равно достаточно мала – 29 %. Это может показаться нелогичным: разве трусики не являются достаточно весомой уликой? Возможно, такой результат связан с тем, что вы использовали слишком низкое априорное значение вероятности его измены.

Хотя у невиновного человека может быть значительно меньше вариантов разумных объяснений появления трусиков, чем у виновного, вы изначально посчитали его невиновным, и это оказало большое влияние на результат расчета по уравнению.

Когда мы априорно в чем-то уверены, мы можем проявить удивительную гибкость даже при появлении новых свидетельств. Одним из классических примеров таких ситуаций является выявление рака груди у женщин в возрасте старше 40 лет. К счастью, вероятность, что у женщины в возрасте после 40 лет разовьется рак груди, довольно невелика и составляет примерно 1,4 % {571}. Однако чему равна вероятность положительного результата на ее маммограмме?

Исследования показывают, что даже если у женщины нет рака, то маммограмма ошибочно покажет его наличие в 10 % случаев {572}. С другой стороны, если у нее есть рак, маммограмма выявит его примерно в 75 % случаев {573}. Увидев эту статистику, вы можете решить, что положительный результат маммограммы означает, что все очень плохо. Однако расчет по теореме Байеса с использованием этих цифр позволяет сделать иное заключение: вероятность наличия рака груди у женщины в возрасте за 40 при условии, что у нее положительная маммограмма , все еще составляет примерно 10 %. В данном случае такой результат расчета по уравнению обусловлен тем, что довольно немного молодых женщин имеют рак груди. Именно поэтому многие врачи рекомендуют женщинам не начинать регулярно делать маммограммы до 50-летнего возраста, после достижения которого априорная вероятность рака груди значительно увеличивается {574}.

Проблемы такого рода, вне всякого сомнения, сложны. Во время недавно проводимого исследования статистической грамотности американцев им приводили этот пример с раком груди. И оказалось, что всего 3 % из них смогли правильно рассчитать значения вероятности {575}. Иногда, немного замедлившись и попробовав визуализировать эту проблему (как показано на рис. 8.2), мы можем легко проверить реальностью свои неточные аппроксимации. Визуализация помогает нам легче увидеть общую картину – поскольку рак груди встречается у молодых женщин крайне редко, сам факт положительного результата маммограммы еще ни о чем не говорит.

Рис. 8.2.Графическое изображение исходных данных для теоремы Байеса на примере с маммограммой

Однако мы обычно склонны ориентироваться на самую новую или самую доступную информацию, и общая картина начинает теряться. Умные игроки вроде Боба Вулгариса научились умело пользоваться подобными недостатками нашего мышления. Вулгарис сделал выгодную ставку на Lakers отчасти потому, что букмекеры уделили слишком много внимания нескольким первым играм Lakers и изменили ставки на выигрыш командой титула с 4 к 1 до 65 к 1. Однако на самом деле команда играла ничуть не хуже, чем могла играть хорошая команда в случае травмы одного из ее звездных игроков. Теорема Байеса требует от нас более внимательно продумывать проблемы такого рода. Она может оказаться крайне полезной для выявления случаев, когда наши аппроксимации, основанные на чутье, оказываются слишком грубыми.