Дэвид Шпигельхалтер - Искусство статистики. Как находить ответы в данных

Марен Мерсенн (1588–1648) – французский математик, богослов и философ, организатор кружка, где обсуждались различные научные проблемы. Уже после смерти Мерсенна на основе его кружка была создана Парижская академия наук. Прим. пер.

Обсуждение и инструменты для методов моделирования при преподавании статистики см. в работе: M. Pfannkuch et al, ‘Bootstrapping Students’ Understanding of Statistical Inference’, TLRI (2013), and K. Lock Morgan et al., ‘STATKEY: Online Tools for Bootstrap Intervals and Randomization Tests’, ICOTS 9 (2014).

Спойлер: правильный ответ – 1/4, или 25 %, или 0,25.

Рассмотрим Вариант 1. В данном случае легче найти вероятность проигрыша (это обычный прием в теории вероятностей). Единственный случай, когда мы проигрываем, – если четыре раза подряд выпадает нешестерка. Вероятность выпадения нешестерки равна 1–1/6 = 5/6. Поэтому вероятность выпадения четырех нешестерок подряд составляет 5/6 × 5/6 × 5/6 × 5/6 = (5/6)4 = 625/1296 ≈ 0,48. Поэтому вероятность победы равна 1–0,48 = 0,52. Аналогичные рассуждения для Варианта 2 дают вероятность победы, равную 1 – (35/36)24 = 0,49. Поэтому Вариант 1 чуть более выгоден. Рассуждения также показывают, где ошибся шевалье де Мере – он складывал несовместные вероятности событий. Его рассуждения дают для 12 бросков вероятность 12 × 1/6 = 2, что не особо осмысленно.

Ошибка также известна как «закон переставленной условной вероятности». Звучит восхитительно непонятно, но на деле просто означает, что вероятность события А при условии, что произошло событие В, смешивается с вероятностью события В при условии, что произошло событие А.

Я благодарен Филиппу Дэвиду за, по-видимому, изобретение этого термина.

Англ. propensity – склонность, предрасположенность, тенденция. Вероятность представляется как физическая склонность ситуации приводить к какому-то результату. То есть здесь вероятность становится свойством ситуации, а не последовательности событий (склонности – это не частоты событий, а предполагаемые причины частот). Концепцию обсуждали, в частности, философы Чарльз Пирс и Карл Поппер. Прим. пер.

Предполагается, что генератор псевдослучайных чисел хорошо спроектирован, а получаемые числа предназначены для статистического моделирования или аналогичной цели. Они не особо пригодны для криптографических приложений, где предсказуемость можно использовать для взлома кода.

«Случай убийства» – когда одно лицо (или группа лиц) подозревается в совершении одного или нескольких связанных убийств. Поэтому массовый расстрел или террористический акт будет считаться одним случаем.

Сравнение количества ежедневных убийств с пуассоновским распределением: https://www.ons.gov.uk/peoplepopulationandcommunity/crimeandjustice/compendium/focusonviolentcrimeandsexualoffences/yearendingmarch2016/homicide#statistical-interpretation-of-trends-in-homicides.

Чтобы получить такое распределение, нужно определить вероятность двух левшей: 0,2 × 0,2 = 0,04, вероятность двух правшей: 0,8 × 0,8 = 0,64, а вероятность последнего варианта можно найти как 1–0,04 – 0,64 = 0,32.

Вот блог Пола: https://pb204.blogspot.com/2011/10/funnel-plot-of-uk-bowel-cancer.html. Сами данные можно загрузить с сайта http://pb204.blogspot.co.uk/2011/10/uploads.html.

Одна из крупных агломераций Великобритании, расположенная в Шотландии, включает 48 населенных пунктов, примыкающих к Глазго. Прим. пер.

Абрахам де Муавр в юности перебрался в Лондон, где прожил 66 лет, так что он скорее английский математик французского происхождения. Прим. пер.

Есть важные исключения – у некоторых распределений такие длинные и тяжелые хвосты, что математических ожиданий у них не существует, поэтому выборочным средним не к чему сходиться.

Если мы предположим, что все наши наблюдения независимы и имеют одинаковое распределение, то стандартная ошибка их среднего равна среднеквадратичному отклонению исходного распределения, деленному на квадратный корень из числа элементов в выборке.

От др.-греч. στόχος – цель, предположение. Такую неопределенность называют также алеаторной, или объективной. Прим. пер.

От др.-греч. έπιστήμη – научное знание, наука, достоверное знание. Такую неопределенность называют также гносеологической, или субъективной. Прим. пер.

В главе 12 мы увидим, что сторонники байесовской статистики рады использовать вероятности для эпистемической неопределенности в отношении параметров.

Строго говоря, 95-процентный доверительный интервал не означает наличия 95-процентной вероятности, что этот конкретный интервал содержит истинное значение, хотя на практике люди часто неверно интерпретируют именно так.

Я имел честь знать обоих, когда они уже были в преклонном возрасте.

Более точно, 95-процентные доверительные интервалы при точном нормальном распределении для статистики устанавливаются на уровне плюс-минус 1,96 стандартной ошибки.

Погрешность равна , и максимум этой величины, равный ±1/√n, достигается при p = 0,5. Следовательно, каково бы ни было истинное значение p , погрешность не превзойдет ±1/√n.

При 1000 участниках погрешность (в процентах) будет максимум %3 %. Опросы могут обладать более сложной схемой, чем простая случайная выборка из генеральной совокупности, однако на погрешность это влияет не сильно.

Диаграмма «Би-би-си» для опросов находится на сайте: http://www.bbc.co.uk/news/election-2017-39856354.

Погрешности для статистических данных об убийствах: https://www.ons.gov.uk/peoplepopulationandcommunity/crimeandjustice/compendium/focusonviolentcrimeandsexualoffences/yearendingmarch2016/homicide#statistical-interpretation-of-trends-in-homicides.

J. Arbuthnot, ‘An Argument for Divine Providence…’, Philosophical Transactions 27 (1710), 186–90.

Англиканство – протестантское направление христианства, превалирующее в Великобритании. Прим. пер.

R. A. Fisher, The Design of Experiments (Oliver and Boyd, 1935), p. 19.

Институт в Майзенберге (пригороде Кейптауна) в ЮАР. Прим. пер.

Возможно, более естественным вопросом была бы связь между скрещиванием рук и праворукостью (леворукостью), но для изучений этой проблемы было слишком мало левшей.

Мы могли бы выбрать другую статистику, которая отражает связь (например, отношение шансов), однако фактически получили бы тот же результат.