Дэвид Шпигельхалтер - Искусство статистики. Как находить ответы в данных

эпидемиология:изучение скорости распространения и причин заболеваемости;

эпистемическая неопределенность:недостаток знаний о фактах, числах или научных гипотезах.

Все идеи, возникающие в ходе долгой карьеры в статистике, – результат вдохновляющих бесед с коллегами. Хотя перечислить всех, у кого я их позаимствовал, сложно даже мне как статистику, короткий список я все же приведу, это Ники Бест, Шейла Бёрд, Дэвид Кокс, Филип Дэвид, Стивен Эванс, Эндрю Гельман, Тим Харфорд, Кевин Макконвей, Уэйн Олдфорд, Сильвия Ричардсон, Этан Шах, Адриан Смит и Крис Вайлд. Я искренне благодарен вам и многим другим людям за поддержку и вдохновение.

Из-за моей хронической прокрастинации процесс написания книги сильно затянулся. Поэтому я хотел бы поблагодарить Лору Стикни из издательства Penguin не только за заказ книги, но и за проявленное в течение всего этого времени спокойствие, сохраняемое даже тогда, когда работа была закончена, но мы все никак не могли договориться о названии. Спасибо Джонатану Пеггу за создание хороших условий, Джейн Бёрдселл за колоссальное терпение при редактировании и всему персоналу Penguin за кропотливую работу.

Я крайне признателен за разрешение использовать иллюстрации следующим людям и организациям: Крису Вайлду (рис. 0.3), Джеймсу Грайму (рис. 2.1), Кэт Мерсер из Natsal (рис. 2.4 и 2.10), Национальной статистической службе Великобритании (рис. 2.9, 8.5 и 9.4), Службе общественного здравоохранения Англии (рис. 6.7), Полу Бардену (рис. 9.2) и «Би-би-си» (рис. 9.3). Общественные данные о Великобритании используются в соответствии с Открытой государственной лицензией, версия 3.0.

Поскольку я не особо хорошо программирую на R [282], Мэтью Пирс и Мария Сколариду очень помогли мне с выполнением анализов и построением графиков. Я также не особо силен в писательстве, поэтому в неоплатном долгу перед многочисленными людьми, которые читали текст и делали замечания. Среди них Джордж Фармер, Алекс Фримэн, Кэмерон Брик, Майкл Поснер, Сандер ван дер Линден и Симона Варр; отдельное спасибо Джулиану Гилби за поиск ошибок и двусмысленностей.

Кроме того, я должен поблагодарить Кейт Булл не только за важные комментарии по тексту, но и за поддержку как в хорошие (когда я писал в пляжной хижине на Гоа), так и в плохие (в сыром феврале под давлением чрезмерного количества обязательств) времена. Также я глубоко признателен Дэвиду и Клаудии Хардинг за финансовую поддержку и постоянное подбадривание, что позволило мне заниматься интересными вещами в последние десять лет.

Наконец, как бы мне ни хотелось возложить вину на кого-нибудь другого, я должен взять всю ответственность на себя за неизбежные оставшиеся в книге недостатки.

Код на языке R и данные для воспроизведения большей части анализов и рисунков можно найти на сайте https://github.com/dspiegel29/ArtofStatistics. Я благодарен за помощь при подготовке этих материалов.

0.1. Возраст и год смерти жертв Гарольда Шипмана

0.2. Время смерти жертв Гарольда Шипмана

0.3. Цикл решения задач PPDAC

1.1. Уровень выживаемости за 30 дней после операции на сердце

1.2. Процентные доли операций на сердце у детей для разных больниц – круговая диаграмма

1.3. Процентные доли операций на сердце у детей для разных больниц – гистограмма

1.4. Риск употребления бутербродов с беконом

2.1. Банка с жевательными драже

2.2. Различные способы показать догадки о количестве драже в банке

2.3. Графическое изображение догадок о числе драже в банке в логарифмическом масштабе

2.4. Сообщенное количество партнеров противоположного пола за всю жизнь

2.5. Показатели выживаемости в зависимости от количества операций на сердце у детей

2.6. Нулевые коэффициенты корреляции Пирсона

2.7. Тренды мирового населения

2.8. Относительный рост населения по странам

2.9. Популярность имени Дэвид во времени

2.10. Инфографика по сексуальным отношениям и образу жизни

3.1. Диаграмма индуктивного умозаключения

3.2. Распределение новорожденных по массе

5.1. Разброс роста сыновей в зависимости от роста их отцов

5.2. Модель логистической регрессии для данных об операциях на сердце

6.1. Надгробие жертвы «Титаника»

6.2. Сводные данные о выживании для пассажиров «Титаника»

6.3. Дерево классификации для данных о «Титанике»

6.4. ROC-кривые для алгоритмов, использованных для тренировочного и тестового наборов данных

6.5. Вероятности выживания при катастрофе «Титаника»

6.6. Дерево классификации для данных о «Титанике», слишком хорошо подогнанное к данным

6.7. Уровни выживаемости после операции для женщин с раком груди

7.1. Эмпирическое распределение числа сексуальных партнеров для разных размеров выборки

7.2. Бутстрэп-выборки из первоначальной выборки размера 50

7.3. Распределение средних значений для бутстрэп-выборок разных размеров

7.4. Регрессионные прямые для данных Гальтона по росту матерей и дочерей

8.1. Компьютерное моделирование вариантов игр шевалье де Мере

8.2. Дерево ожидаемых количеств для подбрасывания двух монет

8.3. Дерево вероятностей для подбрасывания двух монет

8.4. Дерево ожидаемых количеств для скрининга при раке молочной железы

8.5. Наблюдаемое и ожидаемое количество случаев убийства

9.1. Вероятностное распределение левшей

9.2. Воронкообразный график для уровней смертности от колоректального рака

9.3. График данных опросов общественного мнения «Би-би-си» перед всеобщими выборами 2017 года

9.4. Число ежегодных убийств в Англии и Уэльсе

10.1. Данные о соотношении полов при процедуре крещения в Лондоне

10.2. Эмпирическое распределение разницы между долями женщин и мужчин, которые при скрещивании рук поверх кладут правую/левую руку

10.3. Совокупное количество свидетельств о смерти, подписанных Шипманом

10.4. Статистика для последовательного критерия отношения вероятностей для обнаружения удвоения риска смертности

10.5. Ожидаемые количества для результатов 1000 проверок гипотез

11.1. Дерево ожидаемых количеств для задачи про три монеты

11.2. Дерево ожидаемых количеств для задачи о допинге

11.3. «Обращенное» дерево ожидаемых количеств для задачи о допинге

11.4. «Бильярдный» стол Байеса

12.1. Традиционные информационные потоки для статистических сведений

1.1. Результаты после детских сердечных операций

1.2. Способы выразить риск рака кишечника при ежедневном употреблении сэндвича с беконом

2.1. Характеристики выборки для предположений о числе драже в банке

2.2. Характеристики выборки числа сексуальных партнеров за всю жизнь

4.1. Результаты Исследования защиты сердца