Дэвид Шпигельхалтер - Искусство статистики. Как находить ответы в данных

Для выявления такой систематической ошибки были разработаны специальные статистические методы. Предположим, у нас есть ряд исследований для проверки одной и той же нулевой гипотезы, скажем, что некоторое вмешательство неэффективно. Вне зависимости от реально проведенных экспериментов, если вмешательство действительно неэффективно, то можно доказать, что P-значение для проверки нулевой гипотезы имеет равномерное распределение от 0 до 1, а потому P-значения из множества исследований, проверявших гипотезу, должны распределяться равномерно. Тогда, если эффект действительно существует, P-значения должны смещаться в сторону малых значений.

Идея такой «P-кривой» – рассмотреть все указанные в исследованиях P-значения для значимых результатов теста, то есть для P < 0,05. Подозрение вызывают две вещи. Во-первых, если кластер P-значений чуть ниже 0,05, значит, какие-то результаты были искажены, для того чтобы передвинуть некоторые значения P через эту границу. Во-вторых, предположим, что эти значимые P-значения не смещены к нулю, а довольно равномерно распределены между 0 и 0,05. Тогда это в точности то, что могло возникнуть, если нулевая гипотеза верна, а нам сообщили как о значимых только о тех результатах, для которых P < 0,05 и которые в одном случае из двадцати попадают в этот диапазон по чистой случайности. Симонсон и его коллеги просмотрели опубликованные работы по психологии, поддерживавшие популярную идею, согласно которой предоставление людям излишнего выбора ведет к негативным последствиям. Анализ P-кривой указал на наличие ошибки в публикациях и отсутствие достаточно веских подтверждений этой идеи [272].

Оценивание статистических утверждений или текстов

Кем бы мы ни были – журналистами, специалистами по фактчекингу, учеными, бизнесменами, политиками, работниками общественных организаций или просто представителями общественности, мы регулярно слышим какие-то заявления, основанные на статистических фактах. И оценивание их достоверности – жизненно важный навык для современного мира.

Давайте сделаем смелое предположение, что все, кто причастен к сбору, анализу и использованию статистических данных, придерживаются этических норм, для которых доверие имеет превалирующее значение. Онора О’Нил, специалист по философии Канта и авторитет в области доверия, подчеркивала, что люди не должны стремиться к тому, чтобы им доверяли, поскольку это выбор других людей, но должны демонстрировать достоверность своей работы. О’Нил сформулировала несколько простых принципов – например, доверие требует честности, компетентности и надежности. Но она также отмечает, что требуются подтверждения достоверности, а это подразумевает прозрачность – нужно не просто сбрасывать массу данных на аудиторию, а обеспечить «разумную прозрачность» [273]. Это означает, что утверждения, основанные на данных, должны быть:

• Доступными: аудитория должна иметь доступ к информации.

• Доходчивыми: аудитория должна быть способна понять информацию.

• Поддающимися оценке: при желании аудитория должна иметь возможность проверить достоверность утверждений.

• Полезными: аудитория должна иметь возможность использовать информацию для своих нужд.

Но оценка достоверности – сложная задача. Статистики и другие специалисты тратят десятилетия, чтобы научиться взвешивать утверждения и формулировать вопросы, которые помогут выявить недостатки. Это не какой-то очередной контрольный список, с которым нужно просто свериться, здесь нужны опыт и разумная доля скептицизма. С учетом этой оговорки предлагаю набор вопросов, вобравших в себя всю мудрость, содержащуюся в этой книге. Перечисленные термины и темы либо говорят сами за себя, либо рассматривались ранее. Я нахожу этот перечень вопросов полезным, надеюсь, и вы тоже.

Десять вопросов, которые нужно задать, столкнувшись с утверждением, основанным на статистических фактах

НАСКОЛЬКО НАДЕЖНЫ ЧИСЛА?

1. Насколько тщательно проведено исследование? Например, проверьте «внутреннюю валидность», правильность проекта и формулировки вопросов, предварительную регистрацию протокола, репрезентативность выборки и обеспечение случайности при ее составлении, корректное сравнение с контрольной группой.

2. Какова статистическая неопределенность / доверительный уровень для результатов? Проверьте погрешности, доверительные интервалы, статистическую значимость, размер выборки, множественные сравнения, систематические ошибки.

3. Верна ли представленная характеристика? Проверьте правильное использование средних, разбросы, относительные и абсолютные риски.

НАСКОЛЬКО НАДЕЖЕН ИСТОЧНИК?

4. Насколько надежен источник текста? Рассмотрите вероятность искажения из-за конфликта интересов и проверьте, рецензировали ли публикацию независимые эксперты. Спросите себя: «Почему автор хочет, чтобы я услышал эту историю?»

5. Как преподносится история? Помните о способах подачи (эффект фрейминга), апеллировании к эмоциям посредством упоминания экстремальных случаев, вводящих в заблуждение графиках, гипертрофированных заголовках, громко звучащих числах.

6. О чем мне не сказали? Пожалуй, это самый важный вопрос. Подумайте о тенденциозно отобранных результатах, о пропущенной информации, которая бы противоречила изложенному в тексте, и отсутствии независимого комментария.

НАСКОЛЬКО НАДЕЖНА ИНТЕРПРЕТАЦИЯ?

7. Как это утверждение соотносится с тем, что уже известно? Взгляните на контекст, подходящие факторы сравнения, включая прошлые данные, и то, что показывали другие исследования, в идеале метаанализ.

8. Какое объяснение дано тому, что было замечено? Корреляция или причинно-следственная связь? Некорректно утверждение, что незначимый результат означает «отсутствие эффекта»? Важны регрессия к среднему, влияние возмущающих факторов, атрибуция, ошибка прокурора.

9. Насколько эта публикация актуальна для аудитории? Подумайте о возможности обобщения, являются ли испытуемые каким-то особым случаем, не проводили ли экстраполяцию с мышей на людей?

10. Важен ли заявленный эффект? Проверьте, значима ли практически величина эффекта, и особенно остерегайтесь утверждений о «повышенном риске».

Этика работы с данными

Растущая обеспокоенность потенциально неправильным использованием персональных данных (особенно при их сборе с аккаунтов в социальных сетях) сосредоточивает внимание на этических аспектах науки о данных и статистики. Хотя государственные статистики связаны официальным кодексом поведения, в целом этика при работе с данными находится на стадии разработки.