Дэвид Граймс - Неразумная обезьяна [Почему мы верим в дезинформацию, теории заговора и пропаганду] [litres]

Парадоксальная природа статистики заключается в том, что очевидные на первый взгляд причины и следствия могут ввести нас в заблуждение, даже если данные, как нам кажется, поддерживают принятую нами гипотезу. Мы интуитивно считаем, что числа говорят сами за себя, но часто забываем, что они подчас требуют интерпретации.

В 1973 году колледжу Беркли в Калифорнии вчинили иск в связи с дискриминацией по половому признаку. Все доказательства, казалось, были налицо, как и все основания для обвинения. Из мужчин, подавших заявления на поступление в этот престижный университет, было принято 44 процента, в то время как для женщин этот процент был равен 35. Такой перекос казался очень подозрительным и вроде бы свидетельствовал о сексизме руководства университета. Было возбуждено судебное дело для расследования и противодействия этой предвзятости. Однако расследование привело к весьма любопытным выводам: когда данные о поступлениях абитуриентов были проанализированы по факультетам, выяснилось, что “на большинстве факультетов имело место небольшое, но статистически значимое пристрастие в пользу женщин”.

Как такое возможно? Ведь два эти утверждения явно противоречат друг другу! Если женщин принимали с той же (или даже несколько большей) вероятностью, что и мужчин, то почему этот факт не нашел отражения в первоначальной статистике? Решение этого парадокса станет очевидным, если наблюдатель попробует глубже разобраться в стратифицированных данных о поступлениях. В этих данных скрывалась закономерность, которая не была очевидной в простой “процентной” статистике. Мужчины в среднем чаще подавали заявление на факультеты с меньшей конкуренцией за места, например, на факультеты инженерного профиля, куда поступали почти все желающие. Женщины наоборот стремились поступить, к примеру, на факультет английского языка, где конкурс был несоизмеримо выше даже среди наиболее подготовленных абитуриентов.

Проблема в данном случае была не в гендерной дискриминации, а в наличии скрытой переменной (или путающей переменной ) гендерного предпочтения в определенных специальностях, что исказило суммарный результат по оценке числа и доли отказов в поступлении по половому признаку. Как заметили авторы исследования, “количественная оценка пристрастий и предвзятости обычно является более трудной, чем представляется, а выводы иногда противоположны ожидаемым”. Все это отнюдь не отрицает вредоносную роль сексизма, и авторы специально оговаривают данный факт, отмечая, что “отсутствие явного предубеждения в системе приема студентов не дает основания для вывода о том, что гендерные пристрастия не проявлялись в ходе учебного процесса или при дальнейшем построении профессиональной карьеры”. Неожиданный результат исследования обусловлен так называемым парадоксом Симпсона – противоречащим интуиции феноменом, согласно которому очевидный тренд, наблюдаемый в отдельных группах данных, может исчезать и даже извращаться при объединении этих групп.

В настоящее время мы столкнулись с весьма любопытной и курьезной проблемой: хотя никогда прежде сбор данных не был столь же легким и простым, как сейчас, недопустимо упрощенная интерпретация доступной информации и трендов создает впечатление полного несоответствия реальности. Парадокс Симпсона часто дает знать о себе в сферах политики, социологии и медицины, и происходит это, когда отношения причины и следствия некорректно выводятся из частотных данных. Например, доля людей, умирающих в больницах, намного выше, чем доля людей, умирающих на почте, но было бы абсолютно недопустимо (и это, к счастью, абсолютно очевидно) делать из этого вывод о том, что почтовое отделение является более подходящим для лечения больных местом, чем больницы. Выведение причинно-следственных связей из статистических данных задача, как известно, очень трудная: единственная путающая переменная может привести неискушенного наблюдателя к полностью ложным выводам. Классический пример – это статистически достоверная связь числа смертей от утопления с ростом продаж мороженого. Эта связь абсолютно достоверна, но было бы очень странным допускать, что мороженое может привести к утоплению. Скрытая переменная здесь – теплая солнечная погода, которая увеличивает как продажи мороженого, так и число посетителей морских пляжей.

Из всех ловушек, в которые можно угодить при оценке статистических данных, самая распространенная – это ошибка, связанная с оценкой причинности. Мы уже встречались выше с логической ошибкой типа post hoc ergo propter hoc , но в контексте статистических данных эти ошибки не всегда столь же очевидны, как в риторике. Если ошибку в оценке причинной связи в ходе спора или дискуссии обнаружить относительно легко, то – из-за нашей коллективной математической неграмотности – в статистике такие ошибки часто проскакивают незамеченными. Несмотря на то, что публика часто обожествляет статистическую информацию и статистические тренды, она столь же часто забывает, что делать вывод о наличии причинно-следственных связей – занятие очень трудное. Как правило, решение подобной задачи осложняется присутствием множества скрытых переменных, и потому обнаружить причинную связь оказывается непросто (разумеется, при условии, что она вообще есть). Надо всегда иметь в виду старое предостережение: “Наличие корреляции не подразумевает причины”.

Для того чтобы отделить причину от следствия, порой требуются трудоемкие изыскания. Корреляция может, конечно, дать намек на связь, но парадокс Симпсона и существование скрытых переменных наглядно показывают, что с имеющейся информацией надо обращаться очень аккуратно. Неправильная интерпретация может породить неверные представления в умах несведущих людей. Статистик Дэвид Эпплтон и его коллеги приводят очаровательный пример, касающийся смертности среди женщин английской деревни Уикхэм; смертность оценили сначала в семидесятых годах, а затем еще раз через двадцать лет. При поверхностном взгляде на таблицы со статистическими результатами могло сложиться впечатление, что курение благотворно сказывается на долголетии, так как среди некурящих смертность за истекший период составила 43 процента, а среди курящих – всего 38 процентов. Однако этот странный результат испаряется, если учесть влияние парадокса Симпсона: когда все женское население разделили на возрастные группы, то выяснилось, что во всех группах курение отрицательно сказывается на здоровье и повышает смертность. Дело было в том, что курящие женщины, которых учитывали в первом наблюдении, были в среднем моложе, чем курящие, которых учитывали при повторном наблюдении. На таких примерах мы отчетливо видим, как небрежность может искажать истину, – особенно если такая манипуляция выполняется преднамеренно.