Бен Орлин - Математика с дурацкими рисунками. Идеи, которые формируют нашу реальность

(Чуть больше технических деталей вы найдете в примечании [170].)

Некоторые p -значения легко интерпретировать. 0,000001 означает, что фантомный результат может получиться случайно в одной из миллиона попыток. Такие совпадения настолько редки, что взаимосвязь почти наверняка есть — в нашем случае шоколад делает людей счастливее.

Между тем p -значение, равное 0,5, означает, что вероятность фантомного результата 1 к 2. Такое происходит… ну, через раз. Подобные результаты повсеместны, словно сорняки. Так что в нашем случае, похоже, шоколад не влияет на уровень счастья.

Между этими ярко выраженными случаями лежит спорная территория. Как насчет p -значения 0,1? А как насчет 0,01? Говорят ли эти числа о том, что мы ловим фантомы или наши результаты достаточно экстремальные и, возможно, это вовсе не фантомы? Чем ниже p -значение, тем лучше; но ниже — это насколько низко?

В 1925 году специалист по статистике по имени Р. А. Фишер опубликовал книгу под названием «Статистические методы для исследователей» {65} . В ней он провел черту на песке: 0,05. Иными словами, будем отфильтровывать 19 из 20 фантомов {66} .

Зачем допускать оставшийся 20-й фантом? Ну, вы можете установить порог ниже 5 %, если вам угодно. Сам Фишер предпочитал 2 % или 1 %. Но этот отсев ложноположительных результатов влечет за собой новый риск: ложно отрицательные . Чем больше фантомов вы изгоняете, тем больше истинных результатов может заодно пойти под нож.

Предположим, вы хотите выяснить, выше ли мужчины ростом, чем женщины. Подсказка: да. Но что, если ваша выборка порождает фантомы? Что, если вы возьмете высоких женщин и низкорослых мужчин и получите среднюю разницу всего один или два дюйма? Тогда строгий порог p -критерия может забраковать результат как фантом, даже если сам по себе он вполне подлинный.

Число 0,05 представляет собой компромисс между заключением в тюрьму ни в чем не повинных и освобождением виновных.

Сам Фишер никогда не имел в виду, что 0,05 — железобетонный критерий. В своей собственной карьере он проявлял замечательную гибкость. Однажды в одной и той же статье он одобрил p -значение 0,089 («есть некоторые основания подозревать, что распределение… не вполне случайно»), но отверг 0,093 («такая взаимосвязь, если она существует, недостаточно сильна, чтобы проявляться значительно»).

На мой взгляд, это осмысленный подход. Глупое постоянство — мелкий бес начинающих статистиков. Если вы скажете мне, что благодаря мятным леденцам после обеда исчезает неприятный запах изо рта ( p = 0,04), я буду склонен вам поверить. Если вы скажете, что мятные леденцы лечат остеопороз ( p = 0,04), я буду не столь убежден. Я признаю, что 4 % — низкая вероятность. Но, я полагаю, еще менее вероятно, что на протяжении десятилетий наука упускала из виду стойкую связь между здоровьем скелета и «Тик-таком».

Новые данные необходимо сопоставлять с нашими знаниями. Не все 0,04 созданы равными.

Ученые это понимают. Но в области, которая гордится стандартизацией и объективностью, сложно отстаивать нюансы персонифицированных суждений. И в XX веке в гуманитарных науках наподобие психологии и медицины статус границы «5 %» постепенно эволюционировал от «предложения» к «директиве» и «промышленному стандарту». p = 0,0499? Значимо. А p = 0,0501? Извините, попытайте счастья в следующий раз.

Означает ли это, что 5 % принятых результатов получены в силу случайности? Не совсем. На самом деле все наоборот: 5 % фантомов удовлетворяют критерию значимости. Казалось бы, разницы нет, но это не так.

Все гораздо страшнее.

Представьте, что p -значение — страж у врат цитадели науки. Он впускает истинно положительные результаты и отражает атаки варваров, то есть ложноположительных результатов. Мы знаем, что 5 % из них проскользнут внутрь, но в общем и целом это, похоже, неплохо.

Но что, если атакующих варваров в 20 раз больше, чем наших солдат? Тогда 5 % вторженцев — это ровно столько же, сколько всех бойцов на стороне цивилизации.

Хуже того, что, если на каждого верного долгу солдата приходится сотня варваров? Тогда 5 % атакующих подавят всю армию защитников цивилизации. Цитадель заполонят ложноположительные результаты, а истинно положительные будут жаться по углам.

Таким образом, опасность резко возрастает, когда ученые проводят чересчур много исследований, где истинный ответ отрицательный. Пение под фонограмму превращает вас в блондина? Начнется ли кислотный дождь, если вы наденете клоунские башмаки? Проведите миллион мусорных исследований, и 5 % пройдут фильтр. Их будет 50 000. Они захлестнут научные журналы, замелькают в заголовках новостей и сделают ленту «Твиттера» еще менее читабельной, чем обычно.

Если это никого особо не расстраивает, ситуация еще больше ухудшается. Сами того не желая, ученые снабдили варваров абордажными крюками и таранами.

В 2006-м психолог по имени Кристина Ольсон начала записывать проявления своеобразной тенденции: дети предпочитают счастливчиков неудачникам [171]. Ольсон и ее коллеги обнаружили такие предпочтения у представителей разных культур в возрасте от трех лет вплоть до вступления во взрослую жизнь [172]. Тезис был справедлив и для тех, кто потерпел мелкие неудачи (например, шлепнулся в грязь), и для тех, кто пострадал от катастроф (например, торнадо). Эффект был стойким и убедительным — истинно положительным.

Затем в 2008 году Ольсон согласилась стать научным руководителем дипломной работы нерадивого 21-летнего студента по имени я [173]. Благодаря ее огромной помощи я придумал скромное дополнительное исследование: будут ли пяти- и восьмилетние дети отдавать больше игрушек счастливчикам, чем неудачникам?

Я опросил 46 детей. Ответ был отрицательным.

Если я и выявил какую-то тенденцию, то она была обратной: мои респонденты, похоже, охотнее делились с несчастными, чем со счастливыми. В отличие от «забавных научных фактов» это казалось очевидным: естественно, вы отдадите игрушку тому, кто ее лишился. Мне нужно было выжать из эксперимента 30 страниц, и я посмотрел на свои данные. Каждый испытуемый ответил мне на восемь вопросов, и я проверил множество условий. В итоге я мог бы разделить результаты на категории несколькими способами.