Дэвид Граймс - Неразумная обезьяна [Почему мы верим в дезинформацию, теории заговора и пропаганду] [litres]

Эти тревожные и тщательно обоснованные наблюдения поднимают очень важный и неотложный вопрос: если большинство результатов научных исследований неверны, то какая вообще от них польза? Как сделать исследования осмысленными? В первую очередь надо отметить вот что: исследования, которые имеет в виду Иоаннидис, это не “все” исследования, а лишь работы, базирующиеся на “плохо обоснованной стратегии публикации окончательных результатов исключительно на основании единственного исследования, подкрепленного формальной статистической значимостью (как правило, величиной p-критерия, меньшей 0,05)”. Этот подход, несомненно, представляет собой большую проблему в тех областях науки, где выводы делаются с главной опорой на статистические корреляции (корреляции выуживаются из обширного числа разнородных данных). Однако эта проблема сходит на нет при хорошем планировании экспериментов, основанном на давно известных принципах. Например, феномены, зарегистрированные на Большом адронном коллайдере, подвергаются строгому статистическому анализу для полной уверенности в том, что новая элементарная частица действительно была обнаружена. Золотой стандарт пороговых величин статистической значимости в физике частиц настолько высок, что вероятность публикации ложноположительных результатов исчезающе мала.

Однако для медицины и биологии проблема, описанная Иоаннидисом, стоит чрезвычайно остро. В этих областях науки избежать сложных взаимодействий настолько трудно, что ученые прибегают к пробным исследованиям, “ориентированным на открытие”, а не начинают свою работу с отчетливого формулирования гипотезы. Такой подход прямо располагает к ложным открытиям – когда на первый план совершенно безосновательно выдвигают случайно полученные результаты. Суть проблемы заключается в произвольной природе установления граничных значений значимости, которые и обозначают как p-критерии. При величине p-критерия меньше 0,05 результат считается статистически значимым, и многие ученые просто рабски привязаны к этой величине. Но p-критерий никогда не предназначался для того, чтобы быть истинной мерой качества или тем более идеала! Биолог Рональд Фишер предложил этот критерий в двадцатые годы как удобный статистический признак того, что полученные данные заслуживают внимания [61].

В то время движение за математическую строгость статистики как раз набирало силу, и возглавляли его заклятые конкуренты Фишера польский математик Ежи Нейман и английский статистик Эгон Пирсон. Нейман и Пирсон формализовали такую концепцию как статистическая сила, но проигнорировали инновации Фишера. Нейман отвергал некоторые новшества Фишера как “в математическом смысле худшие, а не просто бесполезные”, а Фишер называл методы Неймана “ужасными для интеллектуальной свободы”. Остальные статистики, устав от междоусобной распри пионеров, объединили оба подхода. Правило Фишера просто внедрили в системы Неймана и Пирсона, и таким образом p-критерий получил ту важность, на которую вообще-то он никогда и не претендовал.

Это объединение привело к злоупотреблениям и недоразумениям; некоторые исследователи, глубоко зарывшись в данные, начинают наудачу искать статистически значимые зависимости, не думая об осмысленности таких связей и не оценивая, являются ли они обоснованными или чисто случайными. Член Королевского общества Дэвид Колкухоун уже давно раскритиковал тех, кто практикует такие вещи, точно и кратко заметив: “Функция теста на значимость заключается в том, чтобы уберечь вас от выставления напоказ собственной глупости, а не в том, чтобы сделать непригодный к обнародованию результат подходящим для публикации”. Был предложен даже весьма подходящий акроним для обозначения такого прочесывания данных – “Проверка статистической значимости гипотезы” ( Statistical Hypothesis Inference Testing , SHIT). Без знания механизмов действия или основополагающих принципов относиться к корреляциям надо с осторожностью. Простое просеивание через сито статистики всевозможных тестов в надежде обнаружить post hoc значимых данных обычно действительно дает результат – правда, он чаще вводит в заблуждение, чем предоставляет полезную информацию. Как однажды заметил экономист Рональд Коуз, “если достаточно долго пытать данные, то они в конце концов признаются”. Вот только вряд ли такие данные будут надежными.

Итак, почему же все-таки ученые публикуют недостаточно обоснованные и спорные данные? Отчасти из-за того, что статистическая некомпетентность поражает не только неученых любителей. Но есть и другой, более удручающий фактор, базирующийся на иных мотивах: пристрастное отношение к публикациям и давление, оказываемое на ученых. Научные журналы редко склонны считать, что отрицательные результаты заслуживают публикации, а это вынуждает исследователей искать и находить связи между явлениями, рискуя тем, что они окажутся ложными. Такую политику журналов можно и нужно считать недальновидной. Отсутствие результата столь же ценно для наших знаний, как и значимо положительный результат. Намного полезнее знать, что данное лекарство не работает, чем прочитать в журнале неверное утверждение о том, будто оно эффективно.

Хуже того – в последнее время научное сообщество поразил тяжкий недуг, суть которого можно выразить известной максимой “публикуйся или умри”. Дело в том, что если ученый публикует мало положительных результатов, то его работу могут перестать финансировать – вознаграждение за количество в ущерб качеству грозит всем нам. По этой причине надо очень настороженно относиться к единичным исследованиям, особенно в области медицины и в других сферах, где более охотно рассматривают не механизмы, а корреляции. Статистически значимый результат еще не говорит о том, что он (результат) “реален”, и об этом надо всегда помнить.

Так получилось, что мы с Джоном Иоаннидисом занимались моделированием прессинга принципа “публикуйся или умри” и его влиянием на достоверность публикуемых научных данных. Итоги нашей работы нас нисколько не удивили. Мы показали, что господствующая в современной науке парадигма вознаграждает сомнительные результаты, оставляя в тени строго обоснованные исследования и тем самым лишь замораживая проблему. Наука держится на воспроизводимости; без нее результат не выдерживает критики. Соответственно, этот вопрос в последние годы стал обсуждаться более энергично.

Импульс обсуждению придали движения “Открытый доступ” и “Открытые данные”. Их организаторы призывают ученых представлять все результаты – и положительные, и отрицательные, – а также данные, использованные для обоснования выводов, чтобы к ним могли обратиться и другие исследователи.