Бен Голдакр - Обман в науке

Это в том случае, если вам нужно добраться до сути проблемы.

А если нужно просто проверить утверждение? Есть, например, несколько настолько странных мнений, что вам не удастся найти доктора наук, готового под ними подписаться; и есть в медицине несколько предположений, настолько нелепых, что вы не сможете подобрать какие-либо опубликованные экспериментальные данные, подтверждающие их, если только не будете притягивать их за уши и выбирать из обширной литературы исключительно то, что вам подходит.

Одно из крупнейших исследований по подбору фактов в академической литературе началось после статьи Лайнуса Полинга (Linus Pauling), прадедушки современной диетологии, и его основополагающей работы по приему витамина С при простуде. В1993 ГОДУ Пауль Книпшилд (Paul Knipschild), профессор эпидемиологии Университета Маастрихта, написал главу в солидный учебник «Систематические обзоры» ( Systematic Reviews ): он испытал значительные трудности, рассматривая публикации времен Полинга и подвергая их тому же самому строгому разбору, который вы найдете в современной литературе.

Он обнаружил, что Полинг специально выбрал те результаты исследований, которые доказывали преимущества витамина С. Если он ссылался на исследования, не подтверждающие его теорию, то называл их методологически некорректными. Правда, как показали реальные простуды, такими же оказались и статьи, которые он щедро цитировал для подтверждения своего мнения.

В защиту Полинга можно сказать, что он жил в то время, когда люди не знали лучшего выхода, и, возможно, не понимал, что делает. Сейчас тенденциозный подбор доказательств — одна из наиболее частых сомнительных практик в альтернативной медицине, в особенности в диетологии, где он фактически считается нормальным. В действительности «тенденциозный подбор фактов» — это то, что целители называют «альтернативной парадигмой». В классической медицине это тоже встречается, но есть большая разница: здесь это считается серьезной проблемой, и ведутся поиски ее решения.

Решением является «систематический обзор». Вместо того чтобы ходить вокруг да около в онлайне и выбирать самые подходящие статьи, чтобы подтвердить свои предположения и продать продукт, в систематическом обзоре у вас есть четкая стратегия поиска данных (честно описанная в вашей статье, включая даже ключевые слова, которые вы использовали при поиске в базах данных научных статей). Вы берете характеристики всех найденных исследований, дальше (в идеале вслепую по отношению к результатам) измеряете методологическое качество каждого (чтобы понять, насколько это «справедливый тест»), дальше сравниваете альтернативы и потом даете критичное, взвешенное заключение.

Именно так поступает Кохрановское сотрудничество (Cochrane Collaboration) с любой темой по здравоохранению, которую удается найти. Иногда оно даже привлекает к работе посторонних людей, чтобы те поставили новые вопросы. Такой тщательный анализ информации заполнил крупные пробелы в знаниях, он выявил, что «лучшие методы» были иногда убийственно ошибочными, и просто с помощью анализа существующих данных Кохрановскому сотрудничеству удалось спасти больше жизней, чем вы можете вообразить. В XIX веке, как сказал доктор Мюир Грей (Muir Gray), был достигнут большой успех в обеспечении чистой, прозрачной водой; в XXI веке такой же успех нужен в обеспечении ясной, понятной информацией. Систематические обзоры — это одна из великих идей современной мысли. Это нужно отпраздновать.

Мы уже видели, какие ошибки допускают диетологи в попытках доказать их невнятные и механистичные утверждения. Будет еще забавнее, если приложить полученные данные к одному из ключевых утверждений в диетологии и вообще широко распространенному убеждению: «Нужно есть больше антиоксидантов».

Как вам известно, есть множество способов проверить, укладываются ли в общую картину найденные доказательства, и редко встречается ситуация, когда вся эта картина держится на одном кусочке информации. В случае утверждений по поводу еды необходимо учитывать множество различных факторов: допустимо ли это теоретически, соответствует ли это результатам наблюдений за людьми с разными режимами питания, соотносится ли это с данными экспериментов, когда одной группе людей назначают одну диету, а другой — другую, измеряют ли в этих исследованиях реальные результаты, например смерть, или суррогатные, например анализы крови, которые только гипотетически связаны с болезнью.

Моей целью ни в коем случае не является доказательство того, что антиоксиданты совершенно не связаны со здоровьем. Если бы я придумал слоган ко всей книге, который можно было бы написать на футболке, то он был бы таким: «Все это на самом деле сложнее…» Я хочу, как говорят, представить как проблему типовой взгляд диетологов на антиоксиданты, который отстает от научных доказательств примерно лет на двадцать.

С теоретических позиций идея, что антиоксиданты полезны для здоровья, достаточно привлекательна. Когда я учился на врача (а это было не так давно), самый популярный учебник по биохимии назывался «Страйер» [11]. Эта неподъемная книга наполнена сложными взаимосвязанными схемами того, как химические вещества (то, из чего вы состоите) перемещаются по телу. Там показано, как различные ферменты расщепляют пищу на составляющие молекулы, как потом эти молекулы абсорбируются и из них собираются более сложные, из которых построены мышцы, радужная оболочка глаза, нервы, кости, волосы, мембраны, слизь и все остальные составляющие вашего тела, как различные виды жиров расщепляются и из них синтезируются другие жиры, как разные виды молекул (сахар, жир и даже спирт) расщепляются пошагово с выделением энергии, как эта энергия переносится и как побочные продукты этого процесса используются, или, присоединяясь к чему-то еще в крови, выводятся почками, или распадаются на составляющие, или превращаются во что-нибудь полезное и т. д. Это одно из чудес жизни, бесконечно прекрасное и восхитительное.

Глядя на эти огромные, непомерные взаимосвязанные таблицы, сложно не поразиться разносторонности человеческого организма и тому, как он может провести почти алхимическую трансформацию такого большого количества веществ. Очень легко выбрать один элемент из этой большой взаимосвязанной системы и сосредоточиться на мысли о том, что он крайне важен. Возможно, он часто появляется на схеме, возможно, наоборот, очень редко, возможно, он играет важную роль в ключевом месте. Легко предположить, что, если этого вещества будет больше, процесс будет идти более эффективно.

Но, как и в любой большой взаимосвязанной системе (типа общества или организации), воздействие в одном месте может повлечь неожиданные последствия: в структуре существуют механизмы обратной связи и компенсационные механизмы. Изменения в конкретной области могут быть ограничены неожиданными факторами, далекими от измеряемого параметра, и увеличение количества одного вещества в одном месте может изменить обычные пути метаболизма и дать совсем не те результаты.