Саймон Сингх - Ни кошелька, ни жизни

Поскольку кроме некачественных исследований и маловразумительных историй опираться было не на что, диспут об эффективности гомеопатии зашел в тупик. Затем, в 1997 году, одна международная исследовательская группа сделала важнейший шаг к разрешению спора. Ею руководил Клаус Линде, сотрудник Центра исследований комплементарной медицины в Мюнхене. Ученый и его коллеги решили проанализировать множество когда-либо проведенных исследований по гомеопатии целиком и выработать всестороннее заключение, которое учитывало бы каждое из них. Это называют метаанализом , то есть анализом нескольких анализов. Иначе говоря, любое отдельное исследование по гомеопатии заканчивалось анализом только собственных данных, а Линде предлагал включить каждый такой анализ в общую базу и на ее основе сделать новый общий вывод – более надежный. Метаанализ можно считать особой разновидностью систематического обзора, который мы обсуждали в предыдущей главе. И то, и другое – попытка сформулировать общий вывод, используя данные нескольких отдельных исследований, однако метаанализ предполагает более математический подход.

Сам термин “метаанализ”, вероятно, многим читателям незнаком, однако это понятие неожиданно возникает в целом ряде привычных ситуаций, когда важно осмыслить большое количество данных. Например, в преддверии всеобщих выборов несколько газет публикуют опросы избирателей – и результаты оказываются противоречивыми. В такой ситуации разумно свести воедино данные всех опросов, что позволит сделать более надежное заключение, чем любой отдельный опрос, поскольку такой метаопрос полнее отражает мнения гораздо большего числа избирателей.

Достоинства метаанализа станут очевидны, если мы попробуем разобраться с некими гипотетическими наборами данных по астрологии. Если бы ваш характер определялся знаком зодиака, по результатам беседы с вами астролог должен был бы его определить. Представьте, что пять конкурирующих групп проводят эксперименты в разных уголках земного шара. В каждом случае одного и того же астролога просят после пятиминутного разговора с клиентом сказать, под какой звездой он родился. В экспериментах участвует от 20 до 290 человек, однако протокол всех экспериментов одинаков.

Просто угадывая, удавалось бы дать правильный ответ в одном случае из двенадцати, так что астролог, чтобы доказать могущество астрологии, должен верно определять знак зодиака значительно чаще. Результаты пяти экспериментов оказались такими:

Эксперимент 112 правильных догадок из 170 (или 0,85 из 12)

Эксперимент 2 15 правильных догадок из 50 (или 1,20 из 12)

Эксперимент 3 15 правильных догадок из 20 (или 3,00 из 12)

Эксперимент 4 16 правильных догадок из 70 (или 1,03 из 12)

Эксперимент 521 правильная догадка из 290 (или 0,87 из 12)

Если рассматривать третий эксперимент отдельно, кажется, будто астрология работает, поскольку пять верных предположений из двадцати – это гораздо больше, чем можно было просто угадать. Более того, в большинстве экспериментов (в трех из пяти) количество верных догадок выше ожидаемого, так что вполне можно было бы решить, что результаты в целом демонстрируют необычные возможности астрологии. Однако метаанализ приводит к другому выводу.

Метаанализ начался бы с замечания, что количество попыток, сделанных астрологом в каждом эксперименте, было достаточно мало, а следовательно, результаты каждого эксперимента можно объяснить чистой случайностью. Иначе говоря, результат любого из этих экспериментов, по сути, не имеет смысла. Затем исследователь, проводящий метаанализ, объединил бы все данные отдельных экспериментов, словно они были частью одного большого опыта. Получилось бы, что астролог верно определил знак зодиака у 49 человек из 600 (или у 0,98 из 12), а это уже очень близко к доле успешных угадываний по чистой случайности (1 из 12). Итак, вывод этого гипотетического метаанализа состоял бы в том, что астролог не продемонстрировал никаких способностей, позволяющих определять знак зодиака человека по чертам его характера. Такой вывод гораздо надежнее всего, что можно было бы заключить из любого эксперимента меньшего масштаба. Выражаясь научным языком, можно сказать, что метаанализ минимизирует случайные и систематические ошибки.

Вернемся к медицинским исследованиям. Метаанализы проводили для оценки самых разных методов лечения. Например, в 1980-х годах исследователи решили узнать, помогает ли кортикостероидная терапия в профилактике респираторных заболеваний у недоношенных младенцев. Ученые разработали протокол испытаний, согласно которому беременным женщинам с повышенным риском преждевременных родов проводили кортикостероидную терапию, а затем наблюдали рожденных ими детей. В идеале нужно было провести одно испытание в конкретной больнице, охватив большое число женщин, однако за год в каждой отдельно взятой больнице можно было выявить лишь единицы подходящих случаев, а значит, при таком отборе испытуемых на накопление достаточного количества данных ушли бы годы. Вместо этого ученые провели несколько испытаний в разных больницах. Результаты по каждой были свои, поскольку младенцев было мало, а влияние случайных факторов велико. Однако метаанализ всех испытаний достоверно показал, что кортикостероидная терапия во время беременности благотворно влияет на недоношенных новорожденных. Эта терапия – одна из причин резкого снижения смертности от респираторного дистресс-синдрома среди новорожденных: в начале 1950-х годов в Америке от него гибло 25 000 младенцев, а сегодня – меньше 500.

Провести метаанализ при исследовании состояния недоношенных младенцев не составило большого труда, поскольку отдельные испытания проходили по похожей схеме, а следовательно, их результаты легко объединялись. То же можно сказать о гипотетическом примере с астрологией. К сожалению, часто это тяжелая работа, ведь отдельные испытания, как правило, проводятся совсем по-разному: например, в случае проверки одного и того же лекарственного средства различаются дозировки, период наблюдения и так далее. Метаанализ, который задумал осуществить Линде, представлялся особенно проблематичным. Чтобы сделать вывод об эффективности гомеопатии, ученый собирался охватить испытания широкого диапазона гомеопатических средств в самых разных разведениях при различных заболеваниях – от легких ожогов до астмы.

Линде тщательно изучил компьютерные базы данных, побывал на множестве гомеопатических конференций, навел справки у специалистов в изучаемой области – и в итоге у него на руках оказалось 186 опубликованных исследований по гомеопатии. Затем он решил исключить из метаанализа результаты тех испытаний, которые не удовлетворяли определенным условиям. Например, в подходящем исследовании помимо контрольной группы и получавшей гомеопатическое лечение должно было присутствовать и плацебо для контрольной группы либо случайное распределение пациентов по лечебной и контрольной группам. После отбора осталось 89 испытаний, а за ним последовало несколько месяцев скрупулезного статистического анализа, который должен был обеспечить надлежащий вклад каждого испытания в окончательный вывод. Так, совсем небольшое исследование должно было иметь очень малый вес, поскольку надежность результатов испытания тесно связана с количеством испытуемых.