Джон Брокман - Эта идея должна умереть. Научные теории, которые блокируют прогресс

К тому же в масштабных РКИ часто бывает сложно в достаточном объеме предоставить всем участникам поддержку и ресурсы для формирования нового образа жизни. Потому и аккуратность выполнения инструкций будет не столь высока, как ожидалось по результатам пилотного исследования (проведенного, разумеется, на группе меньшего размера).

В результате (a) сокращается вероятность того, что экспериментальная группа внесет необходимые изменения в свой образ жизни, и (б) возрастает вероятность того, что контрольная группа, наоборот, изменит свой образ жизни. А это, в свою очередь, сокращает разницу в результатах между двумя группами и делает результат исследования менее статистически значимым. И вывод о том, что изменение образа жизни оказывает лишь незначительное влияние на вероятность заболеваний, может оказаться ошибочным. Это так называемая «ошибка второго типа»: разница в результатах действительно была, но формат исследования не позволил ее зафиксировать.

Именно это и произошло с исследованием изменений в диете, которое было проведено «Программой в области здоровья женщин» ( Women’s Health Initiative, WHI ) – проектом, в рамках которого на протяжении более 8 лет были исследованы почти 50000 женщин среднего и преклонного возраста. Участниц экспериментальной группы попросили сократить в ежедневном рационе количество жиров и есть больше фруктов, овощей и цельнозерновых продуктов, чтобы выявить, препятствует ли такая диета развитию раковых и сердечных заболеваний. Участниц контрольной группы изменять режим питания не просили. Однако экспериментальная группа не смогла сократить потребление жиров до рекомендованных исследователями 20 % от дневного рациона: этот показатель все еще превышал 29 %. Количество потребляемых фруктов и овощей тоже возросло недостаточно.

В контрольной группе, напротив, был весьма заметно сокращен уровень потребляемых жиров и увеличилось потребление фруктов и овощей, и это привело к тому, что разница между результатами первой и второй групп стала несущественной. В конце концов исследователи пришли к выводу, что изменения в диете не защищают от рака и заболеваний сердца, но на самом деле эта гипотеза так и не была по-настоящему проверена.

Парадоксально, но небольшое исследование с большей вероятностью даст надежный результат при сравнении групп. Описанное исследование WHI стоило почти миллиард долларов, но так и не смогло проверить гипотезу. Исследование меньшего масштаба дает возможность уделять больше внимания пациентам и гарантирует более тщательное соблюдение условий эксперимента при меньших затратах.

Кроме того, представление о том, что в рамках РКИ вы меняете только одну переменную (вмешательство/ невмешательство) и измеряете только одну зависимую переменную (результат), – часто всего лишь миф. Предположим, вы исследуете влияние физических упражнений на заболеваемость раком. Вы планируете испытание, в рамках которого случайным образом делите участников эксперимента на контрольную группу (ее члены не будут упражняться) и основную (они будут выполнять упражнения). В теории кажется, что вы работаете только с одной переменной. На практике же, заставляя людей делать физические упражнения, вы влияете сразу на несколько факторов, которые, в свою очередь, могут повлиять на результаты. К примеру, люди часто занимаются не поодиночке, а в группах, – а ведь уже доказано, что социальная поддержка сама по себе существенно снижает риск развития большинства хронических заболеваний. К тому же вы ставите испытуемым цели и наполняете смыслом их действия, а это также оказывает положительное терапевтическое действие. И, наконец, когда люди занимаются спортом, они склонны есть более здоровую пищу.

Нам нужны новые, более продуманные планы исследований и системный подход, учитывающий все вышеописанные нюансы. Дальнейшие открытия в изучении генома помогут нам лучше понять механизмы индивидуальной реакции на лечение вместо того, чтобы надеяться, что эти индивидуальные вариации будут усреднены случайным распределением пациентов по группам.

Профессор психологии Мичиганского университета. Автор книги Intelligence and How to Get It [54].

Знаете ли вы о том, что употребление в пищу большого количества оливкового масла снижает риск смерти на 41 %? Или о том, что оперативное лечение катаракты на 40 % снижает риск умереть в течение последующих 15 лет (в сравнении с людьми, не прооперировавшими катаракту)? Или о том, что глухота вызывает деменцию?

Подобные заявления то и дело мелькают в средствах массовой информации. Обычно они основаны на исследованиях, в которых использовался анализ множественной регрессии (АМР). Метод заключается в том, что определенное число независимых переменных (предикторов или регрессоров) сопоставляется в одной и той же зависимой переменной. Цель обычно заключается в том, чтобы доказать, что предиктор А влияет на переменную B независимо от влияния всех остальных переменных. Иными словами, экспериментатор хочет показать, что A и B коррелируют при любом значении С, D и E .Например, употребление вина коррелирует с низким уровнем сердечно-сосудистых заболеваний при любом значении таких факторов, как социальное положение, лишний вес, возраст и т. п. Эпидемиологи, медики, социологи, психологи и экономисты особенно склонны применять эту технику, хотя ее можно использовать практически в любой научной области.

Однако претензия АМР – всегда подразумеваемая, но иногда и открыто высказываемая – на то, что она способна выявлять причинно-следственную связь, не имеет под собой оснований. Мы знаем, что в действительности основной предиктор (к примеру, употребление оливкового масла) коррелирует с множеством других предикторов, которые могли быть неправильно измерены либо вовсе не учтены. В результате значение каждого из этих предикторов устанавливается произвольно и любой из них может оказывать влияние на зависимую переменную.

Как вы думаете, влияет ли число учеников в классе на их успеваемость? Разумно предположить, что да. А вот целый ряд исследований АМР утверждает, что средний размер класса – если учесть средний доход семей учеников, результаты IQ -тестов, размер города, его географическое положение и так далее – не влияет на успеваемость. На практике это означает: можно не тратить деньги на попытки сократить число учеников в классах.

Однако в очередном эксперименте (без привлечения АМР) исследователи случайным образом распределили учеников, от дошкольников до третьеклассников, либо в маленькие классы (13–17 человек), либо в большие (22–25 человек). Меньшие классы показали лучшие результаты в стандартном тестировании; при этом дети – представители расовых меньшинств показали лучшие результаты, чем белые дети. И это не просто очередное исследование о влиянии размера класса; оно полностью заменяет все исследования этого вопроса, проведенные на базе АМР.