Саманта Клейнберг - Почему

Это не всегда практично, однако возможно заранее определить все этапы анализа данных до их сбора и зафиксировать ради доказательства, что программа строилась независимо от результатов [289].

Протоколы экспериментов и испытания лекарственных препаратов применяют именно этот принцип, когда аналитики должны подготовить программу до сбора любых данных [290]. Такой подход не свободен от некоторых прикладных проблем, поскольку часто возникают неожиданные сценарии (хотя при этом выявляется смещение в сторону положительных результатов [291]). В нашем гипотетическом эксперименте с изжогой можно было заранее определить, какие первичные сведения подлежат измерению (например, частота приступов), какие вторичные (например, сила приступа), какой из слепых методов будет применяться и какова приблизительная численность участников. Однако можно не суметь обеспечить целевую выборку или не предвидеть, что придется остановить эксперимент на ранней стадии из-за недостатка финансирования. В связи с этим придерживаться подготовленного плана не всегда получается.

Скажем, мы проводим эксперимент с изжогой, и, кажется, он будет удачным. Прием лекарства заметно снижает тяжесть заболевания и частоту приступов по сравнению с другим лечением, а сам препарат в итоге одобрен и выведен на рынок. У доктора, знакомого с результатами исследования, есть новый пациент 80 лет, который принимал 10 разных лекарств [292]и имеет в анамнезе диабет и застойную сердечную недостаточность. Следует ли прописывать ему новый медикамент?

Контролируемый эксперимент, пытающийся обеспечить внутреннюю валидность (то есть возможность ответить на изначально поставленный вопрос), нередко выполняется ценой внешней валидности (то есть повышенной обобщаемости результатов). Изучение однородной группы населения может привести к изолированию возможной причины, но это ограничит полезность результатов для принятия решений по остальному населению. С другой стороны, высокая вариативность ведет к искажениям и невозможности выявить истинное следствие, если оно есть только в определенных подгруппах. Важно, что на каждом отдельном этапе выборочного эксперимента присутствует отбор.

Типовые клинические испытания начинаются с пула потенциальных пациентов. Они выбираются из числа тех, кто проходит лечение в рамках системы, проводящей исследование, или тех, к кому эта система имеет доступ. Но с самого начала не берутся в расчет те, кто не может или не хочет обращаться за медицинской помощью. Еще есть лечившиеся в отделении, где проводится эксперимент, и у врача, участвующего в нем. Здоровье этих пациентов может быть хуже, чем у населения в целом, или, напротив, эксперимент может исключать самых тяжелых больных, которые лечатся где-то еще. Существуют критерии отбора в рамках самого исследования, когда исключаются пациенты со множественными хроническими заболеваниями (как в нашем гипотетическом опыте с изжогой). К тому моменту, когда пациент соглашается участвовать, выборка весьма значительно сужается. Суть не в том, чтобы непременно охватить экспериментом всех и вся, однако немало практических факторов влияют на отбор участников. Это следует принимать во внимание, переходя от оценки валидности эксперимента к попытке применить его результаты.

О том, как определить применимость результатов некоего исследования к конкретному пациенту или группе населения, написано немало [293]. Как правило, нам не приходится принимать решения в идеальном мире выборочного эксперимента, где пациенты страдают только одним заболеванием, и в большинстве случаев нет возможности ждать, пока кто-то проведет исследование, соответствующее нужному сценарию. Это справедливо и для врачей, определяющих программу лечения пациентов и пытающихся понять, в какой степени отчеты об испытаниях применимы к конкретному случаю. Проблема с ВКЭ состоит в том, что он подтверждает: лечение может вызвать определенное следствие только у отдельной группы населения. Другая же группа может не обладать свойствами, обеспечивающими эффективность воздействия.

Например, если, согласно ВКЭ, лекарство А лучше лекарства B, а другое исследование утверждает, что B лучше C, мы, вероятно, сделаем допущение, что А также лучше С. В одном обзоре нейролептических препаратов описаны как раз подобные случаи, но при этом выборочные эксперименты подтвердили, что C лучше А [294].

Откуда появляются такие аномальные заключения?

Многие испытания спонсируются производителями тестируемых медикаментов, однако противоречивые результаты возникают вне зависимости от того, кто оплачивает эксперимент. Даже если отчетные данные абсолютно правдивы и никто ничего не подтасовывает, с учетом огромного множества решений, которые необходимо принимать при проведении испытаний, возможность смещения результатов в пользу какого-либо исхода по-прежнему остается. Выбирая конкретную дозировку, критерии отбора, меры результатов и виды статистических тестов, можно смещать выводы в пользу определенного лекарства, когда оно очевидным образом будет смотреться лучше остальных.

Как мы увидим в главе 9, чтобы действительно знать, что полученный вывод можно применить к другой выборке, нужно быть уверенными, что свойства, определяющие эффективность причины, присутствуют в обеих выборках и что вторая не обладает характеристиками, отрицательно влияющими на причину. Но это достаточно обременительно, поскольку мы часто не знаем, что в точности необходимо для эффективного действия причины.

К примеру, мы проводим рандомизацию людей по различным видам офисных кресел, чтобы выяснить, действительно ли сидение на физиомячах [295]помогает сбросить вес по сравнению с обычными креслами. В этом эксперименте физиомячи приводят к статистически значимой потере веса за шесть месяцев; но, если испробовать их на другой группе людей, эффект окажется нулевым. Такое может случиться, если люди из первой выборки решат, что сидеть на мячах неудобно, или будут с них постоянно падать, поэтому им придется либо стоять, либо прохаживаться в течение дня гораздо чаще. А люди из второй выборки будут использовать мячи как кресла, то есть сидеть на месте. Реальное вмешательство – это нечто (а не мяч), побуждающее людей чаще вставать, хотя в рамках эксперимента его выявить нельзя.

Точно так же метод реализации вмешательства в контролируемых условиях может не отражать реальности. Некоторые лекарства необходимо принимать каждый день в одно и то же время, и в реальных условиях их эффективность может оказаться ниже, чем в условиях эксперимента, если пациенты – участники исследования с большей вероятностью склонны следовать инструкциям.