Мэтью Сайед - Принцип «черного ящика»

РКИ произвели революцию в фармакологии. Врач и писатель Бен Голдэйкр, проповедующий доказательную медицину, утверждает: «Эта идея сама по себе явно спасла на порядок больше жизней, чем все прочие идеи, с которыми мы сталкиваемся ежедневно» [183]. По словам Марка Хендерсона, бывшего научного редактора газеты The Times, «рандомизированное контролируемое испытание – это одно из величайших изобретений современной науки» [184].

Все-таки стоит заострить внимание на том, что РКИ вовсе не панацея. Бывают обстоятельства, в которых проводить РКИ сложно, а иногда это считается неэтичным. Кроме того, фармацевтические компании часто подтасовывали результаты РКИ и всячески хитрили, чтобы никто не мог обвинить их в предвзятости [185]. Но все это не означает, что рандомизированные контрольные испытания недостоверны – просто их могут сделать такими люди с сомнительными мотивами.

Еще одно замечание состоит в том, что рандомизированные испытания не учитывают целостный характер системы. Скажем, некое лекарство может излечивать конкретный симптом и при этом оказывать негативное долгосрочное влияние на организм в целом или не лечить причину болезни. Таблетки от боли в животе могут навредить иммунной системе, что, в свою очередь, скверно скажется на здоровье пациента в долгосрочном плане.

По сути, это замечание предлагает не ограничивать период оценки результатов клинического испытания коротким промежутком времени после принятия лекарства. Кроме того, результат следует оценивать не по конкретному симптому, а по влиянию лекарства на организм в целом. Отсюда видно, что при проведении РКИ важно обращать внимание на долгосрочные последствия. Увы, медики часто этого не делают.

Все эти соображения играют очень мало роли, когда речь заходит о спасении жизни. Если вы оказались в эпицентре эпидемии оспы или лихорадки Эбола, вы захотите вакцинироваться, даже если существует риск через 10–20 лет столкнуться с осложнениями [186].

С учетом этих оговорок можно сказать, что РКИ предлагают великолепный метод проведения достоверных испытаний в сложном мире. Если проводить РКИ тщательно, исчезает двусмысленность, которая может исказить нашу интерпретацию обратной связи. Между тем провести РКИ очень просто.

Возьмем рассмотренный ранее пример с обновленным дизайном веб-сайта. Нужно установить, увеличились продажи благодаря новому дизайну или чему-либо еще. Предположим, что, когда пользователь заходит на ваш сайт, он случайным образом направляется на страницу либо с новым, либо со старым дизайном. Впоследствии вы можете измерить, где покупают больше товаров – на новом сайте или на старом. Этот эксперимент отфильтрует все прочие факторы – процентные ставки, конкурентов, погоду – и выявит скрытую контрфактическую информацию.

С 1950-х гг. в медицине проведено около полумиллиона РКИ. Это спасло сотни тысяч жизней. Но вот что характерно: в некоторых областях РКИ практически не проводятся. В системе уголовного правосудия о них, кажется, почти ничего не знают. Так, в 2006 г. медики провели 25 тысяч РКИ, между тем в области криминалистики и правосудия с 1982 по 2004 г. прошло всего-навсего 85 таких испытаний [187].

Дэвид Хэлперн, один из самых уважаемых аналитиков Великобритании, говорит: «Во многих сферах государственного управления не проводится вообще никаких испытаний. Решения принимаются на основании догадок, интуиции и нарратива. Точно так же обстоят дела во многих сферах за пределами госсектора. Мы летим вслепую, не имея ни малейшего понятия, какие решения правильны, а какие нет. На деле это довольно страшно» [188].

Замкнутые циклы – это не просто занятный феномен, они часть мира, в котором мы живем. Они могут быть маленькими и огромными, малозаметными и очень сложными, они существуют в маленьких компаниях, больших компаниях, благотворительных фондах, корпорациях и правительствах. Большая часть наших представлений о мире никогда не подвергалась нормальному тестированию. И не подвергнется, если мы что-нибудь не предпримем.

Для того чтобы взглянуть на потрясающую бездну между тем, что, по нашему мнению, мы знаем, и тем, что мы знаем на самом деле, давайте вернемся к программе «Испугаться и исправиться». Она казалась весьма эффективной. Статистика наблюдений выглядела убедительно [37] Статистикой наблюдений называют все статистические данные, полученные из наблюдений за тем, что происходит. РКИ отличаются тем, что показывают не только то, что происходит, но вдобавок дают для сравнения контрфактические данные. . Но мы знаем, что программа не уменьшила число преступников, а увеличила его.

Во многих аспектах «Испугаться и исправиться» – метафора не только для государственной политики (возможно, ближайший аналог кровопускания для XX в.), но и для других сфер нашей деятельности. Эту программу могли реализовывать десятилетиями, а то и веками, не подвергая проверке ее итоги.

«Испугаться и исправиться» – это метафора, но прежде всего это предостережение.

В 1999 г. американское телевидение показало документальный фильм «Испугаться и исправиться: 20 лет спустя». На сей раз в качестве рассказчика выступил не Питер Фальк, а Дэнни Гловер. Зрителям показали, как сложились судьбы всех семнадцати худеньких подростков, которых мы видели в первом фильме. Результаты программы казались такими же чудесными, как и 20 лет назад.

Многие участники ленты рассказывали, как им живется сейчас. Почти все утверждали, что трехчасовое посещение тюрьмы Рауэй два десятилетия назад круто переменило их жизнь. Теренс, чернокожий юнец, угонявший машины и грабивший магазины, иногда читает проповеди в местной баптистской церкви, у него есть жена и двое сыновей. «Вполне вероятно, что если бы я не побывал тогда в Рауэе, то попал бы за решетку и сейчас был бы мертв», – говорит он.

Лори – в первом фильме это 16-летняя девушка с широкой улыбкой и большими серьгами, торговавшая наркотиками, – теперь бухгалтер и мать, ей уже 36 лет. «Тем утром я думала, что это повод прогулять уроки, – говорит она. – Прежде я никогда ничего не боялась… В тот день я поняла, что больше не хочу быть неучем… Я стала чаще ходить в школу…»

Анджело, парню с нечесаными волосами и тонкими усиками, стукнуло 37 лет. Он зарабатывает на жизнь настиланием полов, у него трое детей. Он говорит: «Если бы я не поехал тогда в Рауэй, мне пришлось бы несладко. Если бы тот день был другим, у меня не было бы моей семьи. Сейчас моя семья для меня – это все лучшее, все самое прекрасное, что есть на свете».

Так феномен «Испугаться и исправиться» был подан миллионам телезрителей. Статистика тоже вроде бы подтверждала успех этой программы. Ее разработчики позаботились о том, чтобы собрать информацию, что редко делают в других социальных программах.