Мэтью Сайед - Принцип «черного ящика»

Но сперва спросим: как статистика может свидетельствовать об успешности программы, которая на деле провалилась? Как может быть, что проект терпит неудачу, а эксперты в один голос его поддерживают? Чтобы ответить на эти вопросы, взглянем на одно из важнейших научных открытий за последние двести лет, которое позволит нам вникнуть в самую суть феномена замкнутого цикла – и понять, как из него выбраться.

Позвольте представить: рандомизированное контролируемое испытание.

Замкнутые циклы часто появляются из-за людей, скрывающих свои ошибки. Они возникают также, когда мы закрываем глаза на неудачи вместо того, чтобы их признать. Есть и третий способ создать замкнутый цикл: через неправильную интерпретацию.

Именно таким путем шли средневековые медики, практиковавшие опасное кровопускание. Эти врачи как будто бы получали точную обратную связь, позволявшую судить о том, работает метод или нет. Пациент либо умирал после процедуры, либо не умирал. Факты были налицо.

Но как интерпретировать факты? Мы видели, что врачи, убежденные в полезности кровопускания авторитетами вроде Галена, не сомневались в действенности метода. Если пациент умирал, значит, он был так сильно болен, что не могло помочь даже кровопускание. Если пациент выживал, значит, метод работал.

Только представьте себе, сколько историй успеха кровопускания циркулировало в средневековом мире – историй о людях, которые были очень больны, возможно, находились при смерти, но после кровопускания выздоравливали. Насколько убедительно звучали эти свидетельства! «Я был одной ногой в могиле, но тут доктор пустил мне кровь – и я излечился!»

Представьте, как такие люди нахваливали кровопускание на рыночных площадях. Ну а те, кто умер? Они, ясное дело, уже не могли ничего сказать. Их свидетельства остались неуслышанными.

Теперь взгляните на рисунок [182].

Кровопускание без контрольной группы

В этом (гипотетическом) примере группу хронически больных людей лечат кровопусканием. Некоторые из них выздоравливают. Таков «факт», подтверждающий полезность лечения. Пациентам стало лучше, и они, естественно, очень этому рады.

Но ни врачи, ни пациенты не знают, что было бы, если бы процедура кровопускания не была проведена . В экспериментах эту информацию называют контрфактической. Речь обо всем том, что могло бы произойти, но так с нами и не произошло потому, что мы пошли другим путем.

Мы не знаем, что бы случилось, если бы мы не вступили в брак. Или если бы у нас была другая работа. Мы можем рассуждать о том, «что было бы, если бы», выдвигать достоверные гипотезы. Но на деле мы этого не знаем. Мысль может показаться банальной, но она влечет за собой важные выводы.

Теперь посмотрим на другой рисунок. Здесь пациентов случайным образом разделили на две группы. Одну лечили кровопусканием, другую (ее называют контрольной группой) – нет. Данный тип эксперимента известен как «рандомизированное контролируемое испытание» (РКИ); в медицине его называют клиническим испытанием. По рисунку видно, что многие пациенты, которым пускали кровь, вылечились. Кажется, метод успешен. Обратная связь впечатляет.

Кровопускание с контрольной группой

Но взгляните на группу, которая осталась без лечения. В ней выздоровело куда больше людей! Причина проста: наше тело может восстанавливаться само по себе. Люди поправляются естественным образом, без всякого лечения. Если сравнить две группы, можно увидеть, что, несмотря на веру средневековых врачей в полезность кровопускания, в действительности оно скорее убивает. Этот факт остался бы незамеченным, если бы не было контрольной группы [36] Случайное распределение (по жребию) очень важно: благодаря ему группы с большой вероятностью будут одинаковыми – при условии, что они достаточно многочисленны. Между ними есть единственное системное отличие: одних пациентов лечат, других нет. . Вот почему, как мы отметили в первой главе, кровопускание сохраняло репутацию полезной процедуры вплоть до XIX в.

До сих пор мы рассматривали случаи недвусмысленных ошибок. Когда самолет разбивается, вы знаете, что с системой что-то не так. Когда анализ ДНК показывает, что осужден невиновный, вы знаете: что-то не так с судом или следствием. Когда любители новинок отвергают минимально конкурентоспособный продукт, можете быть уверены: конечный продукт никто покупать не будет. Когда распылитель забивается, вы знаете, что вам предстоят расходы. Эти примеры дают нам возможность изучить откровенные неудачи.

В реальной жизни неудачи по большей части совсем другие. Обычно они воспринимаются двусмысленно. То, что выглядит как успех, может быть неудачей, и наоборот. Все это, в свою очередь, составляет серьезное препятствие на пути прогресса. В конце концов, как можно учиться на ошибках, если мы не уверены, что потерпели неудачу? Или, если сказать то же самое языком последней главы, как можно запустить процесс эволюции без вразумительного процесса отбора?

Посмотрим на конкретный пример. Допустим, вы сделали новый дизайн веб-сайта вашей компании – и продажи немедленно повысились. Вы можете сделать вывод, что новый дизайн обусловил скачок продаж. Ведь одно событие предшествовало другому! Но как вы можете быть уверены в своем выводе? Нельзя исключать, что продажи выросли не благодаря новому дизайну сайта, а потому, что обанкротился ваш конкурент, или потому, что выдался дождливый месяц и люди чаще покупали товары в интернете. Более того, существует вероятность того, что продажи выросли бы еще больше, если бы дизайн сайта остался прежним .

Изучение статистики продаж поможет вам отыскать ответ на вопрос не больше, чем определение числа выздоровевших после кровопускания поможет определить, эффективен этот метод лечения или нет. Причина проста: вы не берете в расчет контрфактические возможности. Вы не знаете, как повлияли на продажи другие факторы – может быть, те, которые вы вообще не учитываете.

РКИ решают эту проблему. Они повышают точность эксперимента и приближают оттенки серого к черно-белому изображению. Рассматривая чистое взаимодействие между вмешательством (кровопускание, новый веб-сайт…) и результатом (выздоровление, продажи…), исключая другие воздействия, РКИ очищают обратную связь. Без подобного испытания легко прийти к неверным выводам, и не единожды, а бесконечное число раз.