Мэтью Сайед - Принцип «черного ящика»

Рассмотрим данный принцип на конкретном примере. Предположим, мы пытались улучшить ситуацию с африканским образованием. Чтобы узнать, не впустую ли потрачена финансовая помощь, можно, скажем, взглянуть на корреляцию между объемом помощи и средней успеваемостью на континенте. Проблема в том, что мы не получим контрфактические данные (какой была бы успеваемость, если бы финансирования не было).

Теперь предположим, что мы смотрим не на образование вообще, а на конкретную программу. Именно так поступила группа экономистов-новаторов в районах Бусиа и Тесо – беднейших регионах на западе Кении. Как рассказывает Тим Харфорд в книге «Через поражения – к победе» (Adapt: Why Success Always Starts with Failure), экономисты хотели узнать, насколько повысится успеваемость, если раздавать учебники школам бесплатно. Интуиция подсказывает, что подход должен работать. Данные наблюдений тоже были хорошими. В школах, которые получали учебники бесплатно, успеваемость чаще всего повышалась.

Однако экономисты хотели быть уверены в результате, поэтому провели РКИ. Вместо того чтобы раздавать учебники самым нуждающимся школам (стандартный подход), они случайным образом разделили участвовавшие в эксперименте школы на две группы: в первой школе получали учебники, во второй – нет. Итак, у них имелись основная группа и контрольная группа. Благотворительный фонд получил возможность узнать, влияет ли раздача учебников на что-либо.

Результаты эксперимента были показательными и удивительными. Ученики школ с бесплатными учебниками получали в среднем такие же оценки, как и ученики других школ. Успеваемость в обеих группах была почти одинаковой. Результат противоречил интуиции и статистике наблюдений. Впрочем, с рандомизированными испытаниями такое происходит сплошь и рядом.

Как выяснилось, беда была не в учебниках, а в языке, на котором они написаны. Английский – третий язык большинства детей из бедных семей в отдаленных районах Бусиа и Тесо. Ученики просто не могли понять, о чем в учебнике идет речь. Без РКИ исследователи могли не обратить на это внимания. Причина неуспеха была в том, о чем никто просто не думал.

Получив отрицательный результат, экономисты испробовали другой подход. Они провели еще одно РКИ: на сей раз вместо учебников школы получали наглядные пособия и запоминающиеся рисунки, по которым можно объяснять географию, математику и т. д. И вновь экономисты ожидали, что успеваемость повысится. И вновь, сравнивая результаты основной группы с результатами контрольной, они увидели, что наглядные пособия потерпели неудачу. Оценки учеников лучше не стали.

Экономисты не опустили руки и стали придумывать новые подходы к проблеме. Они придумали раздавать бесплатно нечто оригинальное: лекарство от глистов. Кому-то может показаться, что это странный способ улучшать успеваемость в школах, однако исследователи знали, что паразиты замедляют развитие человека, делают детей сонными и ведут к частым прогулам. Особенно сильно глисты влияли на детей в захолустье вроде регионов Бусиа и Тесо.

На этот раз результаты были великолепными. Они существенно превзошли ожидания ученых. Как пишет Тим Харфорд: «Программа была весьма успешной, дети стали расти быстрее, снизился риск повторного заражения, число прогулов в школах уменьшилось на 25 %. Расходы были незначительными» [203].

Это и был минимальный успех. Всего одна программа в одном маленьком регионе. Но если рассматривать проблемы образования на этом уровне, можно увидеть, какие программы успешны, а какие нет. Ученые их протестировали, потерпели неудачу и научились чему-то на своих ошибках. Теперь они могли применить ту же программу в других регионах, экспериментируя вновь и вновь – и продолжая добиваться новых минимальных успехов.

Можно сказать, что так далеко не уедешь, но подумайте об альтернативах. Представьте, что было бы, если бы экономисты положились на интуицию и эмпирическую статистику. Они дарили бы учебники школам вечно, уверяя себя в том, что делают благое дело, хотя в действительности ничего не добивались бы.

Сегодня данный подход реализуют несколько решительно настроенных экономистов, и благодаря их усилиям за последнее десятилетие сфера международного развития преобразилась. Эта группа ученых не совершает революций, вместо этого она сосредоточилась на небольших достижениях. Вот что говорит одна из самых активных защитниц концепции Эстер Дюфло, экономист родом из Франции: «Если мы не знаем, выйдет из наших действий толк или нет, мы ничем не лучше средневековых врачей с их пиявками. Иногда пациенты выздоравливают, иногда умирают. От пиявок или из-за чего-то еще? Мы не знаем» [204].

Критиков рандомизированных испытаний часто беспокоит нравственность «экспериментов над людьми». Разве можно одной группе давать X, а другой Y? Почему бы каждому не получать наилучшее возможное лечение? В таком разрезе РКИ могут казаться неэтичными. Но давайте взглянем на них под другим углом. Если вы действительно не понимаете, какие меры наиболее эффективны, выяснить это вы можете, лишь проведя испытание. Отказавшись от него, вы не станете этичнее. Вы просто ничему не научитесь. И в конце концов никому не поможете.

Дюфло, изящная энергичная женщина, не думает, что ее работа лишена честолюбия. Наоборот, она считает принцип поэтапных изменений новаторским:

Очень легко сидеть в кресле и придумывать великие теории, которые могли бы изменить мир. Однако наша интуиция часто врет. Мир слишком сложен, чтобы можно было постичь его, запершись в кабинете. Есть только один способ это сделать: нужно проверять идеи и программы на практике – и сразу сказать себе, что ты будешь терпеть неудачу за неудачей. И это неплохо. Твои неудачи ведут к прогрессу.

Самое время вспомнить Тоби Орда, с которым мы встречались в седьмой главе. Используя данные, полученные такими учеными, как Дюфло, Орд рекомендует частным благотворителям программы, на которые стоит тратить деньги. Он понимает, что полагаться на догадки и нарратив – значит пускать миллионы на ветер. Вот почему по всему миру сегодня проводятся сотни контролируемых испытаний. Каждое из них демонстрирует, работают данные программы или нет.

Каждое испытание приводит к минимальному успеху в той или другой области (вспомним, что неудача – не обязательно что-то плохое: благодаря неудачам появляются новые идеи). Разбивая большую проблему на маленькие части, легче прорваться сквозь искажения нарратива. Вы чаще совершаете ошибки – и чаще на них учитесь.

Дюфло говорит: «В самых важных вопросах можно достичь значительного прогресса, если продвигаться постепенно и маленькими шагами – хорошо продуманными, тщательно протестированными и благоразумно реализованными» [205].