Мэтью Сайед - Принцип «черного ящика»

Согласно статистике, от 80 до 90 % участников «Испугаться и исправиться» действительно исправились. В документальном фильме сказано: «Это потрясающая история успеха. Традиционные методы реабилитации так хорошо не работают».

Но если мы оглянемся назад, на 1977 г., начнет проявляться совсем другая картинка. В апреле 1977 г. профессор Ратгерской школы уголовной юстиции Джеймс Финкенауэр решил протестировать программу «Испугаться и исправиться». Статистика наблюдений его не интересовала. Ученый знал, что она может ввести в заблуждение. Его также не интересовали шумиха и тщательно смонтированные документальные фильмы. Он хотел знать, работает ли программа на самом деле . Если коротко, он хотел провести РКИ.

Сегодня Финкенауэр – седовласый мужчина с пытливым взглядом. Он опубликовал десятки статей и получил несколько наград за свои исследования. Его рассуждения поражают: он говорит осторожно, взвешенно, всегда прислушиваясь к собеседнику. В нем есть что-то от лазера: Финкенауэр пытается пробиться сквозь слой заблуждений к истине, которая лежит под ним. Все эти качества помогли ему препарировать феномен «Испугаться и исправиться» научным методом.

Но прежде чем проводить РКИ, Финкенауэр проверил существующую статистику программы. Откуда взялись 80–90 % исправившихся детей? Профессор обнаружил, что эти цифры базируются на опроснике, который был разослан родителям и опекунам подростков, посещавших Рауэй. (Еще одним источником информации стали письменные благодарности финансировавших программу агентств, посылавших детей в Рауэй. Эти письма доверия не заслуживали. У агентств могли быть сотни скрытых причин верить в успех программы.)

Опросник содержал четыре вопроса, подразумевавших ответы «да» или «нет»:

Заметили ли вы явные перемены в поведении вашего ребенка после посещения тюрьмы?

Наблюдаются ли в его поведении незначительные изменения после посещения тюрьмы?

Считаете ли вы, что вашему сыну или вашей дочери необходимо еще одно такое посещение?

Можем ли мы чем-то помочь вам, вашему сыну или вашей дочери?

Ниже было оставлено место для комментариев [189].

Что такое «явные перемены»? А «незначительные изменения»? Эти понятия можно ведь истолковать как угодно. Финкенауэр выявил также любопытный факт: многие дети, посещавшие тюрьму Рауэй, не были малолетними преступниками и не склонялись к антисоциальному поведению. И если они не совершали впоследствии никаких преступлений, это вряд ли можно рассматривать как успех программы. Более того, опросники рассылались родителям через несколько недель после посещения тюрьмы их детьми. Судить об изменениях в поведении за столь короткий промежуток времени невозможно.

И это была лишь малая часть претензий. Как выяснилось, основной массив статистических данных нельзя принимать всерьез. Прежде всего, в статистику были включены только те, кто ответил на опросник. Тех, кто не ответил, словно бы и не было. Только представьте, как эта ошибка могла повлиять на результат. Не исключено, что на вопросы ответили родители только тех детей, которые действительно исправились. Матери и отцы подростков, продолжавших вести себя плохо, могли просто выбросить опросник; по крайней мере, ответивших среди них было явно меньше. Все это, вполне вероятно, исказило статистику.

Данный тип ошибки известен как «систематическая ошибка отбора», и мы с ним уже сталкивались. Почти та же проблема существовала в средневековой медицине: доказывая эффективность кровопускания, врачи учитывали только пациентов, которые выздоровели. «Доказательная база» представлялась убедительной, но оставалась опасно неполной. Те, кто кровопускания не пережил, права голоса не получали. Почему? Потому что они были мертвы.

Другая проблема статистики программы «Испугаться и исправиться» была еще хуже. Она имела отношение к контрфактическим данным. Даже если бы на опросники ответили все без исключения (чего не было), мы по-прежнему не могли бы утверждать, что результаты обусловлены программой и ничем иным. Может быть, поведение подростков улучшилось бы и без внешнего вмешательства. Или оно улучшилось, потому что улучшилась местная экономическая ситуация, потому что изменилась школьная программа, по какой-то другой причине. Возможно, результаты были бы лучше, если бы вмешательства не было .

В августе 1978 г. Финкенауэр случайным образом разделил малолетних преступников на две группы [38] Провести РКИ оказалось намного сложнее, чем Финкенауэр изначально предполагал. Представители программы отказывались сотрудничать. Судья Никола, поддерживавший программу своим авторитетом, пытался уничтожить возможность проведения РКИ в зародыше. «Он не видел нужды оценивать эффективность программы, поскольку уже получил сотни писем, утверждавших, что она успешна», – говорил Финкенауэр. . Одна группа участвовала в программе «Испугаться и исправиться». Другая (контрольная) группа – нет. После этого Финкенауэр стал ждать результатов. Невзирая на шумиху вокруг программы, на звезд, которые ее пропагандировали, хитроумный пиар, оскароносный документальный фильм, похвалы политиков, слова благодарности тюремного персонала и распространение программы по миру, профессор был первым, кто подверг программу серьезному испытанию на прочность.

Результаты стали сенсацией. Программа «Испугаться и исправиться» не работала. Дети, посетившие Рауэй, были более склонны к совершению преступлений, чем те, кто в программе не участвовал. «Факты доказывают: участники программы совершали новые проступки с большей вероятностью, чем те, кто в тюрьму не ездил, – говорит Финкенауэр. – Если сравнить контрольную группу с группой участников, выводы очевидны».

Для многих эти выводы стали сюрпризом. Программа казалась успешной. Логика выглядела убедительной. Родители буквально в один голос твердили, что их дети «вылечились». Ответы на опросник тоже казались достоверными. Однако все то же самое говорили и о кровопускании. Только благодаря РКИ мы смогли устранить двусмысленность и увидеть, насколько эффективна программа на самом деле.

По словам Финкенауэра:

Люди были убеждены в успехе «Испугаться и исправиться», потому что на интуитивном уровне принцип казался верным. Людям нравится думать, что дети перевоспитаются, услышав от уголовников суровую правду о тюрьме. Но в реальности склонность к преступлению – более сложная штука. Подростки идут на преступления по множеству разных, часто скрытых, причин. Оглядываясь назад, можно утверждать, что трехчасовой визит в тюрьму проблему не решает.

Намерения заключенных были благородными: они и правда хотели, чтобы дети исправились. Однако последствия программы оказались непредсказуемы. Судя по всему, увиденное и услышанное ожесточило подростков. Возможно, многие дети впоследствии совершали преступления, чтобы доказать себе и товарищам, что так просто их не запугаешь [190].