Ричард Нисбетт - Мозгоускорители. Как научиться эффективно мыслить, используя приемы из разных наук

Бывают и другие обстоятельства, которые могут придать корреляционному исследованию такой уровень убедительности, что его можно поставить в один ряд с естественными экспериментами и даже с рандомизированными контрольными экспериментами. Например, широкая распространенность эффекта иногда может заставить нас предположить, что это не просто следствие корреляции переменных. Мы также можем быть более уверены, что данный метод приносит результат, если его эффект «зависит от дозировки». То есть чем интенсивнее и чаще применяется данный метод, тем выше уровень отдачи. Например, вероятность сердечно-сосудистых заболеваний у людей, которые выкуривают две пачки сигарет в день, выше, чем у выкуривающих несколько сигарет. Таким образом, это скорее показывает, что курение действительно ухудшает состояние сердечно-сосудистой системы, чем то, что употребление сигарет никак не связано с заболеваемостью.

Проблемы анализа множественной регрессии связаны с тем, что его проводят слишком часто. Я собираюсь рассказать об этой проблеме максимально честно, потому что СМИ постоянно сообщают об открытиях, сделанных с помощью этого весьма ненадежного метода, а на основе этих открытий принимаются важные решения, касающиеся всего общества. Все эпидемиологи, ученые-медики, социологи, психологи и экономисты используют этот метод. А он может привести к серьезнейшим ошибкам, и утверждения приверженцев, что он может раскрыть причинно-следственную связь, обычно притянуты за уши.

Известно много примеров, когда АМР говорил о наличии причинно-следственной связи одно, а рандомизированный контрольный эксперимент — совершенно другое. В таких случаях следует верить результатам экспериментов.

Влияет ли, на ваш взгляд, количество учеников в классе на их успеваемость? Кажется весьма резонным предположить, что да, хотя десятки исследований, основанных на АМР и проведенных уважаемыми учеными, утверждают, что (за вычетом влияния среднего дохода семей в том районе, где находится школа, размера школы, результатов прохождения IQ-тестов, размера города и его географического положения) среднее количество учеников в классе никак не коррелирует с успеваемостью ученика [150] Hanushek, Eric A. “The Economics of Schooling: Production and Efficiency in Public Schools.” Journal of Economic Literature 24 (1986): 1141-77. . Отсюда вывод: теперь мы знаем, что не нужно тратить деньги на уменьшение количества учеников в классе.

Однако исследователи из Теннесси провели рандомизированный эксперимент, в который они включили классы разной величины. Подбросив монетку, ученые распределили детей из детского сада по маленьким (от 13 до 17 детей) либо большим (от 20 до 25 детей) группам. Исследование показало улучшение результата стандартного тестирования примерно на 0,22 СО; при этом более явное улучшение результатов было заметно у чернокожих детей [151] Krueger, Alan B. “Experimental Estimates of Education Production Functions.” Quarterly Journal of Economics 114 (1999): 497-532. .

В настоящее время у ученых есть результаты еще трех экспериментальных исследований эффекта уменьшения количества учеников в классе, и все они показали почти тот же самый результат, что исследование в Теннесси [152] Shin, In-Soo, and Jae Young Chung. “Class Size and Student Achievement in the United States: A Meta-Analysis.” Korean Educational Institute Journal of Educational Policy 6 (2009): 3-19. . Эти четыре эксперимента не дополняют исследования влияния количества учеников на успеваемость. Они замещают все проведенные ранее исследования, основанные на анализе множественной регрессии. Потому что экспериментальные результаты заслуживают гораздо больше доверия.

Почему же анализ множественной регрессии показал, что количество учеников в классе практически не имеет значения? Я не знаю, но нам необязательно знать это, чтобы составить твердое мнение о том, имеет ли значение размер класса.

Конечно, все эти четыре эксперимента оставляют открытыми множество вопросов. Мы не знаем, одинаково ли значимо количество учеников в классе для разных регионов, городов и сел, социальных слоев и т.д. Мы не знаем, что именно из всего, что происходит в классе, оказывает разный результат на учебу. Дальнейшие эксперименты, возможно, помогут нам ответить на эти вопросы и укрепят нашу уверенность в том, что количество учеников в классе имеет значение для успеваемости.

Насколько целесообразно тратить дополнительные деньги на уменьшение количества учеников в классах — это уже другой вопрос, и не мне отвечать на него. В Финляндии, где не такие уж маленькие классы в школах, улучшение качества образования стало в основном результатом того, что учителям повысили зарплату и предлагать учительские вакансии стали в основном лучшим студентам, а не самым слабым, как это практикуется в США. В любом случае это нельзя определить, просто вычислив благоприятный эффект воздействия переменной X на переменную Y; здесь требуется полный анализ эффективности затрат.

Еще одна проблема корреляционных исследований, подобных АМР, состоит в том, что им по определению свойственны ошибки, связанные с самоотбором. Случаи — люди, классы, сельскохозяйственные участки — отличаются друг от друга в ряде аспектов. Те, кто курит много лет, не просто курят много лет. Длительное курение означает массу других аспектов, связанных с этим фактом: более старший возраст, более низкое социальное положение, избыточный вес. Класс А больше, чем класс Б, но они еще отличаются и в некоторых других аспектах, которые исследователь никак не может контролировать. В классе А учитель лучше, чем в классе Б, потому что директор посчитал, что именно этот учитель лучше других справится с большим классом. В классе А выше успеваемость, несмотря на большое количество учеников, потому что, по мнению директора, более способные ученики меньше пострадают от относительного недостатка внимания учителя, чем менее способные ученики. И так далее. Эту задачу не удастся решить, просто добавив в эксперимент больше классов или больше контрольных переменных величин.

В тех исследованиях, где случаи распределяются по условиям эксперимента в случайном порядке, разнообразие классов в различных аспектах все равно сохранится. Но что немаловажно, именно экспериментатор выбирает условия. Это означает, что в экспериментальных и контрольных классах должны преподавать примерно одинаково квалифицированные учителя, учиться должны примерно одинаково способные и одинаково мотивированные ученики, учебные ресурсы должны быть примерно одинаковыми. Классы не выбирают себе значения каждой из этих переменных, это делает экспериментатор. Таким образом, единственное, чем должны отличаться экспериментальный и контрольный класс, это исследуемая переменная, то есть размер класса. Такие эксперименты, как эксперимент по определению связи успеваемости с количеством учеников в классе, обычно неубедительны. Учителя и администрация школы всегда прекрасно осведомлены об условиях, в которые поставлены их ученики. Они знают, какие классы маленькие, а какие большие, знают, что это может влиять на качество преподавания, а также сколько сил учитель вкладывает в свою работу. Однако эти проблемы меркнут при сравнении с проблемой самоотбора.