Чарльз Уилан - Голая статистика. Самая интересная книга о самой скучной науке

Вот так-то! Теперь мы можем оценить качество учителя со статистической точностью. А хорошие школы – это, безусловно, школы, где работают такие учителя.

Как эти удобные статистические оценки функционируют на практике? В 2012 году городские власти Нью-Йорка проявили инициативу и опубликовали рейтинги всех 18 000 преподавателей государственных школ на основе «оценки добавленной стоимости», измеренной по результатам сдачи экзаменов учениками с учетом их различных характеристик {106}. Газета Los Angeles Times опубликовала аналогичную совокупность рейтингов преподавателей Лос-Анджелеса в 2010 году.

И в Нью-Йорке, и в Лос-Анджелесе реакция на эти публикации была бурной и противоречивой. Арни Дункан, министр образования США, в целом поддержал такого рода оценки на основе «добавленной стоимости», заявив, что они хороши хотя бы тем, что позволяют получить какую-то информацию в областях, где раньше ее вообще не было. После публикации данных по Лос-Анджелесу Арни Дункан сказал газете The New York Times: «Молчание – это вообще не вариант». Администрация Обамы предоставила штатам финансовые средства для разработки показателей добавленной стоимости, на основе которых можно было бы оплачивать труд преподавателей и продвигать их по службе. Сторонники данных способов оценивания подчеркивают, что это огромный шаг вперед по сравнению с системами, в которых труд всех преподавателей оплачивается в соответствии с единой шкалой окладов, не учитывающей такие «мелочи», как профессионализм.

С другой стороны, многие эксперты предупреждают, что подобные системы оценивания характеризуются большими допустимыми пределами погрешности и могут давать ошибочные результаты. Профсоюз преподавателей Нью-Йорка потратил более 100 000 долларов на рекламную кампанию в газетах, проводившуюся под лозунгом «Так оценивать работу преподавателей нельзя» {107}. Оппоненты утверждают, что «оценивание добавленной стоимости» создает ложное впечатление высокой точности, причем такие оценки могут вольно трактоваться родителями и государственными чиновниками, не понимающими ограничений подобного оценивания.

Похоже, это тот самый случай, когда правы – в определенной степени – и те и другие. Даг Стайгер, экономист Дартмутского колледжа, широко использующий в работе данные «добавленной стоимости» преподавателей, предостерегает, что в этих данных, в силу самой их природы, многовато «шума». Результаты по конкретному учителю зачастую основываются на результатах одного экзамена. При этом действие множества разнообразных факторов – от особенно «трудной» группы учащихся до сломавшегося в день сдачи экзамена кондиционера в классе – может вести к флуктуациям. Корреляция в эффективности отдельно взятого преподавателя, которая использует эти индикаторы, от года к году составляет лишь 0,35. (Интересно, что корреляция в эффективности игроков Высшей бейсбольной лиги от года к году также составляет примерно 0,35; для хиттеров она измеряется средним уровнем достижений, а для питчеров – средним числом зачетных перебежек.) {108}

По мнению Стайгера, данные об эффективности учителей полезны, но это лишь один из инструментов, применяемых в процессе оценивания их профессионализма. Эти данные оказываются «менее шумными», когда исследователи располагают информацией по конкретному преподавателю за много лет, особенно если он работал с разными группами учащихся (точно так же, как мы можем сделать более достоверные выводы о достижениях спортсмена, имея данные о большем числе игр и сезонов, в которых он участвовал). В случае рейтингов преподавателей Нью-Йорка руководство системы образования предупреждало о необходимости правильного использования данных «добавленной стоимости» и о присущей им ограниченности. Однако широкой общественности не было известно об этих предупреждениях. В результате предложенные оценки учителей зачастую рассматриваются как определитель «хороших» и «плохих» преподавателей, заслуживающий полного доверия. Нам вообще нравятся рейтинги – вспомните хотя бы рейтинги колледжей, опубликованные в U.S. News & World Report, – даже когда соответствующие данные не поддерживают такую точность.

Стайгер делает предупреждение несколько иного рода: нам следовало заранее удостовериться в том, что оцениваемые нами исходы (например результаты стандартизированного теста) действительно соответствуют тому, что нас интересует в долгосрочной перспективе. Некоторые уникальные данные, которые приводит Академия ВВС США, свидетельствуют о том, что блестящие результаты экзаменов в будущем могут такими не казаться. Академия ВВС США, подобно другим военным учебным заведениям, произвольно распределяет своих кадетов по разным секциям стандартизированных базовых курсов, таких как введение в математический анализ. Подобная рандомизация устраняет любое влияние потенциального отбора при сравнении эффективности преподавателей; спустя какое-то время мы можем исходить из того, что все преподаватели получают студентов с примерно одинаковыми способностями (в отличие от большинства университетов, где студенты с разными способностями могут выбирать для себя те или иные курсы). Кроме того, Академия ВВС США использует в каждой части конкретного курса одинаковые учебные программы и экзамены. Скотт Каррелл и Джеймс Уэст, профессора Калифорнийского университета в Дэвисе и Академии ВВС США, воспользовались этой элегантной системой организации процесса подготовки студентов, чтобы ответить на один из самых важных вопросов в высшем образовании: какие из профессоров самые эффективные? {109}

Ответ: профессора с меньшим опытом преподавательской работы и меньшим числом научных степеней от новомодных университетов . Студенты таких профессоров, как правило, очень позитивно отзываются о них и демонстрируют более высокие результаты сдачи стандартизированных тестов по вводным курсам. Понятно, что эти молодые и мотивированные преподаватели относятся к своей работе с б о льшим энтузиазмом, чем старые, «замшелые» профессора с докторскими степенями от престижных университетов (например Гарвардского). Не исключено, что эти «старые зубры» все еще пользуются теми же пожелтевшими от времени конспектами лекций, что и в далеком 1978 году; возможно, они полагают, что PowerPoint – это нечто вроде энергетического напитка (правда, они могут и не знать, что это такое). Очевидно, эти данные говорят нам о том, что этих «динозавров» давно пора уволить или по крайней мере предоставить им шанс красиво уйти со сцены.

Впрочем, не будем торопиться. И спешить с увольнениями. Опыт Академии ВВС США позволил сделать еще один важный вывод – об успеваемости студентов на более протяженном горизонте . Скотт Каррелл и Джеймс Уэст выяснили, что в области математики и точных наук студенты, у которых были более опытные (и более титулованные) преподаватели вводных курсов, демонстрируют лучшую успеваемость в последующих обязательных курсах , чем студенты, обучавшиеся у менее опытных преподавателей вводных курсов. Одно из логических объяснений заключается в том, что менее опытные преподаватели в большей степени склонны «натаскивать на экзамен» по соответствующему вводному курсу. Это приносит впечатляющие результаты на экзаменах и моральное удовлетворение студентам, что выливается в высокие оценки, которые они выставляют своим преподавателям.