Джерри Мюллер - Тирания показателей

Разумеется, во многих ситуациях решения, принимаемые на основе стандартных показателей, лучше решений на основе личного опыта и знаний. Решения, основанные на анализе больших данных, полезны, когда опыт отдельно взятого практика слишком ограничен для интуитивного понимания причин и надежной оценки эффективности. Например, когда врач сталкивается с симптомами редкого заболевания, ему лучше полагаться на стандартизированные критерии, выработанные в результате обобщения множества случаев. Контрольные листы (стандартные процедуры, устанавливающие порядок действий) оказываются ценными в таких разных сферах, как авиаперевозки и здравоохранение [5] Laura Landro, “The Secret to Fighting Infections: Dr. Peter Pronovost Says It Isn’t That Hard. If Only Hospitals Would Do It,” Wall Street Journal , March 28, 2011, и Atul Gawande, The Checklist Manifesto (New York, 2009). . Как отмечается в книге «MoneyBall. Как математика изменила самую популярную спортивную лигу в мире» [6] Льюис М. MoneyBall. Как математика изменила самую популярную спортивную лигу в мире. – М.: Манн, Иванов и Фербер, 2014. , статистический анализ иногда выявляет измеримые, но не учитываемые характеристики, которые оказываются более важными, чем следует из интуитивных представлений, опирающихся на опыт [7] Michael Lewis, Moneyball: The Art of Winning an Unfair Game (New York, 2003). .

Иначе говоря, измерение того, что ранее не измеряли, если пользоваться такими измерениями с разумной осторожностью, может приносить реальные выгоды. Попытка измерить результаты деятельности, хотя, как будет показано, и сопряжена с неприятными неожиданностями, по сути своей желательна. Если фактически измеряемое является приемлемым индикатором того, что нужно измерять, и если измерение не отменяет суждения, то это может помочь практикам в оценке результатов деятельности – как на индивидуальном уровне, так и на уровне организаций. Проблемы начинаются, когда количественные показатели становятся критериями для поощрения и наказания, то есть когда количественные показатели становятся основой для выплат по результатам или для тарификации.

Схемы оценки результативности обманчиво привлекательны потому, что они нередко «доказывают» свою полезность, раскрывая вопиющие ошибки или упущения. Как следствие, их начинают применять везде. Инструменты, подходящие для выявления действительно плохого выполнения обязанностей, становятся инструментами измерения всех результатов. В первый момент измерение результативности может заставить исправиться тех, кто работает плохо, или вытеснить плохих работников с рынка. Но во многих случаях при расширении применения стандартизированные измерения теряют полезность и даже становятся вредными, превращаясь из разумного решения в безумное. Измерения контрпродуктивны прежде всего при попытках измерить неизмеримое и количественно оценить неисчислимое.

Речь идет о власти, деньгах и статусе. Зацикленность на количественных показателях ведет к перетоку ресурсов от занятых производительной деятельностью к менеджерам, администраторам и тем, кто собирает данные и манипулирует ими.

Использование количественных показателей для контроля зачастую рождает конфликт между стремлением руководства измерять результативность и вознаграждать за нее и профессиональной гордостью специалистов (врачей, медсестер, полицейских, преподавателей и т. д.). В основе профессиональной гордости лежат знания, полученные в результате долгого обучения, она предполагает самостоятельность в работе, принадлежность к определенной профессиональной группе и чувство ответственности перед коллегами, высокую ценность внутреннего вознаграждения и преданность интересам клиентов [8] Chris Lorenz, “If You’re So Smart, Why Are You under Surveillance? Universities, Neoliberalism, and New Public Management”, Critical Inquiry (Spring 2012), pp. 599–29, esp. pp. 610–11. .

Такой конфликт иногда необходим и желателен, поскольку профессионалы склонны закрывать глаза на затраты и возможности их снижения. Другими словами, они склонны видеть только выгоды наращивания объема своих услуг, не обращая особого внимания на ограниченность ресурсов или преимущества их альтернативного использования. Профессионалы не любят думать о затратах в отличие от тех, кто занимается измерениями и учетом. Сотрудничество этих групп может принести удовлетворение обеим сторонам, а их противоборство – конфликт и снижение морального духа.

Несмотря на существование интересов, превращающих разумный учет количественных показателей в безумие, причина сложившейся ситуации кроется в не меньшей мере в некритическом принятии идеологии измерений. Как и любая другая культура, культура количественного учета имеет свои сакральные условности и характерные слепые зоны [9] Jonathan Haidt, The Righteous Mind (New York, 2012), p. 34 и далее. . Так или иначе, сегодня эта культура господствует настолько, что ее изъяны остаются незамеченными.

Возникает вопрос: «С чего это вдруг историк взялся за такую тему – зацикленность на количественных показателях?» Дело в том, что проблема, с которой я столкнулся в своей профессиональной деятельности, оказалась частью намного более широкой проблемы нашего общества. Осознание того, что перекосы в моей узкопрофессиональной вотчине характерны для многих современных институтов, превратило микровозмущения в макроанализ.

Окунуться в тему мне пришлось как заведующему кафедрой в частном университете. У заведующего кафедрой много задач: надо следить за работой преподавателей и способствовать их развитию как ученых и наставников; принимать на работу новых преподавателей; обеспечивать преподавание необходимых курсов; поддерживать отношения с деканами и другими представителями администрации университета. Все это ложилось на мои плечи сверх других обязанностей как члена профессорско-преподавательского коллектива – преподавания, исследовательской работы и поддержания профессионального уровня. Я воспринимал это как вполне естественное положение вещей. Работа с преподавателями давала свои результаты и помогала моим подчиненным совершенствоваться. Я гордился разнообразием и качеством курсов, которые мы читали, а отношения с другими кафедрами были отличными. Преподавание, исследования и подготовка статей и книг – занятия, которые требуют немалых усилий, но приносят удовлетворение.

А потом положение начало меняться. Как и все прочие высшие учебные заведения, наш университет раз в 10 лет оценивается Комиссией среднеатлантических штатов по высшему образованию, занимающейся аккредитацией. Так вот, она потребовала увеличить количество показателей с целью будущей «оценки». В сфере высшего образования это словечко означает увеличение объема отчетности. Вскоре я обнаружил, что все больше и больше занимаюсь сбором новой статистической информации. Это отвлекало от выполнения таких задач, как исследования, преподавание и работа с преподавателями. Появились новые шкалы оценки успехов наших выпускников, но они не добавляли ничего нового по сравнению со старым добрым показателем – отметками. Я придумал способ быстро, без больших затрат времени справляться с отчетностью путем простого преобразования отметок, поставленных преподавателями, в четырехуровневую шкалу, созданную для оценки. Со временем, однако, сбор и обработка информации вынудили университет нанять дополнительных специалистов по обработке данных. (Дело зашло настолько далеко, что пришлось назначать вице-президента по оценке университета.) Некоторые отчеты этих специалистов были по-настоящему полезны. Например, они создали электронные таблицы, показывающие средние отметки, которые получены студентами на каждом курсе. Но значительная часть информации ничего в себе не несла, и ее никто не читал. Однако культура учета результативности вошла в моду, и заведующие кафедрами втянулись в своеобразную «гонку вооружений». Я провел на кафедре обязательную годовую самооценку, оказавшуюся полезным делом. Но перед отправкой ее результатов вверх по инстанциям от меня потребовали добавить к отчету статистические данные. Иначе, мне сказали, отчет будет выглядеть не так солидно, как у других. Пытаясь убедить декана в необходимости заполнить вакансию на кафедре, один из заведующих, солидный ученый, убил львиную долю лета на формирование пухлой папки со статистическими выкладками и цветными графиками.