Джерри Мюллер - Тирания показателей

Мы живем в век отчетности, вознаграждений за результаты деятельности и веры в благо раскрытия количественных показателей в соответствии с политикой «прозрачности». Но отождествление отчетности с количественными показателями и прозрачностью вводит в заблуждение. Под отчетностью следует понимать ответственность человека за свои действия. Но в результате передергивания отчетность стала означать демонстрацию успехов с помощью стандартных показателей, словно значение имеет только то, что можно подсчитать. Другая исходная посылка (ее часто принимают как само собой разумеющуюся) гласит: «Отчетность требует, чтобы результаты деятельности были открытыми для общественности, то есть прозрачными».

От зацикленности на количественных показателях – прямой путь к оценке результатов деятельности, их публикации и использованию для определения размера вознаграждения зачастую вопреки свидетельствам того, что такой подход не слишком адекватен.

При должном использовании количественные оценки – хорошее дело, точно так же, как и прозрачность. Вместе с тем они могут приводить к искажениям, к отвлечению внимания и ресурсов, к подменам, к рассеиванию сил и разочарованиям. Хотелось бы, конечно, жить в эпоху измерений, однако на деле это эпоха неправильных, избыточных, лукавых и контрпродуктивных измерений. Эта книга не о пороках измерения, она о непреднамеренных негативных последствиях попыток подменить основанные на опыте и знаниях суждения стандартными показателями результативности. Проблема не в измерениях, а в их чрезмерности и неадекватности – не в количественных показателях, а в патологической зацикленности на них.

Нам часто говорят, что сбор показателей результативности и их открытая публикация позволяют улучшить функционирование наших институтов. Причем нигде не расхваливают пользу учета, показателей результативности и прозрачности сильнее, чем в сфере здравоохранения. Это и понятно, ведь ни от одной другой сферы не зависит так много. Помимо того, что на сектор здравоохранения приходится более 17 % ВВП США, в нем в буквальном смысле решаются вопросы жизни и смерти. Если следовать логике, то измерение результативности должно помогать экономить деньги и спасать жизни.

Считается, что сбор данных о проценте успешных операций, или о коэффициенте выживаемости пациентов по больницам, полезен. Если государственные ведомства или частные страховые компании платят врачам или больницам в зависимости от процента успешных операций, это повышает их заинтересованность в повышении качества обслуживания. А если данные о результатах деятельности открыто публикуются, то это помогает людям выбирать врачей и больницы. Таким образом, количественные показатели, отчетность и прозрачность становятся средством устранения недостатков в здравоохранении. Что тут может быть не так?

Как мы уже видели, «не так» может быть очень многое. Когда в основу системы вознаграждения и мотивации кладут количественные показатели, хирурги, как и другие специалисты под жестким контролем, начинают заниматься «снятием сливок», то есть просто избегать рискованных случаев. Если больницы наказывают за высокий процент пациентов, умерших в течение 30 дней после операции, то делается все, чтобы пациенты продержались 31 день и не портили показателей [2] Paula Chatterjee and Karen E. Joynt, “Do Cardiology Quality Measures Actually Improve Patient Outcomes?” Journal of the American Heart Association (February 2014). Несколькими годами ранее ту же самую проблему отметил Ричард Ротстейн: Richard Rothstein, “The Influence of Scholarship and Experience in Other Fields on Teacher Compensation Reform,” pp. 87–110 in Matthew G. Springer (ed.), Performance Incentives: Their Growing Impact on American K-12 Education (Washington, D.C., 2009), p. 96; расширенная версия называлась Holding Accountability to Account: How Scholarship and Experience in Other Fields Inform Exploration of Performance Incentives in Education , National Center on Performance Incentives, Working Paper 2008–04, February 2008. . В Англии Министерство здравоохранения в попытке сократить время ожидания помощи в отделениях неотложной помощи решило наказывать больницы, где ждать приходилось больше четырех часов. Программа оказалась успешной, по крайней мере внешне. На самом деле некоторые больницы стали держать поступающих пациентов за пределами своих стен в машинах скорой помощи до тех пор, пока персонал не убедится в том, что уложится в отведенные четыре часа [3] Bevan and Hood, “What’s Measured Is What Matters”. .

К здравоохранению мы еще вернемся, однако характерные для него проблемы возникают и во многих других сферах – в школьном и среднем специальном образовании, в охране правопорядка и других госуслугах, в бизнесе и финансах, в благотворительных организациях. Работающие в этих отраслях неизбежно должны чувствовать их существование. Социологи препарируют эти проблемы в отдельно взятых областях. При этом, однако, из виду ускользает, что те же самые негативные последствия использования показателей результативности, отчетности и прозрачности вновь и вновь проявляются во множестве других институтов [4] Исключением является работа: Richard Rothstein, Holding Accountability to Account . Также ценна работа: Adrian Perry, “Performance Indicators: ‘Measure for Measure’ or ‘A Comedy of Errors’?” in Caroline Mager, Peter Robinson, et al. (eds.), The New Learning Market (London, 2000). .

Стоит лишь затронуть проблему зацикленности на количественных показателях, и она начинает вылезать повсюду, а не только в телесериалах.

Куда ни глянь, повсеместно наталкиваешься на количественные показатели. Ngram, онлайн-сервис Google, мгновенно просматривающий тысячи отсканированных книг и других публикаций, позволяет составить примерную, но красноречивую картину изменений в нашей культуре и обществе. Задайте годы и слово или фразу – и получите график, показывающий частоту встречаемости слов в текстах, созданных с 1800 г. до нынешнего дня. Введите слово «отчетность» и увидите линию, которая поворачивает вверх примерно в 1965 г., а после 1985 г. поднимается все круче. Такой же график будет и у слова «показатели»: после 1985 г. линия резко идет вверх. Аналогичными оказываются графики для понятий «контрольные ориентиры» и «индикаторы эффективности».

В книге приводятся доказательства того, что, несмотря на потенциальную ценность этих инструментов, достоинства построенной на количественных показателях отчетности преувеличены, а затраты на ведение такой отчетности занижены. Она предлагает этиологию и диагноз, а также прогноз лечения зацикленности на количественных показателях и снятия болезненных симптомов.

Самая характерная особенность зацикленности на количественных показателях – стремление заменить основанные на опыте суждения стандартизированными оценками. Суждения считаются личными, субъективными и предвзятыми, а количественные показатели – достоверными и объективными. Стратегия заключается в повышении эффективности институтов путем вознаграждения тех, у кого показатели самые высокие или достигнуты установленные ориентиры, и наказания отстающих. Политика, в основе которой лежат эти идеи, проводится уже несколько десятилетий, и, как показывают графики Ngram, небезрезультатно.