Ив Жангра - Ошибки в оценке науки, или как правильно использовать библиометрию [калибрятина]

В основе такого поведения, ведущего к злоупотреблению рейтингами и якобы точными показателями, лежит полное непонимание характеристик используемых индикаторов. Негативные последствия подобных практик совершенно очевидны. Без оппортунизма исследователей, пользующихся неправильно рассчитанными премиями, и оппортунизма журналов, которым на руку оценочное использование импакт-факторов, было бы невозможно заставить верить (или делать вид), что подобная система справедлива и рациональна.

Оценка факультетов и исследовательских лабораторий

Профессора и исследователи объединены в рамках университетских факультетов, лабораторий и исследовательских групп, которые тоже стали объектом оценки. Библиометрические методы начали использоваться на этом уровне организации науки в 1980-е годы. К примеру, сравнительный анализ лабораторий, работающих в определенной сфере, позволяет сопоставить их с другими похожими лабораториями за рубежом или в той же стране на основе библиометрических данных, касающихся количества публикаций сотрудников данной лаборатории и их заметности (измеряемой по числу ссылок) [118].

Наиболее сложная система оценивания университетских факультетов была введена в Англии эпохи Маргарет Тэтчер. Начиная с середины 1980-х годов каждые четыре-пять лет проводится процедура Research Assessment Exercise (RAE). Она состоит в оценке качества исследований на разных факультетах (то есть прежде всего качества их публикаций) комиссией внешних экспертов. После первого такого опыта в 1986 году, когда факультетам выставлялась оценка от 1 (национальное признание) до 4 (мировой лидер), рейтинг усложнился, включив промежуточные ступени (к примеру, 3a и 3b), а также уровни выше четвертого (5 и 5*). Часть правительственного бюджета, идущего на университеты, увязана с этими оценками: институции, занимающие высокие места в рейтинге, получают большую часть субсидий.

Эта система оценки была крайне сложной: в 15 секторах, поделенных на 67 исследовательских областей, задействованы около 1500 оценщиков [119]. После 2008 года оценка по этой системе была приостановлена, вероятно из-за того, что процедура была признана излишне тяжеловесной. Новая система, переименованная в Research Excellence Framework (REF), была введена в действие с 2014 года. Как и в случае RAE, полученные результаты влияют на объемы государственного финансирования, распределяемого между университетами. На самом деле процедура изменилась мало, оценку по-прежнему производит специальный комитет, определяющий место факультета в одной из пяти категорий: от одной до четырех «звезд» и «без места» для самых слабых [120]. Как и раньше, эти процедуры основаны прежде всего на мнении коллег, избираемых из числа представителей внешних институций. Эксперты посещают оцениваемые факультеты, анализируют их отчеты с целью составить представление об общем качестве преподавания и исследований, не используя при этом четко определенных количественных показателей. Публикации, разумеется, принимаются в расчет, но они являются лишь одним из элементов, из которых складывается общая оценка, носящая, по большому счету, качественный характер. И хотя британская система не основана на библиометрических данных, ее можно сравнить с неоправданно сложным механизмом, затратным как по времени, так и по деньгам.

Практика прямого учета библиометрических данных в формулах финансирования университетов возникает в 1990-е годы сначала в Австралии, а затем, с 2003 года, в бельгийской Фландрии [121]. Целью оценивания при этом является не улучшение практик и организации исследований, а наказание институций, которые оказываются наименее эффективными по выбранным показателям, через урезание их бюджета. Это механическое применение библиометрии, которое заставляет академические институции гнаться за количеством публикаций, уже подвергалось суровой критике [122]. В Австралии подобные критические выступления заставили правительство отказаться от системы рейтингов, и в 2007 году она была заменена другой системой, основанной на экспертной оценке, «формируемой с опорой на ряд количественных показателей» [123]. Речь идет не о полном отказе от количественных индикаторов, а скорее о том, чтобы использовать их с учетом контекста, рассматривая те или иные критерии как помощь при вынесении оценки , вместо того чтобы принимать их за абсолютную и бесспорную истину только потому, что они выражены цифрами.

Как и следовало ожидать, работы, посвященные последствиям оценивания, основанного на количественных характеристиках статей, показывают, что исследователи сознательно подстраивают свое поведение под критерии, используемые при их оценке [124]. Как замечает Майя Бовалле в своей книге о показателях эффективности, введенных в академических организациях под влиянием новой менеджерской идеологии, «как только тот или иной показатель сконструирован и введен в использование, результаты по нему улучшаются уже просто потому, что на нем оказывается сконцентрировано всеобщее внимание» [125].

К счастью, организаций, механически включающих библиометрию в формулы финансирования, пока единицы, в то время как их большая часть не разделяет подобные подходы. Так, Совет канадских академий, проведя опрос об использовании библиометрических показателей при распределении финансирования в десятке стран, в заключение своего отчета подчеркивает, что «напрямую увязывать выделение денежных средств с количественными показателями является слишком большим упрощением и не представляет собой реалистичной стратегии» [126]. Остается лишь пожелать, чтобы другие организации подписались под этими словами, преодолев выжидательную и некритичную позицию, подобную той, что занимает, к примеру, Институт Франции [127]. Измерять и контролировать

Жаркие споры на предмет использования библиометрических показателей при оценке исследователей чаще всего оставляют за кадром важнейший аспект оценивания, а именно роль экспертной работы самих исследователей в этом процессе. Стремление таких институтов, как Европейский научный фонд (ESF), Европейский исследовательский совет (ERC) и Агентство по оценке научных исследований и высшего образования Франции (AERES), использовать ранжирование журналов по категориям A, B и C для упрощения и даже механизации индивидуального оценивания де-факто представляет собой своего рода тейлоризацию оценивания, деквалификацию необходимого для него экспертного знания.

Рейтинги журналов порождают легкопредсказуемые негативные эффекты, которые вовсе не компенсируются их весьма ограниченной потенциальной пользой. Например, некоторые статьи будут предлагаться в неподходящие для них журналы по той причине, что последним присвоен рейтинг A, и это будет только повышать риск их отклонения редакцией журнала. Другое предсказуемое последствие: новым динамичным журналам станет сложно пробивать себе дорогу, поскольку им не удастся быстро получить хорошее место в рейтинге, в результате чего исследователи будут неохотно предлагать им статьи. Мы не призываем здесь к увеличению числа журналов. В силу неизбежной ограниченности ресурсов невозможно бесконечно открывать новые журналы по данной дисциплине. Разумеется, невозможно и запретить создавать новые журналы, но когда на кону деньги налогоплательщиков, вполне законным является требование, чтобы решения о выделении субсидий были основаны на определенных критериях, подходящих для оценки журналов. Так, представляется оправданным утверждение, что журнал, 90 % авторов которого принадлежат к одной лаборатории, не отвечает потребностям всего научного сообщества и не заслуживает государственных субсидий.