Ив Жангра - Ошибки в оценке науки, или как правильно использовать библиометрию

В основе такого поведения, ведущего к злоупотреблению рейтингами и якобы точными показателями, лежит полное непонимание характеристик используемых индикаторов. Негативные последствия подобных практик совершенно очевидны. Без оппортунизма исследователей, пользующихся неправильно рассчитанными премиями, и оппортунизма журналов, которым на руку оценочное использование импакт-факторов, было бы невозможно заставить верить (или делать вид), что подобная система справедлива и рациональна.

Профессора и исследователи объединены в рамках университетских факультетов, лабораторий и исследовательских групп, которые тоже стали объектом оценки. Библиометрические методы начали использоваться на этом уровне организации науки в 1980-е годы. К примеру, сравнительный анализ лабораторий, работающих в определенной сфере, позволяет сопоставить их с другими похожими лабораториями за рубежом или в той же стране на основе библиометрических данных, касающихся количества публикаций сотрудников данной лаборатории и их заметности (измеряемой по числу ссылок) [118] 118 См., например: David Crouch, John Irvine, Ben R. Martin, “Bibliometric analysis for science policy: an evaluation of the United Kingdom’s research performance in ocean currents and protein crystallography,” in Scientometrics , 9 (5–6), 1986, pp. 239–267; см. также: K. C. Garg, M. K. D. Rao, “Bibliometric analysis of scientific productivity: a case study of an Indian physics laboratory,” in Scientometrics , 13 (5–6), 1988, pp. 261–269. .

Наиболее сложная система оценивания университетских факультетов была введена в Англии эпохи Маргарет Тэтчер. Начиная с середины 1980-х годов каждые четыре-пять лет проводится процедура Research Assessment Exercise (RAE). Она состоит в оценке качества исследований на разных факультетах (то есть прежде всего качества их публикаций) комиссией внешних экспертов. После первого такого опыта в 1986 году, когда факультетам выставлялась оценка от 1 (национальное признание) до 4 (мировой лидер), рейтинг усложнился, включив промежуточные ступени (к примеру, 3a и 3b), а также уровни выше четвертого (5 и 5*). Часть правительственного бюджета, идущего на университеты, увязана с этими оценками: институции, занимающие высокие места в рейтинге, получают большую часть субсидий.

Эта система оценки была крайне сложной: в 15 секторах, поделенных на 67 исследовательских областей, задействованы около 1500 оценщиков [119] 119 Более подробно см.: www.rae.ac.uk. . После 2008 года оценка по этой системе была приостановлена, вероятно из-за того, что процедура была признана излишне тяжеловесной. Новая система, переименованная в Research Excellence Framework (REF), была введена в действие с 2014 года. Как и в случае RAE, полученные результаты влияют на объемы государственного финансирования, распределяемого между университетами. На самом деле процедура изменилась мало, оценку по-прежнему производит специальный комитет, определяющий место факультета в одной из пяти категорий: от одной до четырех «звезд» и «без места» для самых слабых [120] 120 См.: www.ref.ac.uk. . Как и раньше, эти процедуры основаны прежде всего на мнении коллег, избираемых из числа представителей внешних институций. Эксперты посещают оцениваемые факультеты, анализируют их отчеты с целью составить представление об общем качестве преподавания и исследований, не используя при этом четко определенных количественных показателей. Публикации, разумеется, принимаются в расчет, но они являются лишь одним из элементов, из которых складывается общая оценка, носящая, по большому счету, качественный характер. И хотя британская система не основана на библиометрических данных, ее можно сравнить с неоправданно сложным механизмом, затратным как по времени, так и по деньгам.

Практика прямого учета библиометрических данных в формулах финансирования университетов возникает в 1990-е годы сначала в Австралии, а затем, с 2003 года, в бельгийской Фландрии [121] 121 См.: Linda Butler, “Explaining Australia’s increased share of ISI publications. The effects of a funding formula based on publication counts,” in Research Policy , 31, 2003, pp. 143–155; см. того же автора: “Assessing university research: a plea for a balanced approach,” in Science and Public Policy , 34, 2007, pp. 565–574; см. также: Koenraad Debackere, Wolfgang Glänzel, “Using a bibliometric approach to support research policy making: the case of the Flemish BOF-key,” in Scientometrics , 59, 2004, pp. 253–276. . Целью оценивания при этом является не улучшение практик и организации исследований, а наказание институций, которые оказываются наименее эффективными по выбранным показателям, через урезание их бюджета. Это механическое применение библиометрии, которое заставляет академические институции гнаться за количеством публикаций, уже подвергалось суровой критике [122] 122 См.: Karen Stroobants, Simon Godecharle, Sofie Brouwers, “Flanders overrates impact factors,” in Nature , 500, 29 (1 August), 2013, p. 29. . В Австралии подобные критические выступления заставили правительство отказаться от системы рейтингов, и в 2007 году она была заменена другой системой, основанной на экспертной оценке, «формируемой с опорой на ряд количественных показателей» [123] 123 Conseil des académies canadiennes [Совет канадских академий], Éclairer les choix en matière de recherche, op. cit., p. 131. . Речь идет не о полном отказе от количественных индикаторов, а скорее о том, чтобы использовать их с учетом контекста, рассматривая те или иные критерии как помощь при вынесении оценки , вместо того чтобы принимать их за абсолютную и бесспорную истину только потому, что они выражены цифрами.

Как и следовало ожидать, работы, посвященные последствиям оценивания, основанного на количественных характеристиках статей, показывают, что исследователи сознательно подстраивают свое поведение под критерии, используемые при их оценке [124] 124 См.: Linda Butler, “Modifying publication practices in response to funding formulas,” in Research Evaluation , 12, 2003, pp. 39–46; Henk F. Moed, “UK research assessment exercises: informed judgments on research quality or quantity?”, in Scientometrics , 74, 2008, pp. 153–161; Valerie Bence, Charles Oppenheim, “The role of academic journal publications in the UK Research Assessment Exercise,” in Learned Publishing , 17, 2004, pp. 53–68. . Как замечает Майя Бовалле в своей книге о показателях эффективности, введенных в академических организациях под влиянием новой менеджерской идеологии, «как только тот или иной показатель сконструирован и введен в использование, результаты по нему улучшаются уже просто потому, что на нем оказывается сконцентрировано всеобщее внимание» [125] 125 Maya Beauvallet, Les Stratégies absurdes. Comment faire pire en croyant faire mieux (Paris: Seuil, 2009), p. 67. .

К счастью, организаций, механически включающих библиометрию в формулы финансирования, пока единицы, в то время как их большая часть не разделяет подобные подходы. Так, Совет канадских академий, проведя опрос об использовании библиометрических показателей при распределении финансирования в десятке стран, в заключение своего отчета подчеркивает, что «напрямую увязывать выделение денежных средств с количественными показателями является слишком большим упрощением и не представляет собой реалистичной стратегии» [126] 126 Conseil des académies canadiennes [Совет канадских академий], Éclairer les choix en matière de recherche, op. cit., p. xiv. . Остается лишь пожелать, чтобы другие организации подписались под этими словами, преодолев выжидательную и некритичную позицию, подобную той, что занимает, к примеру, Институт Франции [127] 127 См.: Institut de France, Du bon usage de la bibliométrie pour l’évaluation individuelle des chercheurs , 17 janvier 2011; http://www.academie-sciences.fr/activite/rapport/avis170111.pdf. .