Ив Жангра - Ошибки в оценке науки, или как правильно использовать библиометрию [калибрятина]

Ив Жэнгра

Ошибки в оценке науки, или как правильно использовать библиометрию

Благодарности

Эта книга обязана своим появлением Катрин Доннар, в июне 2011 года пригласившей меня прочитать лекцию об использовании библиометрии в Национальном институте агрономических исследований (Institut National de la Recherche Agronomique, INRA). Это приглашение убедило меня в том, что настало время разобраться с многочисленными и зачастую бессодержательными дебатами по поводу использования библиометрии в оценке научных исследований. За последние пятнадцать лет мне неоднократно приходилось выступать на эту тему на разных публичных площадках. Здесь я воспроизвожу и отчасти подробнее развиваю некоторые из этих выступлений, чтобы нарисовать как можно более полную картину того, как следует и как не следует использовать библиометрию [1]. Мне хотелось бы поблагодарить коллег, которые прочитали этот текст и сделали полезные замечания: Жерома Бурдье, Мишеля Гроссетти, Йохана Хейлброна, Камий Лимож, Венсана Ларивьера, Франка Пупо, Виктора Штоцковски и Жан-Филиппа Уаррена. Я также признателен Жан-Пьеру Робитаю и Филиппу Монжону за подготовку графиков. Разумеется, я несу полную ответственность как за содержание этой книги, так и за ошибки, которые могут в ней обнаружиться. Введение

«Оценка»… Это слово вот уже несколько лет сотрясает академический и университетский мир. Особенно это ощущается в Европе, где с начала 2000-х годов идет процесс реформирования высшего образования [2]. Оценивать стремятся всех и вся: преподавателей, профессоров, исследователей, учебные программы и сами университеты. Показателей превосходства ( excellence ) и качества становится все больше, однако не всегда понятно, на каких основаниях эти показатели сконструированы.

Среди инструментов, используемых для создания многочисленных индикаторов превосходства, которые менеджерский подход к высшему образованию и науке повсеместно навязывает как некую очевидность, одно из почетных мест принадлежит сегодня библиометрии. В качестве критериев оценки научной продукции и ее различных применений этот исследовательский метод использует научные публикации и их цитирование. Подсчет числа публикаций и ссылок, производимый с целью рейтингования университетов, лабораторий или исследователей, часто выдается за объективную меру ценности тех или иных научных результатов.

Реагируя на распространение этих количественных показателей, многие исследователи критикуют библиометрию, ее изъяны и побочные эффекты, связанные с тем, что количество публикаций, а главное, число ссылок на них стали показателем качества и импакта их работ. Однако, как ни парадоксально, зачастую сами исследователи, принадлежащие к разным дисциплинам, спешат упомянуть об импакт-факторе журналов, в которых они публикуются, и кичатся своим индексом Хирша, как будто это гарантия их ценности и успеха. При этом они не всегда указывают на источник этих цифр и даже не вполне понимают реальное значение подобных показателей. Иными словами, невозможно всерьез вменять в вину одним лишь бюрократам всю эту «измерительную лихорадку». Ее сопровождает бешеная гонка к вершинам многочисленных рейтингов университетов, тогда как – и мы это покажем – эти рейтинги не имеют под собой ни малейшего научного основания.

Во Франции в результате принятия закона 2007 года об автономии университетов и попыток реформирования организации научных исследований возникла повышенная чувствительность к вопросам оценивания, которые прежде мало обсуждались во французских академических кругах. Под влиянием этого контекста и несмотря на то что использование библиометрии редко является единственным критерием оценки, утвердилось ложное и опасное представление о тождестве между библиометрией и оцениванием, как если бы библиометрия была нужна лишь для оценки исследователей. А ведь именно отсутствие серьезной методологической рефлексии дает простор для хаотического, если не сказать дикого использования библиометрии. Например, на страницах журналов Nature, Science или в блогах полным-полно писем, опубликованных учеными, которые записались в «оценщики»… в основном своих конкурентов. Пока исследователи занимаются вычислением своего h-индекса в базах данных, не особо понимая, что он в действительности означает, профессора разглядывают под лупой многочисленные мировые рейтинги, чтобы выбрать из них тот самый, в котором их университет займет наилучшее место. Как отмечается в отчете Жоэля Бурдена, сенатора департамента Ер (Eure), в разных рейтингах почему-то систематически оказываются на первых позициях университеты разных стран: «Шанхайский рейтинг очень благоволит американским университетам… английский же рейтинг подчеркивает достижения вузов Соединенного королевства… а по Лейденскому рейтингу на лучших местах оказываются нидерландские университеты» [3]. Автор мог бы еще добавить, что рейтинг парижской Горной школы (Ecole des mines) отдает предпочтение французским высшим школам (grandes écoles)… [4]

Хотя самые известные рейтинги университетов (включая Шанхайский) часто основываются и на библиометрических данных, проблемы, которые они поднимают, относятся не только к оценке научных исследований. Несмотря на частую критику в адрес этих рейтингов, большинство их защитников довольствуются тем, что указывают на их ограничения, не поднимая вопроса об их эпистемологических основаниях: действительно ли выбранные для рейтингования показатели обладают тем значением, которое им приписывается? В этой связи необходимо всерьез задуматься о компетентности многих руководителей вузов. Так, во Франции 61 % из них заявляют о том, что хотят повысить позицию своего университета в Шанхайском рейтинге, хотя можно с большой долей уверенности предполагать, что они не знают, что именно он измеряет! [5]

С середины 2000-х годов проходят многочисленные конференции и появляется множество публикаций об оценке научных исследований. В них постоянно всплывают одни и те же вопросы по поводу применения библиометрии, которые свидетельствуют о сложности в определении способов оценки науки [6]. Эти вопросы часто возникают, с одной стороны, из-за непрозрачности используемых концептов и показателей, а с другой стороны, из-за несогласия по поводу того, на каком уровне они могут применяться с пользой. По моему мнению, ясное понимание специфических характеристик самых распространенных библиометрических показателей и сфер их применения важно постольку, поскольку оценки избежать невозможно (да и едва ли желательно). Однако при этом не обойтись и без строго обоснованной критики плохо сконструированных показателей, использование которых чревато негативными последствиями.