Ив Жангра - Ошибки в оценке науки, или как правильно использовать библиометрию

Жаркие споры на предмет использования библиометрических показателей при оценке исследователей чаще всего оставляют за кадром важнейший аспект оценивания, а именно роль экспертной работы самих исследователей в этом процессе. Стремление таких институтов, как Европейский научный фонд (ESF), Европейский исследовательский совет (ERC) и Агентство по оценке научных исследований и высшего образования Франции (AERES), использовать ранжирование журналов по категориям A, B и C для упрощения и даже механизации индивидуального оценивания де-факто представляет собой своего рода тейлоризацию оценивания, деквалификацию необходимого для него экспертного знания.

Рейтинги журналов порождают легкопредсказуемые негативные эффекты, которые вовсе не компенсируются их весьма ограниченной потенциальной пользой. Например, некоторые статьи будут предлагаться в неподходящие для них журналы по той причине, что последним присвоен рейтинг A, и это будет только повышать риск их отклонения редакцией журнала. Другое предсказуемое последствие: новым динамичным журналам станет сложно пробивать себе дорогу, поскольку им не удастся быстро получить хорошее место в рейтинге, в результате чего исследователи будут неохотно предлагать им статьи. Мы не призываем здесь к увеличению числа журналов. В силу неизбежной ограниченности ресурсов невозможно бесконечно открывать новые журналы по данной дисциплине. Разумеется, невозможно и запретить создавать новые журналы, но когда на кону деньги налогоплательщиков, вполне законным является требование, чтобы решения о выделении субсидий были основаны на определенных критериях, подходящих для оценки журналов. Так, представляется оправданным утверждение, что журнал, 90 % авторов которого принадлежат к одной лаборатории, не отвечает потребностям всего научного сообщества и не заслуживает государственных субсидий.

Импакт-факторы и рейтинги журналов имеют еще одно косвенное последствие, о котором редко говорится. Стремление исследователей улучшить свои позиции ведет к отказу от изучения локальных, маргинальных и немодных тем. Такая тенденция особенно опасна для гуманитарных и социальных наук, объекты которых имеют по определению более локальный характер, чем у естественных наук. Очевидно, что некоторые темы менее годны для экспорта. Учитывая, что самые цитируемые журналы — англо-американские (а вовсе не международные), шансы опубликовать статью в престижном издании зависят от того, интересна ли данным журналам ее тематика. Исследователю, стремящемуся публиковаться в самых известных журналах, выгоднее изучать экономику США, чем специфику Банка Франции, поскольку последняя тема мало интересует американский журнал [128] 128 Быстрый полнотекстовый поиск в Journal of Economic Literature на портале JSTOR показывает, что по термину «United States» обнаруживаются 420 документов, тогда как по термину «France» — лишь 165, а «monetary union» — только 11. Этот результат говорит о том, что отнюдь не все объекты исследования изначально равны перед лицом «ведущих журналов». . Социолог, работающий по интернациональной, а значит, делокализованной теме или занимающийся теорией, имеет больше шансов экспортировать свои статьи, чем социолог, занимающийся эмпирическим исследованием тех или иных аспектов своего общества. Например, сравнение между Хабермасом и Луманом легче найдет спрос на международном рынке, поскольку у него нет локального эмпирического содержания, которое уменьшило бы его привлекательность для американского журнала. А вот у желающего осуществить сравнительное исследование покупательского поведения на юге Франции и в Бретани могут возникнуть проблемы с интернационализацией результатов. Но неужели этот объект исследования менее важен, чем флуктуации Нью-Йоркской фондовой биржи? Угроза обесценивания и утраты интереса к локальным, но социологически значимым объектам исследований станет вполне реальной, если показатели цитируемости будут использоваться механически, без учета индексикальности (пользуясь этнометодологическим термином) объектов исследования гуманитарных и социальных наук [129] 129 Этот эффект уже сказывается в работах канадских экономистов; см.: Wayne Simpson, J. C. Herbert Emery, “Canadian economics in decline: Implications for Canada’s economics journals,” in Canadian Public Policy , 38, 2012, pp. 445–470. . Исследователи перестанут изучать некоторые темы из страха, что их не будут публиковать журналы категории А. Любопытно, что такие журналы чаще всего иностранные и на английском языке, тогда как журналы на национальных языках, как правило, попадают в класс В или С. Трудно не заметить своеобразной формы колониализма в некоторых рейтингах, предлагаемых Европейским научным фондом (ESF). Действительно, если судить только по общему числу ссылок, то почти неизбежно, англо-американские журналы будут всегда занимать верхние строчки рейтинга. Их, как правило, чаще цитируют в силу простого демографического эффекта: потенциальное число читателей по той или иной специальности больше для английского, чем, например, для французского языка [130] 130 См.: Yves Gingras, Sébastien Mosbah-Natanson, “La question de la traduction en sciences sociales: les revues françaises entre visibilité internationale et ancrage national,” in Archives européennes de sociologie , 51, 2010, pp. 305–321. . Однако это число ни в коей мере не указывает на интернациональное или национальное происхождение этих ссылок. Особенно остро это ощущается в социальных и гуманитарных науках по причинам, о которых мы говорили выше.

В качестве одного из основных показателей интернационализации журнала можно рассматривать географическое происхождение публикующихся в нем авторов. Например, в 2000–2012 годах 81 % авторов American Journal of Sociology (AJS) работали в США, тогда как доля британских авторов в British Journal of Sociology составляла 61 %. Так, мы видим, что первый журнал — в основном американский, то есть локальный, и менее международный по степени своей открытости, чем второй или даже чем канадский аналог AJS, в котором только 72 % авторов — канадцы. Для измерения международной заметности этих журналов можно также посмотреть на языковое разнообразие цитирующих их статей. И здесь обнаруживается, что 97 % ссылок на American Journal of Sociology приходится на англоязычные статьи и только 3 % — на статьи на других языках. Для сравнения, например, только 64 % ссылок на французский журнал Actes de la recherche en sciences sociales происходят из франкоязычных источников, 26 % — из англоязычных и 3 % — из немецкоязычных. Географическое происхождение ссылок также указывает на более ярко выраженный локальный характер American Journal of Sociology , поскольку две трети ссылок происходят из США. Для сравнения, лишь 40 % учтенных в Web of Science ссылок на статьи, напечатанные в Actes de la recherche en sciences sociales , имеют источником французские издания [131] 131 Этот краткий анализ был осуществлен при помощи функции «Analyze results» базы данных «Web of Knowledge» компании Thomson Reuters. . Итак, мы видим, что хотя общий объем цитирования американского журнала в десять раз выше, чем у французского журнала, это вовсе не означает большей степени его интернационализации.