Ив Жангра - Ошибки в оценке науки, или как правильно использовать библиометрию

Бесплатный и неконтролируемый доступ к Google Scholar и к интернету, в отличие от платного доступа к Scopus и Web of Science, разумеется, внес свою лепту в создание атмосферы оценочной анархии, которая нередко расценивается как демократизация [139] 139 См.: James Pringle, “Trends in the use of ISI citation databases for evaluation,” in Learned Publishing , 21, 2008, pp. 85–91. . В самом деле, теперь любой исследователь может попробовать измерить свою заметность и качество, состряпав спонтанный показатель, основанный на количестве посещений веб-страницы (hits) в Google Scholar и, с недавних пор, упоминаний в «Твиттере»! В результате в последнее время участились спонтанные применения оценивания и создание фиктивных показателей научного импакта, приводящие к некоторому хаосу в академическом мире, чьи представители не всегда способны адекватно оценить качество запускаемых в оборот измерений. Такие показатели способствуют созданию рейтингов, больше похожих на «черные ящики», но подающихся в качестве надежных фактов, которые должны приниматься во внимание чиновниками разных уровней при проведении научной политики.

Таким образом, источник используемых данных представляет собой важный аспект любого оценивания. Соревнование между фирмами, участвующими на этом рынке, непосредственно влияет на содержимое библиометрических баз данных. Примерно с середины 2000-х годов наблюдается существенный рост числа журналов, зарегистрированных в WoS. Во времена, когда у Института научной информации Гарфилда была монополия на библиометрические данные, он один определял критерии качества и не стремился увеличивать число анализируемых журналов, индексируя лишь наиболее значимые издания. С выходом на этот рынок Scopus конъюнктура изменилась: владелец новой базы данных, издательский дом «Эльзевир», сделал своим конкурентным преимуществом тот факт, что он покрывает намного больше журналов. А это привлекательно для библиотек, чьей целью является максимально широкий охват научной периодики. Таким образом, количество включенных в базу данных журналов стало аргументом продаж и веской причиной для того, чтобы купить подписку: Scopus ежегодно индексирует более 16 000 журналов, а Web of Science — чуть более 12 000. Следует, однако, отметить, что состав обеих баз данных совпадает более чем на 50 % [140] 140 Например, в 2006 году 54 % журналов базы Scopus были также включены в WoS, тогда как 84 % наименований из журнальной базы WOS были также и в Scopus; см.: Ylva Gavel, Lars Iselid, “Web of science and Scopus: a journal title overlap study,” in Online Information Review , 32, 2008, pp. 8–21. Эти цифры могли с тех пор измениться из-за обострившейся конкуренции между этими двумя компаниями. .

Локальный или, напротив, универсальный характер предметов в разных дисциплинах не может не влиять на валидность библиометрических показателей, учитывая неполное освещение некоторых областей науки в самых популярных базах данных (Web of Science и Scopus). Так, очевидно, что невозможно использовать удельный вес статей в международном соавторстве в качестве индикатора интернационализации в областях, где преобладают практики единоличного авторства статей, как это, например, до сих пор имеет место в истории или философии. Точно так же сложно ожидать одинакового уровня международного сотрудничества от исследований, имеющих объектом сельское хозяйство в Северной Франции и распределение черных дыр во Вселенной. Эти простые примеры напоминают нам, насколько важно хорошо понимать природу используемых данных, если мы хотим быть уверенными, что они адекватно отвечают на поставленный вопрос. Они также в очередной раз указывают на необходимость принимать во внимание специфику дисциплин и их предметов, от которой зависит релевантность используемого показателя. Следует помнить и о том, что широта охвата дисциплин, специальностей и стран варьирует в зависимости от используемой базы данных.

Другое важное ограничение библиометрии состоит в том, что базы данных включают не все журналы, в которых публикуются исследователи. Этот факт неоднократно подчеркивался аналитиками из разных лабораторий, которые смогли точно установить присутствие или отсутствие публикаций своих сотрудников в различных базах данных [141] 141 См., например: Anne-Marie Kermarrec, E. Faou, Jean-Pierre Merlet, P. Robert, L. Segoulin, “Que mesurent les indicateurs bibliométriques?” document d’analyse de la commission d’évaluation de l’INRIA, 2007. . Учитывая закон больших чисел, чем меньше масштаб анализа, тем менее надежны и репрезентативны результаты и тем осторожнее их следует анализировать. Явная тенденция рассматривать базы данных как вещи в себе заставляет забывать тот простой факт, что не учтенные в них работы (и особенно работы не на английском языке) тем самым обесцениваются, а между тем никто еще не доказал, что не внесенные в базы журналы обладают худшим качеством.

Часто отмечают, что в Web of Science (или в Scopus) не индексируются книги, что на деле путают с цитированием книг. Ведь совершенно очевидно, что Web of Science (так же как и Scopus) содержит библиографические описания всех книг, процитированных в статьях. Вполне возможно, что распределение ссылок в журналах по общественным наукам похоже на то, которое обнаруживается в книгах по тем же дисциплинам. Действительно, было бы крайне удивительным, если бы какой-либо автор, мало цитируемый в журналах, вдруг стал бы обильно цитироваться в книгах, тем более что последние часто основываются на уже опубликованных статьях, отредактированных и собранных вместе. Если это так, то можно с полным основанием заключить, что инвестиция в создание индекса книг компанией Thomson Reuters, недавно выпустившей на рынок Индекс цитирования книг (Book Citation Index), окажется бесполезной. Ведь важно не абсолютное число ссылок, а их распределение и относительная представленность в той или иной области. Грубо говоря, библиометрия имеет дело с чем-то вроде репрезентативной выборки. В результате добавления воды в бассейн ее средний уровень повышается, однако ее состав от этого не меняется — иначе говоря, структура выборки остается прежней. Вот почему рейтинги совокупной продукции стран в базах данных Scopus и Web of Science примерно одинаковы, хотя на уровне дисциплин иногда выявляются существенные различия [142] 142 См.: Éric Archambault, David Campbell, Yves Gingras, Vincent Larivière, “Comparing bibliometric statistics obtained from the Web of science and Scopus,” in Journal of the American Society for Information Science and Technology , 60 (7), 2009, pp. 1320–1326. . И наконец, следует отметить, что Индекс цитирования книг еще более ориентирован на англо-американскую продукцию, чем базы данных журналов (которые с годами мало-помалу диверсифицировались), а это делает его использование для оценки еще более проблематичным.

В дискуссиях об оценивании более всего раздражает стремление все свести к одной-единственной цифре. Примитивность такого подхода можно проиллюстрировать при помощи следующего образа: многомерное пространство, сведенное до пространства с нулевым измерением, то есть до точки! В самом деле, при суммировании взвешенных значений нескольких показателей для получения одной цифры теряется информация о каждой из осей многомерного пространства, которые репрезентируют тот или иной показатель. Только одновременный учет сразу нескольких показателей позволяет охватить разные измерения того или иного понятия, например понятия влияния (импакта) исследовательской работы.