Ив Жангра - Ошибки в оценке науки, или как правильно использовать библиометрию

Ниже я рассмотрю, почему такая исторически сложившаяся структура является проигрышной в новой транснациональной системе научной коммуникации, задающей в глобальном масштабе стандарты и правила игры.

Краткий обзор контекста и динамики советских и российских научных публикаций в Web of Science проливает свет на пазл, состоящий в аномально низких показателях цитируемости советских и российских публикаций, при помощи которых обычно измеряется «импакт» или влияние научных исследований. Чем чаще цитируются статьи авторов из той или иной страны или институции, тем, как считается, выше их международное признание, значимость и, в конечном счете, качество их работ, и наоборот. Кейс советской и постсоветской науки в этом смысле являет собой очевидную аномалию или исключение из данного правила: среднее значение импакт-фактора для статей по всем областям науки, включая наиболее передовые (физика, математика, химия), остается на протяжении всего периода существования базы данных неизменно ниже уровня цитируемости научных статей всех развитых и даже развивающихся, догоняющих стран в Web of Science. Спонтанные реакции на эту ситуацию обычно относятся к одному из полюсов: «Наша наука неконкурентоспособна (всё совсем плохо)» либо «Нас, русских, за границей не любят (замалчивают наши успехи)». И то и другое в равной мере далеко от реальности. Стратегии распространения результатов научных исследований, и в частности стратегии интернационализации, играют в этом, как мы увидим ниже, определяющую роль.

Таблица 1 . Структура советских и российских публикаций в Web of Science, 1973–2015 гг.

Заметность и престиж публикаций неизменно отражают место в транснациональной системе научной коммуникации, координаты которого (этого места) задаются не в последнюю очередь при помощи таких показателей, как язык и страна издания. Протестировать данный тезис применительно к кейсу российской науки оказывается возможным в силу существования различных комбинаций страны и языка публикаций российских ученых: (1) русскоязычные журналы, (2) англоязычные журналы, издаваемые в России, и (3) за ее пределами, (4) наконец полные («от корки до корки») переводы русскоязычных журналов на английский язык (см. табл. 1 ). Это делает возможным нечто вроде «естественного» библиометрического эксперимента, позволяющего определить влияние языка и страны издания на «импакт» российской печатной продукции разной научной специализации. Конечно, страна и язык не единственные факторы, влияющие на уровень признания издания, и, к примеру, американские журналы на английском языке различаются между собой по значению импакт-фактора довольно значительным образом. Тем не менее оценить самостоятельное влияние страны и языка издания оказывается возможным на агрегированном уровне: так, систематические различия между странами и языками находят отражение в рейтингах журналов по разным специальностям, где неизменно доминируют англоязычные американские и британские издания.

Ил. 2. Динамика числа российских статей по разным типам журналов, индексируемых в Web of Science, в 1993–2015 гг.

Ил. 3. Динамика «импакта» российских статей по разным типам журналов, индексируемых в Web of Science, в 1993–2015 гг.

На ил. 3 можно увидеть, как изменялось число российских статей по разным категориям журналов, индексируемых в Web of Science. За общим ростом числа статей на английском языке скрывается тот факт, что их значительная доля в действительности публикуется в переводных изданиях. Лишь в последние несколько лет — вероятно, как следствие новой научной политики, стимулирующей (в том числе финансово) публикацию статей в «международных рецензируемых журналах», — число российских статей в зарубежных изданиях впервые превысило число статей в переводных журналах.

Если посмотреть в динамике, как изменялись показатели цитируемости для советских и российских статей в Web of Science, очевидно, что наименьшим «влиянием» или «заметностью» в международной базе научного цитирования обладают статьи на русском языке ( ил. 3 ). Причем не имеет значения, опубликованы ли они в советских/российских журналах или в других странах. Иначе говоря, мы здесь имеем дело с чистым эффектом языка публикации. Поэтому изъятие русскоязычных изданий из журнальной базы после распада СССР и их частичная замена англоязычными версиями хотя и ухудшили охват российской научной литературы в базе данных, но механически улучшили «импакт» отечественных публикаций.

Исторического минимума «импакт» достиг к концу советского периода, в то время как число индексируемых в Web of Science советских статей было на пике, что отчасти являлось артефактом самой базы данных. В сравнительных исследованиях для разных стран было многократно показано механическое уменьшение показателей цитируемости при росте числа индексируемых статей. Дело в том, что страны, имеющие более или менее обширный внутренний рынок научных изданий, недосчитываются своих «домашних» статей и ссылок в международном индексе цитирования, если применять строгие критерии отбора (включать в индекс цитирования журналы только с самым высоким импакт-фактором). Однако добавление большего числа национальных журналов еще сильнее ухудшает статистические показатели цитируемости для данной страны, потому что большинство статей цитируются очень мало или вовсе не получают ссылок. Этот эффект имеет серьезные последствия, например, для оценки места неанглоязычных стран, даже таких мировых научных лидеров, как Германия или Франция, в различных рейтингах. В силу того, что невозможно адекватно представить научную продукцию страны (общее число индексируемых статей) без одновременного ухудшения ее импакта, место крупных неанглоязычных стран в рейтингах, учитывающих как число, так и цитируемость публикаций, чисто механически оказывается заниженным [207] 207 См., например: Van Leeuwen Th. N, Moed H. F., Tijssen R. J. W., Visser M. S., Van Raan A. F. J., “Language biases in the coverage of the Science Citation Index and its consequences for international comparisons of national research performance,” in Scientometrics , 2001, 51 (1), pp. 335–346; Van Raan A. F. J., Leeuwen Th.N., Visser M. S., “Severe language effect in university rankings: particularly Germany and France are wronged in citationbased rankings,” in Scientometrics , 2011, 88 (2), pp. 495–498. .