Ив Жангра - Ошибки в оценке науки, или как правильно использовать библиометрию [калибрятина]

Ил. 5. Распределение грантов, публикаций и ссылок среди квебекских исследователей (источник: OST)

С середины 1960-х годов ведется поиск корреляций между числом ссылок и различными переменными, характеризующими исследователей, с тем чтобы выявить детерминанты производительности ученых и влияния научных исследований. Так, в исследовании, опубликованном в 1966 году, установлено, что нет корреляции между коэффициентом интеллекта исследователей (IQ) и числом ссылок на их работы! Зато это число коррелирует с местом университета, в котором они защитили диссертацию, на шкале престижа, установленной экспертами [42]. Используя свой первый индекс (за 1961 год), Гарфилд выявил, что лауреаты Нобелевской премии за 1962 и 1963 годы цитируются в тридцать раз чаще, чем в среднем работы их коллег [43]. Другие исследования впоследствии подтвердили, что существует связь между уровнем цитируемости, производительностью, заслугами и степенью признания исследователей [44].

Ил. 6. Сферы применения библиометрии

Базы данных Web of Science уникальны тем, что охватывают длительный временной промежуток и включают, хотя и в неравной мере, все области знаний. Они позволяют всесторонне изучать социальные и когнитивные трансформации различных научных дисциплин на всем протяжении XX века. Некоторые исследователи прибегают к ним для анализа развития наук под определенным – историческим, социологическим, экономическими или политическим – углом ( ил. 6 ). Рассмотрим несколько примеров. Уровни измерения

В своем простейшем виде библиометрия занимается подсчетом документов. Документы могут анализироваться на разных уровнях агрегирования по таким параметрам, как фамилия автора, его институциональная принадлежность, включая название организации (кафедра, университет, лаборатория), регион и страну, в которой она располагается. В плане содержания можно также ассоциировать документ с той или иной дисциплиной или специальностью. Простые вычислительные операции позволяют составить первое представление о сравнительном развитии различных областей науки в разных организациях и странах, а также помогают понять различные аспекты структуры и динамики наук.

Еще задолго до создания в начале 1960-х годов Индекса научного цитирования некоторые ученые стали анализировать количественную динамику публикаций в своих дисциплинах. В 1935 году, изучая кривую роста числа публикаций, посвященных фиксации азота растениями, ученые-агрономы вывели простую, но впоследствии востребованную математическую модель: логистическая кривая, характеризующаяся резким ростом с последующим насыщением [45]. Другой пример использования библиометрии относится к институциональному уровню: сотрудники исследовательской лаборатории компании «Дженерал электрик» в Нью-Йорке показали, что анализ публикаций является полезным методом для идентификации самых активных центров в той или иной научной области [46], а также для оценки уровня фундаментальных научных исследований в научно-производственных лабораториях [47].

Хотя эти примеры ограничены по своему охвату, они продемонстрировали пользу такого рода количественного анализа науки, который теперь благодаря библиометрическим базам данных стало возможно применять к совокупности научных дисциплин в глобальном масштабе [48]. Анализ временной динамики научного производства, учитывающий особенности разных баз данных, в рамках одной страны, региона или институции в самом деле дает важную информацию, которую невозможно получить другими путями. Поиск по ключевым словам (адрес, институция, термин) также позволяет оценить тренды развития отдельных научных областей (спад или, напротив, рост) более точно, чем это мог бы сделать даже самый маститый исследователь. Ни один человек не мог бы иметь всеобъемлющее видение науки в отсутствие библиометрических данных, которые также позволяют конструировать показатели, отражающие динамику отдельных научных областей. Так, например, как показано на ил. 7 , базы данных наглядно демонстрируют небывалый рост китайской научной продукции начиная со второй половины 1990-х годов (ниже мы более подробно проанализируем эту продукцию по разным научным областям – химия, нанотехнологии, математика и пр.). Благодаря такого рода данным легко заметить и быстрое падение научного производства в России после распада СССР в начале 1990-х годов, а также его новый подъем в 2000-е годы. Полученные таким образом серии данных по разным странам можно соотносить с другими переменными. Так, было доказано, что общее число публикаций в данной стране (так же как и число патентов [49]) напрямую связано с ее валовым внутренним продуктом, то есть научное развитие практически невозможно отделить от экономического [50].

Ил. 7. Динамика числа публикаций в странах БРИК, 1972 – начало 2010-х годов (источник: WoS)

Различия между дисциплинами

Используя разнообразную информацию, которая содержится в публикациях, библиометрия позволяет эмпирически оценить трансформации научных практик на протяжении XX века, а также различия между дисциплинами.

В академическом мире естественные науки часто противопоставляются социальным и гуманитарным. А между тем библиометрический анализ характеристик цитирования выявляет наличие скорее четырех, а не двух групп наук. Биомедицина отличается в этом отношении от остальных естественных наук. А социальные науки, с одной стороны, и гуманитарные дисциплины, с другой, которые традиционно объединялись в одну группу, также различаются по принятым в них практикам цитирования, берущим начало в разных традициях. В целом можно заметить, что около трех четвертей ссылок в статьях по гуманитарным дисциплинам приходится на книги, а не на журналы. Этот процент мало менялся за последние тридцать лет [51]. Зато в экономике доля ссылок на книги снизилась за тот же период с 55 до 30 %. Эта тенденция объясняется тем, что экономисты имитируют поведение коллег из естественных наук. Например, в химии или физике более 80 % ссылок приходится на статьи.

Результаты библиометрических исследований часто носят описательный характер, однако они важны тем, что ясно показывают вариативность публикационных практик во времени и в зависимости от дисциплины. Исходя из этого, представляются опасными попытки навязать единую модель научной практики, берущую за образец публикацию статей в специализированных журналах. Так, например, все более часто встречающееся во Франции использование термина «публикующийся» для характеристики производительности исследователей вовсе не нейтрально. Вопреки очевидности, «публикующийся» обозначает не просто публикующегося исследователя, а исследователя, который публикует определенное количество текстов в год в определенных журналах . Иначе говоря, «публикующийся» публикуется в определенном формате и ни в каком ином. Участие в коллективных сборниках, распространенное и значимое в социальных науках явление, таким образом, обесценивается просто потому, что ему, в отличие от журнальных публикаций, нельзя присвоить импактфактор. Таким образом, порядок вещей оказывается перевернут: практики подстраиваются под критерии, тогда как должно быть ровно наоборот . «Непубликующимся» называют не того исследователя, который не публикует свои работы, но того, который просто не соответствует навязанным критериям публикационной активности, согласно которым наивысшей ценностью обладают статьи в журналах, попавших в библиометрические базы данных. К слову, в социальных науках выбор в пользу книги или статьи также обуславливается такими социологическими переменными, как место учебы и работы. В США, например, социологи из частных университетов ставят акцент на публикации книг, тогда как их коллеги из государственных университетов публикуют прежде всего статьи [52].