Ив Жангра - Ошибки в оценке науки, или как правильно использовать библиометрию

Несмотря на эти непоправимые изъяны, h-индекс получил широкое распространение в некоторых научных дисциплинах. Создается впечатление, что он прямо для того и создан, чтобы тешить раздутое эго некоторых исследователей [104] 104 Индексу Хирша был посвящен в недавнем прошлом вал наукометрических публикаций, однако авторы некоторых из этих статей, по всей видимости, мало озабочены вопросом, имеет ли индекс какой-либо смысл, и довольствуются его применением без критической рефлексии. См. анализ этой серии публикаций в: Ronald Rousseau, Carlos García-orita and Elias Sanz-Casado, “The h-bubble,” in Journal of Informetrics , 7 (2), 2013, pp. 294–300. . Росту его популярности способствовало также то, что он определяется автоматически во всех библиометрических базах данных, то есть он получается без каких-либо усилий! Тем не менее достоин сожаления тот факт, что ученые, обучавшиеся математике, теряют всякую способность к критическому мышлению перед примитивной цифрой. Судя по всему, права старая английская пословица, так похожая на этот социальный закон: «Any number beats no number». Иными словами, лучше уж плохая цифра, чем вовсе никакой…

Если верить Хиршу, его индекс способствует «более демократичной оценке научных исследований» [105] 105 См.: http://pubs.acs.org/cen/science/86/8621sci1.html. . Но судя по всему, скорее верно обратное: эта «демократия», не опирающаяся на знания об условиях валидности показателя, быстро трансформируется в оценочный популизм. В ответ на рост неконтролируемого использования библиометрии комитет Международного математического союза отмечал, что точно так же, как мы идем к врачу, когда болеем, нам следовало бы обращаться к специалисту по статистике всякий раз, когда мы производим статистические подсчеты [106] 106 См.: Robert Adler, John Ewing, Peter Taylor, “‘Citation Statistics,’ a report from the International Mathematical Union (IMU) in cooperation with the International Council of Industrial and Applied Mathematics (ICIAM) and the Institute of Mathematical Statistics (IMS),” in Statistical Science , 24, 2009, pp. 1–14. . При ознакомлении с их отчетом, где заново подчеркиваются обычные характеристики и ограничения библиометрических данных, известные уже не одно десятилетие, можно было бы добавить, что ученым, использующим библиометрию, следовало бы консультироваться со специалистами по библиометрии… [107] 107 См.: David Edge, “Quantitative measures of communication in science: a critical review,” in History of Science , 17, 1979, pp. 102–134.

Самая серьезная проблема, связанная с использованием ИНЦ, касается научных журналов. Журнальная сфера превратилась в высококонкурентный рынок, поэтому для привлечения лучших статей и авторов журналы все чаще используют свой импакт-фактор в качестве инструмента саморекламы, адресованной библиотекам и авторам. С конца 1990-х годов импакт-фактор журналов рассматривается не только как показатель качества журнала, но и как мера качества публикуемых там статей, а это некорректно, как мы продемонстрируем ниже. Осознав важность этого индикатора, журналы принялись манипулировать им в целях его повышения! Чтобы понять, как некоторые из них дошли до таких крайностей, следует сначала напомнить определение импакт-фактора.

Импакт-фактор (ИФ) журнала, вычисляемый и публикуемый ежегодно с 1975 года компанией Thomson Reuters в Journal Citation Reports на основе данных Индекса научного цитирования, представляет собой просто среднее арифметическое числа ссылок, полученных всеми статьями того или иного журнала за двухлетний период. Иными словами, ИФ характеризует журналы, а не статьи [108] 108 См.: Éric Archambault, Vincent Larivière, “History of journal impact factor: contingencies and consequences,” in Scientometrics , 79 (3), 2009, pp. 639–653. . Например, ИФ какого-либо журнала за 2006 год вычисляется так: число ссылок за 2006 год на статьи, опубликованные в нем в 2004–2005 годах, делится на число статей журнала за тот же период (2004–2005).

Выбор столь короткого, двухлетнего периода для вычисления ИФ не случаен. Есть тенденция противопоставлять высокие ИФ научных журналов (таких, как Science или Nature ) низким ИФ журналов по социальным наукам. Однако это во многом следствие того, что социальные и естественные науки обладают различными временными горизонтами. Действительно, достаточно увеличить период для подсчета ссылок до десяти лет, чтобы ИФ журналов по общественным дисциплинам достиг значений, вполне сопоставимых с ИФ естественно-научных изданий. Например, средний двухлетний показатель цитируемости статей медицинского журнала The Lancet в 1980 году составлял 2,4, а American Sociological Review — 1,8. Однако если подсчитать значение того же показателя за десятилетний период, то результаты будут совсем иными: импакт социологического журнала (20,9) будет гораздо выше, чем медицинского (14) [109] 109 См.: Wolfgang Glänzel, Henk F. Moed, “Journal Impact Measures in Bibliometric Research,” in Scientometrics , 53, 2002, pp. 171–193. . Так что совершенно очевидно, что ИФ журналов по разным дисциплинам несравнимы между собой и что численное значение ИФ журнала имеет смысл не само по себе, а лишь в сопоставлении с журналами из той же самой области.

Другая важная характеристика ИФ состоит в том, что при его определении в общее число ссылок на данный журнал включаются и самоцитирования журнала. Вопрос о включении самоцитирований ставился еще в начале 1970-х годов, когда создавался этот показатель, однако он стал проблематичным только в 1990-е годы. К этому времени ИФ превратился в важный фронт конкурентной борьбы между журналами и стал все чаще использоваться для характеристики самих статей. Ввиду его стратегической важности редакторы и владельцы журналов стали требовать, чтобы авторы ссылались на статьи из их же журнала. Жалобы на такое принуждение начали появляться во второй половине 1990-х, и с тех пор их поступает все больше [110] 110 См.: Richard Smith, “Journal accused of manipulating impact factor,” in British Medical Journal , 314, 1997, p. 461; Frank-Thorsten Krell, “Should editors influence journal impact factors?”, in Library Publishing , 23, 2010, pp. 59–62; Allen W. Wilhite & Eric A. Fong, “Coercive citation in academic publishing,” in Science , 335, 3 February, 2012, pp. 542–543. .

Проблема эта отчасти техническая, ведь достаточно было бы переопределить ИФ, исключив из него самоцитирование журналов, чтобы получить показатель, который подделать было бы нелегко. Для этого потребовалось бы, чтобы журналы объединились в картель для взаимного обмена ссылками. И некоторые журналы, не останавливаясь ни перед чем, по всей видимости, так и поступают. Однако Journal Citation Reports не стал предлагать нового определения, исключающего самоцитирование: наряду с обычным ИФ журналов Thomson Reuters стал публиковать значения того же показателя, полученные после исключения самоцитирования, а также указывать удельный вес самоцитирований журналов в общем числе полученных ссылок.

Не стоит, однако, рассматривать самоцитирование исключительно в негативном ключе. На самом деле это такая же нормальная практика, как и в случае цитирования авторами собственных работ: логично, что статьи, публикуемые в одном и том же журнале, связаны между собой через предмет изучения. Возьмем, к примеру, теорию узлов в математике. Разумеется, журналов, посвященных столь узкой сфере исследований, немного. На самом деле он всего один: Journal of Knot Theory and its Ramifications . Каждый, кто занимается теорией узлов, наверняка захочет опубликоваться в этом журнале, хотя и другие журналы, более общего профиля, принимают статьи по этой теме. К чему приводит для этого журнала исключение самоцитирования из подсчетов? Очевидно, что оно снижает его импакт-фактор. В Journal Citation Reports агентства Thomson Reuters за 2009 год обнаруживаем, что ИФ этого журнала — 0,523 и что он снижается до 0,311, если убрать самоцитирование, которое составляет в данном случае 40 % от общего числа ссылок. Но действительно ли это что-то меняет? Его импакт-фактор по идее не должен иметь значения при оценивании: очевидно, что все, кто занимается теорией узлов, знают, хорош этот журнал или нет. И если у другого математического журнала, мало публикующего про узлы, ИФ 0,822, это не означает, что он лучше, поскольку ИФ зависит от размера исследовательской области. Если в данной области работают всего 100 человек, то на одну статью неизбежно будет приходиться меньше ссылок, чем если бы в области работало в десять раз больше людей. Поэтому нормально, что в некоторых очень специализированных областях высок процент самоцитирования среди ссылок того или иного журнала.