Ив Жангра - Ошибки в оценке науки, или как правильно использовать библиометрию [калибрятина]

Традиционный цикл накопления авторитета не мог бы измениться вследствие одного только перехода к цифровым версиям журналов и статей, поскольку последний просто сделал статьи доступными через интернет для тех, кто принадлежит к институциям, подписанным на данные журналы. Тем не менее императив публикации «отчетных единиц» в целях оценки привел к серии значительных трансформаций (подытоженных на схеме 2 ), выведших на авансцену новых акторов и новые способы измерения. Первое важное изменение, малозаметное для самих ученых, – это само содержание библиометрических баз данных. Если в старейшем из них, Индексе научного цитирования (ныне переименованном в Web of Science), поначалу кодировалась только информация о первом авторе статьи (поскольку этого было достаточно, чтобы отыскать ее в информационной системе), то теперь библиометрические базы данных включают полный список авторов статей, ибо эти данные отныне используются для оценки, а не только для библиографического поиска. С 1980-х по 2000-е годы единственной прямой мерой «импакта» научных статей являлось число ссылок в других статьях, зарегистрированных в базе ИНЦ, которая обладала полной монополией, вплоть до создания в 2004 году издательской группой «Эльзевир» базы Scopus.

Второе следствие введения новой системы оценивания, очевидное для любого активно публикующегося исследователя, состоит в том, что у компаний появилась возможность создавать новые журналы, готовые принять к публикации все большее число статей. Последовал публикационный бум, вызванный ростом научной системы и обострившейся конкуренцией за редкие ресурсы. Разумеется, создание новых журналов всегда сопровождало рост и диверсификацию исследовательских специальностей еще со времен появления первых журналов в 1660-е годы [181]. Новизна же состоит в объединенном эффекте появления интернет-публикаций и журналов «открытого доступа», затраты на производство которых компенсируются уже не за счет библиотек-подписчиков, а за счет публикующихся у них авторов. В этом суть феномена «хищнических» журналов, как их стало принято сегодня называть. Не имея необходимости серьезно вкладываться в инфраструктуру (как это было прежде с печатными журналами), эти издания смогли предложить возможность быстрой публикации для ученых, которым нелегко найти место для публикации своих научных результатов [182]. Что касается журналов с устоявшейся репутацией, таких как Nature , они смогли максимизировать свою стоимость благодаря созданию дочерних журналов, используя свой основной бренд для привлечения внимания. Так, после более чем вековой истории мультидисциплинарного журнала Nature владеющая им компания поняла, что может извлечь еще большую прибыль из этого бренда за счет выпуска целого ряда ассоциированных с ним изданий. Начиная с 2000-х годов она создала более тридцати таких журналов: Nature Physics, Nature Chemistry и т. п., делая ставку на авторитет журнала-родоначальника для привлечения «лучших публикаций» от авторов, стремящихся к максимально широкому распространению своих научных результатов. Журнал Американской научной ассоциации (American Association of Science) Science также последовал этой стратегии, создав серию дочерних журналов, таких как Science Robotics или Science Immunology .

Подобно тому как число «ссылок» стало «объективной» мерой качества статей, число которых слишком увеличилось для того, чтобы их внимательно читали члены оценочных комиссий, импакт-фактор журналов стал мерой ценности самих журналов – слишком многочисленных для того, чтобы их знали ученые и их оценщики. Этот показатель был впервые опубликован в 1975 году для измерения заметности журналов в научном поле и предназначался библиотекарям в качестве инструмента для управления журнальными фондами. И неудивительно, что он стал предметом острой полемики в научном поле с середины 1990-х годов, когда его стали использовать механически для оценки уже не журналов, а исследователей. Ведь главный недостаток использования «ссылок» на публикации как количественного показателя их «качества» состоит в том, что они накапливаются постепенно, тогда как «оценка» нужна «своевременно». Но прежде чем процитировать статью, нужно сначала, чтобы ее прочитали (или по крайней мере увидели ссылку на нее), потом написали новую статью с ее упоминанием, которая затем должна пройти рецензирование и уже после этого, наконец, выйти в свет. Это означает, что ссылки на статьи, как правило, начинают появляться лишь по истечении нескольких лет. Через 5–7 лет (в зависимости от научной области) достигается пик цитирования, а затем наблюдается спад упоминаний, по мере того как знание становится общепринятым – то, что Мертон называет «забвением вследствие поглощения» [183]. Столкнувшись с этим проблематично долгим сроком, оценщики склонялись к тому, чтобы вместо цитирований использовать более быстродоступный импакт-фактор журналов. И хотя он характеризует журнал, а не статью, импакт-фактор может рассматриваться как «косвенный» показатель «качества» и «импакта», который устраняет потребность выжидать пару лет, прежде чем выяснить, имела ли та или иная статья научное влияние в данном поле. Став мерой «качества», импакт-фактор начал использоваться компаниями для продвижения своих журналов и привлечения новых авторов. Это на первый взгляд незначительное изменение сделало место журналов в системе оценивания еще более центральным, поскольку предметом измерения и оценки стало место публикации, а не содержание статьи или ее заметность (определяемая количеством полученных ссылок).

Так, власти и исследовательские институты некоторых стран (Пакистана, Китая, Южной Кореи и Японии) даже ввели премии на основе цифрового значения импакт-фактора того или иного журнала, несмотря на то что эти значения в различных дисциплинах несопоставимы между собой [184]. В результате давление на ученых еще более усилилось и некоторые из них дошли до того, что ради публикации своих статей стали манипулировать журнальной системой рецензирования. Когда махинации вскрывались, издателям журналов приходилось отзывать публикацию статей, прошедшие лжерецензирование, то есть отрецензированные самими их авторами [185]. Таким образом, эти новые метрики могут напрямую влиять на доступ к необходимым для проведения исследований ресурсам ( схема 2 ).

Схема 2. Изменения в классическом цикле оценки (см. схему 1) вследствие превращения научной статьи в простую «единицу отчета» исследовательской деятельности, породившего целый ряд посредников и новых оценочных метрик

Ученые и специалисты по библиометрии неоднократно критиковали процедуры оценки, основанные на импактфакторе журналов. После десяти с лишним лет острой критики многие журналы, включая Nature и другие «элитные» издания, стали понемногу дистанцироваться от этого индикатора, который они долгое время использовали для своего брендирования, не желая более иметь ничего общего с примитивными методами оценки, грозящими запятнать их репутацию [186]. Поскольку считается, что журналы публикуют единицы знаний, они противятся превращению в простой измерительный инструмент. Похожая ситуация сложилась и с академическим книгоизданием в 1990-е годы. Когда в университетские издательства хлынул поток книг, необходимых их авторам для занятия профессорских должностей, они призвали университеты перестать увязывать карьерное продвижение с наличием такого рода публикаций [187].