Ив Жангра - Ошибки в оценке науки, или как правильно использовать библиометрию

Библиометрия развивалась как особая исследовательская область в 1960–1970-е годы для изучения агрегированных характеристик публикаций и цитирования, предназначавшихся к использованию библиотекарями, историками и социологами науки. Но уже с 1990-х годов ее методы все чаще используются для упрощения процесса оценки исследователей [177] 177 См.: Yves Gingras, Bibliometrics and Research Evaluation. Uses and Abuses (Cambridge, Mass.: MIT Press, 2016). . Это новое явление идет в ногу с идеологией «бенчмаркинга» ( benchmarking ) и «менеджмента знаний», которая в 1980-х вторглась в публичный сектор, а в 1990-е добралась и до университетов [178] 178 Isabelle Bruno, Emmanuel Didier, Benchmarking: L’État sous pression statistique (Paris: La Découverte, 2013). . Уже с середины 1970-х годов использование такого «качественного» метода, как рецензирование, при принятии решений о карьерном продвижении или приеме на работу стало все чаще критиковаться за «субъективность». Для измерения «продуктивности» ученых было предложено доверять количественным показателям, основанным на подсчете статей [179] 179 Nicholas Wade, “Citation Analysis: A New Tool for Science Administrators,” in Science , 1975, 4187, pp. 429–432. . С тех пор на основе библиометрических методов были разработаны базовые метрики «импакта», который поборники «бенчмаркинга», «турнирных таблиц» и всяких «рейтингов» отныне мобилизуют для оценки как исследователей и журналов, так и университетов [180] 180 Wendy Nelson Espeland, Michael Sauder, Engines of Anxiety: Academic Rankings, Reputation, and Accountability (New York: Russell Sage Foundation, 2016). .

Традиционный цикл накопления авторитета не мог бы измениться вследствие одного только перехода к цифровым версиям журналов и статей, поскольку последний просто сделал статьи доступными через интернет для тех, кто принадлежит к институциям, подписанным на данные журналы. Тем не менее императив публикации «отчетных единиц» в целях оценки привел к серии значительных трансформаций (подытоженных на схеме 2 ), выведших на авансцену новых акторов и новые способы измерения. Первое важное изменение, малозаметное для самих ученых, — это само содержание библиометрических баз данных. Если в старейшем из них, Индексе научного цитирования (ныне переименованном в Web of Science), поначалу кодировалась только информация о первом авторе статьи (поскольку этого было достаточно, чтобы отыскать ее в информационной системе), то теперь библиометрические базы данных включают полный список авторов статей, ибо эти данные отныне используются для оценки, а не только для библиографического поиска. С 1980-х по 2000-е годы единственной прямой мерой «импакта» научных статей являлось число ссылок в других статьях, зарегистрированных в базе ИНЦ, которая обладала полной монополией, вплоть до создания в 2004 году издательской группой «Эльзевир» базы Scopus.

Второе следствие введения новой системы оценивания, очевидное для любого активно публикующегося исследователя, состоит в том, что у компаний появилась возможность создавать новые журналы, готовые принять к публикации все большее число статей. Последовал публикационный бум, вызванный ростом научной системы и обострившейся конкуренцией за редкие ресурсы. Разумеется, создание новых журналов всегда сопровождало рост и диверсификацию исследовательских специальностей еще со времен появления первых журналов в 1660-е годы [181] 181 Jeanne Peiffer, Jean-Pierre Vittu, “Les journaux savants, formes de la communication et agents de la construction des savoirs (17e–18e siècles),” in Dix-huitème siècle , 2008, 40, pp. 281–300. . Новизна же состоит в объединенном эффекте появления интернет-публикаций и журналов «открытого доступа», затраты на производство которых компенсируются уже не за счет библиотек-подписчиков, а за счет публикующихся у них авторов. В этом суть феномена «хищнических» журналов, как их стало принято сегодня называть. Не имея необходимости серьезно вкладываться в инфраструктуру (как это было прежде с печатными журналами), эти издания смогли предложить возможность быстрой публикации для ученых, которым нелегко найти место для публикации своих научных результатов [182] 182 Bob Grant, “Merck Published Fake Journal,” in TheScientist.com , 2009 (April 30), http://www.the-scientist.com/blog/display/55671/; Bob Grant, “Elsevier Published 6 Fake Journals,” in TheScientist.com , 2009 (May 7), http://www.the-scientist.com/blog/display/55679/; Jeffrey Beal, “Predatory journals: Ban predators from the scientific record,” in Nature , 2016, 534 (16 June). . Что касается журналов с устоявшейся репутацией, таких как Nature , они смогли максимизировать свою стоимость благодаря созданию дочерних журналов, используя свой основной бренд для привлечения внимания. Так, после более чем вековой истории мультидисциплинарного журнала Nature владеющая им компания поняла, что может извлечь еще большую прибыль из этого бренда за счет выпуска целого ряда ассоциированных с ним изданий. Начиная с 2000-х годов она создала более тридцати таких журналов: Nature Physics, Nature Chemistry и т. п., делая ставку на авторитет журнала-родоначальника для привлечения «лучших публикаций» от авторов, стремящихся к максимально широкому распространению своих научных результатов. Журнал Американской научной ассоциации (American Association of Science) Science также последовал этой стратегии, создав серию дочерних журналов, таких как Science Robotics или Science Immunology .

Подобно тому как число «ссылок» стало «объективной» мерой качества статей, число которых слишком увеличилось для того, чтобы их внимательно читали члены оценочных комиссий, импакт-фактор журналов стал мерой ценности самих журналов — слишком многочисленных для того, чтобы их знали ученые и их оценщики. Этот показатель был впервые опубликован в 1975 году для измерения заметности журналов в научном поле и предназначался библиотекарям в качестве инструмента для управления журнальными фондами. И неудивительно, что он стал предметом острой полемики в научном поле с середины 1990-х годов, когда его стали использовать механически для оценки уже не журналов, а исследователей. Ведь главный недостаток использования «ссылок» на публикации как количественного показателя их «качества» состоит в том, что они накапливаются постепенно, тогда как «оценка» нужна «своевременно». Но прежде чем процитировать статью, нужно сначала, чтобы ее прочитали (или по крайней мере увидели ссылку на нее), потом написали новую статью с ее упоминанием, которая затем должна пройти рецензирование и уже после этого, наконец, выйти в свет. Это означает, что ссылки на статьи, как правило, начинают появляться лишь по истечении нескольких лет. Через 5–7 лет (в зависимости от научной области) достигается пик цитирования, а затем наблюдается спад упоминаний, по мере того как знание становится общепринятым — то, что Мертон называет «забвением вследствие поглощения» [183] 183 Robert K. Merton, “The Matthew Effect in Science, II. Cumulative Advantage and the Symbolism of Intellectual property,” in Isis, 1988, 79, pp. 606–623; Katherine W. McCain, “Obliteration by Incorporation,” in Blaise Cronin and Cassidy R. Sugimoto (eds), Beyond Bibliometrics (Cambridge, Mass.: MIT Press, 2014), pp. 129–149. . Столкнувшись с этим проблематично долгим сроком, оценщики склонялись к тому, чтобы вместо цитирований использовать более быстродоступный импакт-фактор журналов. И хотя он характеризует журнал, а не статью, импакт-фактор может рассматриваться как «косвенный» показатель «качества» и «импакта», который устраняет потребность выжидать пару лет, прежде чем выяснить, имела ли та или иная статья научное влияние в данном поле. Став мерой «качества», импакт-фактор начал использоваться компаниями для продвижения своих журналов и привлечения новых авторов. Это на первый взгляд незначительное изменение сделало место журналов в системе оценивания еще более центральным, поскольку предметом измерения и оценки стало место публикации, а не содержание статьи или ее заметность (определяемая количеством полученных ссылок).