Ив Жангра - Ошибки в оценке науки, или как правильно использовать библиометрию

Каждый из этих трех важнейших процессов (интернет-революция, экономическая трансформация производства научных журналов и изменения в способах оценки ученых) породил свои специфические эффекты. Наш тезис состоит в том, что именно их совокупное воздействие вызвало в своем роде «Идеальный шторм», приведший к радикальным изменениям в научном поле, следствием которых стал рост девиантного поведения среди ученых, журнальных издателей, а также менеджеров академических институций. Здесь будет уместно вспомнить о расплодившихся «хищнических журналах», поддельном рецензировании, манипулировании ссылками в целях увеличения импакт-факторов журналов и улучшения позиций в академических рейтингах, а также о росте числа «поправок» ( erratum ) и «отзывов» уже опубликованных научных статей [169] 169 Zoe Corbyn, “Retractions up tenfold,” in Times Higher Education , 2009, (20 August), https://www.timeshighereducation.com/news/retractions-up-tenfold/407838.article; Richard van Noorden, “Brazilian citation scheme outed. Thomson Reuters suspends journals from its rankings for ‘citation stacking.’” in Nature , 2013, 500 (29 August), pp. 510–551; Charlotte J.Haug, “Peer-Review Fraud — Hacking the Scientific Publication Process,” in New England Journal of Medicine , 2015, 373 (17 December), pp. 2393–2395; Jeffrey Beal, “Predatory journals: Ban predators from the scientific record,” in Nature, 534 (16 June). .

В этой главе мы предлагаем глобальный макроструктурный анализ, призванный продемонстрировать, каким образом эти взаимосвязанные трансформации стали причиной превращения научной статьи из единицы знания в отчетную единицу, используемую для оценки исследователей и их организаций (кафедр, лабораторий и университетов). Теперь структура научного поля представляет собой результат сложных интеракций между разными каузальными цепочками, которые в совокупности привели к изменению социальных функций научной публикации, вписавшейся в идущие рука об руку идеологии «нового менеджмента знаний» ( New Knowledge Management ) и «общества аудита» ( Audit Society ) [170] 170 T. D. Wilson, “The Nonsense of ‘Knowledge Management’,” in Information Research , 2002, 8 (1), http://InformationR.net/ir/8-1/paper144.html; Michael Power, “The Audit Society — Second Thoughts,” in International Journal of Auditing , 2000, 4 (1), pp. 111–119. . Чтобы лучше понять природу этих недавних трансформаций, мы должны сначала обрисовать фундаментальную социальную динамику научных исследований за более чем трехвековую историю. Мы ограничимся здесь научными исследованиями и публикациями, исключив исследования, нацеленные на получение прибыли или патентов, поскольку динамика последних хотя и, разумеется, все теснее связана с динамикой научного поля вследствие снижения государственных субсидий на «фундаментальную» науку, тем не менее подчиняется другой логике, а именно логике прибыли. Напротив, финальным продуктом деятельности ученых в научном поле является статья, которая должна содержать новые знания, откуда и термин «единица знания».

Классическая социология науки, разработанная Робертом Мёртоном и его школой, наглядно показала, что в основе динамики научных исследований лежит символическое признание (или кредит доверия) [171] 171 Jonathan R. Cole, Steven Cole, Social Stratification of Science (Chicago: University of Chicago Press, 1973). . Ученый через публикацию сообщает научному сообществу об «открытии» (новом факте, инструменте, интерпретации теории) и взамен получает символическое признание своего оригинального вклада. Благодаря такому общественному признанию у него улучшаются шансы доступа к материальным и экономическим ресурсам, а также институциональным позициям для дальнейшего проведения исследований. Эта простая, но наглядная модель была затем развита Пьером Бурдье, который более явным образом учитывал связи и взаимные трансформации между признанием, отныне рассматриваемым как форма символического капитала, и другими видами капиталов (экономическим, культурным, социальным), циркулирующими в научном поле [172] 172 Pierre Bourdieu, “Forms of Capital,” in J. E. Richardson (ed.), Handbook of Theory of Research for the Sociology of Education (New York: Greenwood Press, 1986), pp. 241–258; Pierre Bourdieu, Science of Science and Reflexivity (Chicago: University of Chicago Press, 2004). .

На схеме 1 показано, как работают эти циклы создания авторитета ( credibility ), если воспользоваться выражением Латура и Вулгара [173] 173 Bruno Latour, Steven Woolgar, “The Cycle of Credibility,” in Barry Barnes and David Edge (eds), Science in Context. Readings in the Sociology of Science (Cambridge, Mass.: MIT Press, 1982), pp. 34–43. . Для большей наглядности мы исключили из этого цикла случаи отказа в публикации статьи. На самом деле модель предсказывает, что если отказов слишком много (а значит, у него недостаточно признания со стороны сообщества), то ученый бросает исследования и ищет другого вида признания, зачастую в другом социальном поле. Этот цикл основан на фундаментальной, но неявной идее: научная публикация — это воплощение того, что можно назвать «единицей знания», то есть любой оригинальный вклад, воспринимаемый как легитимный членами определенного научного поля. Как правило, «единица знания» становится таковой лишь после рецензирования коллегами и публикации в том или ином журнале, поскольку ее ценность и легитимность не внутренне присущи предложенной к публикации статье, а являются порождением социального признания. В зависимости от ценности (широкой или узкой) этой единицы знания, которая в некоторых полях может сводиться к нескольким строчкам компьютерного кода, автор в большей или меньшей степени наращивает свой символический капитал, в частности за счет цитирования другими авторами. Таким образом, цитирование в научном поле работает как механизм наделения символическим признанием. Накопление же символического капитала, в свою очередь, облегчает доступ к новым ресурсам для исследований (грантам, научным ассистентам, стипендиям для постдоков и т. п.) и благоприятным институциональным позициям. Улучшение доступных ресурсов наделяет более качественными инструментами и повышает шансы произвести более качественные публикации и более крупные «единицы знания».

Схема 1. Классический цикл производства знания, оценивания и накопления авторитета

Очевидно, что в этой системе ключевым звеном является процедура рецензирования ( peer-review ), поскольку именно на этом этапе решается, будет ли существовать статья как социально признанная единица знания, циркулирующая в научном поле. Со времени институционализации в середине XVII века процедура рецензирования, разумеется, менялась в деталях (будучи анонимной или нет, внешней или осуществляемой силами самой редакции), но сохранила за собой базовую функцию поддержания барьеров ( gate-keeping ) на входе в научное поле [174] 174 Harriet Zuckerman, Robert K. Merton, “Patterns of Evaluation in Science: Institutionalization, Structure, and Functions of the Referee System,” in Minerva, 1971, 9, pp. 66–100; Daryl E. Chubin, Edward J. Hackett, Peerless Science. Peer Review and US Science Policy (Albany: SUNY Press, 1990); Mario Biagioli, “From Book Censorship to Academic Peer Review,” in Emergences, 2002, 12 (1), pp. 11–45; David Abraham Kronick, “Devant le deluge” and Other Essays on Early Modern Scientific Communication (Lanham, MD: Scarecrow, 2004); Lewis Pyenson, “Physical Sense in Relativity: Max Planck edits the Annalen der Physik, 1906–1918,” in Annalen der Physik , 2008, 17 (2–3), pp. 176–189. . Можно было бы ожидать, что растущее давление на научную систему с середины 1970-х годов приведет к усилению критики в адрес рецензирования [175] 175 Thane Gustafson, “The Controversy Over Peer Review,” in Science , 1975, 190 (12 December), pp. 1060–1066. . К концу 1980-х механизм рецензирования даже стал предметом систематического и долговременного анализа, особенно в биомедицинских науках, в рамках ежегодного Конгресса по рецензированию (Congress of Peer Review) [176] 176 Drummond Rennie, “Let’s make peer review scientific,” in Nature , 2016, 535 (7 July), pp. 31–33. . Однако несмотря на всю критику в адрес рецензирования, оно остается ведущим звеном базового цикла накопления научного кредита доверия. И по мере того, как научная статья превращается в простую отчетную единицу, используемую для оценивания исследователей и исследовательских институций, мы наблюдаем появление и распространение различных более-менее девиантных практик. В ответ на ужесточающиеся требования в отношении публикаций ученые пытаются манипулировать библиометрическими показателями или даже самим процессом рецензирования.