Ив Жангра - Ошибки в оценке науки, или как правильно использовать библиометрию [калибрятина]

Каждый из этих трех важнейших процессов (интернет-революция, экономическая трансформация производства научных журналов и изменения в способах оценки ученых) породил свои специфические эффекты. Наш тезис состоит в том, что именно их совокупное воздействие вызвало в своем роде «Идеальный шторм», приведший к радикальным изменениям в научном поле, следствием которых стал рост девиантного поведения среди ученых, журнальных издателей, а также менеджеров академических институций. Здесь будет уместно вспомнить о расплодившихся «хищнических журналах», поддельном рецензировании, манипулировании ссылками в целях увеличения импакт-факторов журналов и улучшения позиций в академических рейтингах, а также о росте числа «поправок» ( erratum ) и «отзывов» уже опубликованных научных статей [169].

В этой главе мы предлагаем глобальный макроструктурный анализ, призванный продемонстрировать, каким образом эти взаимосвязанные трансформации стали причиной превращения научной статьи из единицы знания в отчетную единицу, используемую для оценки исследователей и их организаций (кафедр, лабораторий и университетов). Теперь структура научного поля представляет собой результат сложных интеракций между разными каузальными цепочками, которые в совокупности привели к изменению социальных функций научной публикации, вписавшейся в идущие рука об руку идеологии «нового менеджмента знаний» ( New Knowledge Management ) и «общества аудита» ( Audit Society ) [170]. Чтобы лучше понять природу этих недавних трансформаций, мы должны сначала обрисовать фундаментальную социальную динамику научных исследований за более чем трехвековую историю. Мы ограничимся здесь научными исследованиями и публикациями, исключив исследования, нацеленные на получение прибыли или патентов, поскольку динамика последних хотя и, разумеется, все теснее связана с динамикой научного поля вследствие снижения государственных субсидий на «фундаментальную» науку, тем не менее подчиняется другой логике, а именно логике прибыли. Напротив, финальным продуктом деятельности ученых в научном поле является статья, которая должна содержать новые знания, откуда и термин «единица знания».

Классический цикл накопления символического капитала

Классическая социология науки, разработанная Робертом Мёртоном и его школой, наглядно показала, что в основе динамики научных исследований лежит символическое признание (или кредит доверия) [171]. Ученый через публикацию сообщает научному сообществу об «открытии» (новом факте, инструменте, интерпретации теории) и взамен получает символическое признание своего оригинального вклада. Благодаря такому общественному признанию у него улучшаются шансы доступа к материальным и экономическим ресурсам, а также институциональным позициям для дальнейшего проведения исследований. Эта простая, но наглядная модель была затем развита Пьером Бурдье, который более явным образом учитывал связи и взаимные трансформации между признанием, отныне рассматриваемым как форма символического капитала, и другими видами капиталов (экономическим, культурным, социальным), циркулирующими в научном поле [172].

На схеме 1 показано, как работают эти циклы создания авторитета ( credibility ), если воспользоваться выражением Латура и Вулгара [173]. Для большей наглядности мы исключили из этого цикла случаи отказа в публикации статьи. На самом деле модель предсказывает, что если отказов слишком много (а значит, у него недостаточно признания со стороны сообщества), то ученый бросает исследования и ищет другого вида признания, зачастую в другом социальном поле. Этот цикл основан на фундаментальной, но неявной идее: научная публикация – это воплощение того, что можно назвать «единицей знания», то есть любой оригинальный вклад, воспринимаемый как легитимный членами определенного научного поля. Как правило, «единица знания» становится таковой лишь после рецензирования коллегами и публикации в том или ином журнале, поскольку ее ценность и легитимность не внутренне присущи предложенной к публикации статье, а являются порождением социального признания. В зависимости от ценности (широкой или узкой) этой единицы знания, которая в некоторых полях может сводиться к нескольким строчкам компьютерного кода, автор в большей или меньшей степени наращивает свой символический капитал, в частности за счет цитирования другими авторами. Таким образом, цитирование в научном поле работает как механизм наделения символическим признанием. Накопление же символического капитала, в свою очередь, облегчает доступ к новым ресурсам для исследований (грантам, научным ассистентам, стипендиям для постдоков и т. п.) и благоприятным институциональным позициям. Улучшение доступных ресурсов наделяет более качественными инструментами и повышает шансы произвести более качественные публикации и более крупные «единицы знания».

Схема 1. Классический цикл производства знания, оценивания и накопления авторитета

Очевидно, что в этой системе ключевым звеном является процедура рецензирования ( peer-review ), поскольку именно на этом этапе решается, будет ли существовать статья как социально признанная единица знания, циркулирующая в научном поле. Со времени институционализации в середине XVII века процедура рецензирования, разумеется, менялась в деталях (будучи анонимной или нет, внешней или осуществляемой силами самой редакции), но сохранила за собой базовую функцию поддержания барьеров ( gate-keeping ) на входе в научное поле [174]. Можно было бы ожидать, что растущее давление на научную систему с середины 1970-х годов приведет к усилению критики в адрес рецензирования [175]. К концу 1980-х механизм рецензирования даже стал предметом систематического и долговременного анализа, особенно в биомедицинских науках, в рамках ежегодного Конгресса по рецензированию (Congress of Peer Review) [176]. Однако несмотря на всю критику в адрес рецензирования, оно остается ведущим звеном базового цикла накопления научного кредита доверия. И по мере того, как научная статья превращается в простую отчетную единицу, используемую для оценивания исследователей и исследовательских институций, мы наблюдаем появление и распространение различных более-менее девиантных практик. В ответ на ужесточающиеся требования в отношении публикаций ученые пытаются манипулировать библиометрическими показателями или даже самим процессом рецензирования. Многообразные последствия новых процедур оценки науки

Библиометрия развивалась как особая исследовательская область в 1960–1970-е годы для изучения агрегированных характеристик публикаций и цитирования, предназначавшихся к использованию библиотекарями, историками и социологами науки. Но уже с 1990-х годов ее методы все чаще используются для упрощения процесса оценки исследователей [177]. Это новое явление идет в ногу с идеологией «бенчмаркинга» ( benchmarking ) и «менеджмента знаний», которая в 1980-х вторглась в публичный сектор, а в 1990-е добралась и до университетов [178]. Уже с середины 1970-х годов использование такого «качественного» метода, как рецензирование, при принятии решений о карьерном продвижении или приеме на работу стало все чаще критиковаться за «субъективность». Для измерения «продуктивности» ученых было предложено доверять количественным показателям, основанным на подсчете статей [179]. С тех пор на основе библиометрических методов были разработаны базовые метрики «импакта», который поборники «бенчмаркинга», «турнирных таблиц» и всяких «рейтингов» отныне мобилизуют для оценки как исследователей и журналов, так и университетов [180].