Ив Жангра - Ошибки в оценке науки, или как правильно использовать библиометрию

Наконец, рейтинги служат стратегическим целям тех, кто, стремясь реформировать университетскую систему в своей стране, при первом удобном случае использует их для оправдания уже принятых политических решений. И, кстати, вполне вероятно, что в случае, если бы французские университеты находились на хороших позициях в Шанхайском рейтинге, правительству Саркози было бы труднее оправдать насильно продвигаемые им реформы. Политическое руководство занимало бы более критическую позицию в отношении этого рейтинга, который, напротив, одобрялся бы теми, кто противостоит этим реформам…

Многочисленные дискуссии о состоятельности различных университетских рейтингов и показателей импакта научных исследований, которые вот уже целое десятилетие ведутся в академическом мире, наглядно демонстрируют, что их использование с той или иной целью всецело обусловлено политическими и стратегическими соображениями. Но если перечитать сказку Ганса Христиана Андерсена о новом платье короля, то невольно задумаешься: а не похоже ли положение многих университетских руководителей, по наивности или из цинизма всерьез воспринимающих эти рейтинги, на удел этого бедного короля, который «больше всего на свете любил новые наряды» и поверил обещаниям «двух обманщиков» о том, что они сошьют ему «самый красивый наряд, который только можно представить» и что только глупцы могут в этом усомниться, хотя на самом деле никакой ткани попросту не было? Сановник, которого попросили выразить свое мнение об элегантности нового платья короля, несмотря на свой скепсис (вполне обоснованный: ведь король был гол), стал воспевать красоту ткани (рейтинг!) из страха обидеть своего государя. Последний же, не видя ткани, подумал, что он просто глупец и что все подумают, что он не годится в короли, если он признается в своих тайных мыслях, то есть в том, что ничего не видит. Поэтому он предпочел сказать, что его новое платье прекрасно. И тогда его придворные посоветовали ему «в первый раз надеть эти прекрасные одежды по случаю предстоящей торжественной церемонии». Он важно расхаживал в своих новых одеждах перед народом, и «ни один человек не сознался, что их не видит, ведь никто не хотел признаться, что он глуп или сидит не на своем месте». Так бы все и продолжалось, если бы не «глас невинного младенца», маленького мальчика из толпы, воскликнувшего: «А король-то голый!» Король вздрогнул, поскольку народ был прав, но он сказал себе: «Все же я должен выстоять до конца церемонии». И шествие продолжалось, и камергеры шли за ним, поддерживая несуществующую мантию.

Если сравнить нынешних руководителей университетов с этим королем, долго ли еще они будут ежегодно облачаться в несуществующее платье, скроенное продавцами рейтингов, или же прислушаются к голосу разума?..

Однако необязательно оставлять этот вопрос на откуп академическим управленцам. Можно сознательно бороться с теми силами, которые стремятся навязать университетам иллюзорные рейтинги, несущие больше вреда, чем пользы, посредством их скрупулезной и систематической критики. И хотя, к сожалению, мы не можем утверждать, что истинная идея всегда пробьет себе дорогу, аргументированная критика ошибочного применения бенчмаркинга имеет больше смысла, чем бессильное признание его неизбежности…

Помощь библиометрии незаменима для картирования научных исследований в тот или иной момент времени в той или иной точке мира с целью преодолеть локальное и частное видение науки. Она также позволяет выявлять тренды на разных уровнях (регион, страна и мир), которые невозможно обнаружить иным способом.

Что еще важнее, благодаря библиометрии становится ясно, что публикационные, цитационные и коллаборативные практики различаются в разных дисциплинах и специальностях — социальных и гуманитарных, медико-биологических, технических, естественных… Любой показатель, разработанный для оценивания, обязательно должен учитывать эти различия. Однако при всей ее пользе пользоваться библиометрией следует с большой осторожностью и строгостью. Так, естественные науки предельно интернационализированы, чего нельзя сказать о гуманитарных и социальных науках, которые не случайно сохраняют более локальный характер, учитывающий разнообразие культур [165] 165 См.: Sébastien Mosbah-Natanson, Yves Gingras, “The globalization of social sciences? Evidence from a quantitative analysis of 30 years of production, collaboration and citations in the social sciences (1980–2009),” in Current Sociology , 62 (5), 2014, pp. 626–646. . От любой серьезной научной политики требуется учитывать эти различия в практиках разных дисциплин и специальностей во избежание негативных и даже катастрофических последствий.

Использование неадекватных индикаторов только вредит серьезной оценке, необходимой для отлаженной работы любой организации. Критический анализ плохо продуманных показателей и рейтингов, для составления которых они используются, напоминает нам, что дьявол всегда в деталях и что благими намерениями вымощена дорога в ад. Поэтому нам не следует принимать на веру общие места, без конца воспроизводимые теми, кто твердит о неотвратимости рейтингов, не уточняя при этом, почему должно быть именно так. Нужно вскрывать эти «черные ящики», скрупулезно анализируя свойства и значение каждого показателя, используемого для обоснования той или иной оценки. Только рациональной и высокотехничной работой можно гарантировать, что принятые решения будут основаны на надежных данных. Ведь прежде чем утверждать, что некоторая лаборатория или университет входят «в число лучших в мире», нужно еще выяснить, что в точности означает «лучший» и как произведено измерение. Без предварительной работы по конструированию самого измерительного инструмента капитаны кораблей, ориентирующиеся по сломанным компасам и вышедшим из строя барометрам, рискуют потерпеть крушение при первом же препятствии или буре…

C середины 1990-х годов аналитики и акторы «научного поля» неоднократно высказывались о различных аспектах происходящей сегодня глубокой трансформации структурных условий научной практики: массификация науки, растущие требования к количеству публикаций, относительное снижение государственного финансирования исследований и проникновение в научную систему идеологии «менеджмента знаний» ( knowledge management ) с ее упором на оценку, основанную на количественном измерении продуктивности и «импакта» академических исследований [166] 166 William Bruneau, Donald C. Savage, Counting Out the Scholars: How Performance Indicators Undermine Universities and Colleges (Toronto: James Lorimer, 2002). . К концу XX века техническая инфраструктура журнальных публикаций также начала радикально меняться вследствие появления интернета и электронных публикаций. Благодаря этим новым коммуникационным технологиям стало возможно упразднить материальный носитель научной статьи журнала и напрямую выпускать цифровые издания, которые могут гораздо быстрее и шире распространяться в сети. Это, в свою очередь, привело к изменению динамики научной работы. В итоге растущая концентрация научных журналов в руках ограниченного числа гигантских издательских фирм, подчиняющихся все более высоким требованиям к прибыльности на фондовой бирже, в середине 1990-х годов породила так называемый «кризис академических публикаций», выразившийся в растущей цене на журнальные подписки для академических библиотек [167] 167 Stanford G. Thatcher, “The Crisis in Scholarly Communication,” in Chronicle of Higher Education, 1995, March 3, B1–B2; Carol Tenopir, Donald W. King, “Trends in Scientific Scholarly Journal Publishing in the United States,” in Journal of Scholarly Publishing , 1997, 28 (3), pp. 135–170; Glenn S. McGuigan, Robert D. Russel, “The business of academic publishing: A strategic analysis of the academic journal publishing industry and its impact on the future of scholarly publishing,” in Electronic Journal of Academic and Special Librarianship , 9 (3), http://southernlibrarianship.icaap.org/content/v09n03/mcguigan_g01.html; Vincent Larivière, Stefanie Haustein, and Philippe Mongeon, “The Oligopoly of Academic Publishers in the Digital Era,” in PLoS ONE , 2015, 10 (6), e0127502. . Ответом на этот кризис стало появление движения за «свободный доступ» ( open access ) [168] 168 Mikael Laakso, Patrik Welling, Helena Bukvova, Linus Nyma, Bo-Christer Björk, and Turid Hedlund, “The Development of Open Access Journal Publishing from 1993 to 2009,” in PLoS ONE , 2011, 6 (6), e20961. doi:10.1371/journal.pone.0020961. . Сочетание интернет-технологий с доходностью академических журналов, которые теперь смогли выходить исключительно на цифровом носителе, привело к появлению все большего числа специализированных изданий, зачастую сомнительного качества. Эти журналы стремятся захватить часть генерируемых таким образом прибылей, отвечая на «предложение» растущего числа статей от исследователей, подчиняющихся требованию «публикуйся, или погибнешь» (« publish or perish ») со стороны своих институций. В конечном счете свободное распространение статей через интернет сделало научные результаты более доступными для новой аудитории неспециалистов, которая, в свою очередь, может теперь влиять на выбор исследовательских тематик и приоритетов.