Ив Жангра - Ошибки в оценке науки, или как правильно использовать библиометрию [калибрятина]

В связи с тем, что количественные показатели продуктивности и импакта отныне заняли центральное место, был создан новый рынок для компаний, предлагающих свои услуги по «оценке» исследователей, лабораторий и университетов [188]. Поскольку статьи и журналы превратились в «единицы отчета», владеющие журналами компании получили возможность позиционировать себя на рынке как производителей новых оценочных индикаторов, основывающихся на их собственной подборке журналов. Параллельно они подталкивали институции к тому, чтобы те призывали своих исследователей публиковаться в их самопровозглашенных «высококачественных» журналах. Лучший пример такой стратегии – это созданный в 2014 году Nature Index, который котирует страны и институции на основе публикаций, издающихся всего лишь в 68 журналах, определяемых как «высококачественные научные журналы». При этом среди них 17 (25 %) относятся к группе Nature (принадлежавшей издательству «Мак-Миллан», недавно создавшему совместное предприятие со «Шпрингером»), которая является одним из крупнейших издателей научных журналов. Говорится, что этот новый рейтинг позволяет «составить картину высококачественных исследований на основе публикуемых статей» и «предоставляет институциям простой способ выявлять и выдвигать на первый план свои лучшие научные исследования».

Распространение интернета не только радикально изменило способ обращения научных статей, но и повлияло на то, какого рода метрики стали продвигаться для измерения «импакта» исследований (которому редко дается четкое определение). В интернете можно получить доступ к статье и быстро просмотреть ее фрагмент на экране, а можно скачать копию целой статьи. Эти действия оставляют следы и тем самым создают новые данные об «использовании» научных статей. В этой ситуации получила распространение так называемая «альтметрика», которую представляют как альтернативу анализу цитирования, хотя в действительности при ее помощи измеряют нечто другое [189]. Если цитирование – это часть внутринаучного процесса, измерение практик использования публикаций в интернете охватывает более широкий спектр пользователей с неизвестным профилем, являющихся частью более широкого социального пространства: ведь по «кликам» мы не можем определить, исходят ли они от обычного гражданина или от публикующегося исследователя. Расширяя арсенал библиометрии, метрики заметности публикаций в интернете по-своему способствуют измерительной лихорадке вокруг «импакта» академических исследований, хотя при этом по-прежнему остается неуловимой суть этого самого «импакта». Сторонники новых веб-метрик часто повторяют, что получение ссылок на статью занимает годы, тогда как «просмотры» и «скачивания» доступны в реальном времени, день за днем и даже час за часом. Добавляя блоги и твиты к арсеналу библиометрии, мы, конечно, получаем инструмент для отслеживания того, как научные результаты распространяются внутри разных сообществ, но это мало что говорит о качестве и даже о научности публикуемых результатов. Более того, эти новые виды метрик имеют совершенно иную темпоральность и охватывают другие типы аудиторий. Так, если временным горизонтом для культуры цитирования, характерной для научного поля, являются годы, то блоги и твиты оперируют в более широком социальном пространстве, появляясь, видоизменяясь и исчезая за считанные дни (блоги) или часы (твиты). Можно было бы ожидать от ученых более критического отношения к институциям, пытающимся использовать столь примитивные и неточные библиометрические методы для оценки «импакта» их исследований, будь то социальный, экономический, культурный или какой-либо иной. Однако под прессом необходимости постоянно доказывать полезность научных исследований лаборатории и университеты склонны пасовать, подчиняясь циничному использованию подобной библиометрии, если она отвечает их целям – подобно тому, как это происходит с так называемым «мировым рейтингом университетов», несмотря на его очевидные пороки [190].

Заключение

Несмотря на то что научное поле на протяжении своей более чем трехвековой истории не прекращало стремительно расти, его базовая структура все это время оставалась относительно стабильной [191]. В последние же двадцать лет она подверглась целому ряду радикальных изменений. На данный момент крайне сложно оценить их долгосрочные последствия. Мы все еще не вышли из переходного периода, характеризующегося экспериментами с различными способами распространения научных результатов: публикация препринтов в «открытом доступе» в онлайн-архиве, практики открытого (неанонимного) рецензирования, комментарии к статье после ее опубликования, рецензирование по «ускоренной процедуре» и многое другое. Но как можно видеть на примере репозитория ArXiv , созданного в начале 1990-х годов для хранения электронных публикаций по физике, не все дисциплины могут следовать одной и той же модели. Фальсификация медицинских открытий, не прошедших процедуры рецензирования, будет иметь гораздо более опасные последствия для общества, чем, например, неожиданное заявление физиков о том, что они наблюдали случай, когда нейтрино двигался быстрее скорости света [192]. Осенью 2011 года эта впечатляющая, хоть и ошибочная новость несколько дней будоражила социальные сети и блогосферу, однако этот промах не мог иметь существенных последствий для жизни общества.

Ясно одно: настоятельное требование скорейших результатов – и более быстрой их оценки – не может не вызвать ответной реакции со стороны ученых. Так, возникло движение за «медленную науку» [193], манифест которого гласит, что «уже не одно столетие единственно возможной наукой была медленная наука». Сторонники движения подчеркивают, что «общество должно дать ученым необходимое им время, а главное, сами ученые должны свободно распоряжаться своим временем для размышлений, ‹…›, чтобы переваривать информацию ‹…›, чтобы преодолевать взаимное непонимание, особенно в деле восстановления потерянного диалога между гуманитарными и естественными науками». И только время покажет, смогут ли ученые, все лучше осознавая механизмы, приведшие к пагубным для их исследований изменениям, добиться того, чтобы методы оценки, превратившие их научный продукт в простую «единицу отчета», были заменены иными методами, более адекватными самой природе науки. Ведь наука, как это подчеркивается в манифесте, «развивается неравномерно, резкими скачками и непредсказуемыми прорывами, и в то же самое время она ползет по очень медленной временной шкале, что тоже имеет право на существование и чему следует отдавать должное». Олеся Кирчик, Ив Жэнгра, Венсан Ларивьер. Глобализация научной коммуникации: «Аномальный» кейс России? [194]