Ив Жангра - Ошибки в оценке науки, или как правильно использовать библиометрию [калибрятина]

Однако следует признать, что и в самом научном сообществе нет единодушия в этих вопросах. Некоторые исследователи в некоторых дисциплинах решили принять как данность деление журналов на категории A, B и C. Другие ученые и другие дисциплины его отвергли, посчитав, что оно произвольно, и предложили попросту очертить «периметр научности», позволяющий утверждать, что вошедшие в него журналы не какие-то сомнительные конторы, а действительно серьезные академические издания. При втором подходе удается избежать ловушки официальных оценок A, B или C, ведь известно, насколько произвольны подобные рейтинги, неизменно отражающие борьбу за власть и расстановку сил. А кто те судьи, что устанавливают подобные рейтинги? И кто с готовностью использует деление на A, B и C? Весьма показательно, что все уважаемые журналы по истории и социологии науки сообща отвергли рейтинг, изначально предложенный Европейским научным фондом, и уже в 2009 году опубликовали коллективную редакционную статью по этому вопросу. Иными словами, внутри научного поля ведется борьба, и было бы наивно не принимать ее во внимание [132]. Состав комиссий, созданных для рейтингования журналов в разных областях гуманитарных и социальных наук, наводит на мысль, что в них отнюдь не всегда заседают самые признанные исследователи и механизмы формирования этих комиссий остаются неясными. Создается впечатление, что мы здесь имеем дело с феноменом, который Пьер Бурдье отважился назвать «законом Жданова». В соответствии с этим законом индивид, занимающий доминируемую позицию в том или ином поле, в большей мере склонен к участию в действиях властей, которые призваны пошатнуть позиции доминирующих [133]. Попадание в число тех, кто официально решает, что этот журнал достоин оценки A, а тот – только C, кому-то явно может вскружить голову…

Можно часто слышать мнение, будто бы от рейтингов никуда не денешься и поэтому с ними «приходится считаться». Это вовсе не так. Благодаря сопротивлению исследователей подобные неразумные инициативы иногда удается остановить. Например, в Австралии остро негативная реакция ученых на рейтинги журналов заставила правительство пойти на попятную и отказаться от использования этих рейтингов для оценки исследовательской работы [134]. Также и во Франции протест со стороны многих исследователей привел к тому, что организации, продвигавшие подобные рейтинги, были вынуждены перейти к простому списку журналов, определяющему «периметр научности» [135]. Этот пример наглядно демонстрирует, что возможно очертить совокупность журналов, считающихся научными в той или иной области, не втягиваясь в порочную игру рейтингов, которые как раз и призваны механизировать процесс принятия решений в ущерб мнению компетентных коллег. Иными словами, научный мир не должен пасовать перед требованиями, не имеющими никакого научного обоснования и подчиняющимися чуждой ему логике. Глава IV. Оценка научных исследований

Для наших целей нет необходимости подробно останавливаться на каждом из многочисленных более или менее бессмысленных показателей, предлагавшихся за последний десяток лет [136]. Более всего удивляет в этом возрастающем многообразии показателей отсутствие четких критериев, позволяющих судить об их валидности. Поэтому для начала необходимо напомнить основы любой процедуры оценивания. А затем я предложу некоторые критерии для проверки валидности показателей.

В последние пятнадцать лет мне как научному руководителю Обсерватории наук и технологий (OST) Квебекского университета в Монреале (UQAM) доводилось сотрудничать со многими организациями в целях проведения библиометрического анализа. Как ни странно, мне часто приходилось им напоминать, что процедуре оценивания должно предшествовать определение специфических целей и задач оцениваемой институции. А ведь должно быть ясно, во-первых, что подход к оценке правительственной лаборатории и университетского исследовательского центра не может быть одним и тем же; а во-вторых, что оценивание осуществляется в свете определенных целей, которые ранее поставила себе сама институция или финансирующая ее организация. Эти цели должны быть достаточно точно определены, чтобы было возможно разработать показатели, способные измерить, насколько они были достигнуты. Если главная задача правительственной лаборатории состоит в осуществлении мер по обеспечению безопасности граждан, то понятно, что количество публикаций в ученых журналах не будет главным показателем ее успеха! В свою очередь, университетская научная лаборатория, имеющая множество контрактов с промышленными предприятиями, но мало публикующая в научных журналах, выглядит проблематично в свете традиционной миссии университета, состоящей в приросте общедоступных знаний. Иными словами, не нужно сначала выбирать показатели, а затем подгонять под них миссию организации таким образом, чтобы их максимизировать. Напротив, следует сначала установить цели и задачи, а затем попытаться найти показатели, которые действительно отражают степень их реализации.

Несмотря на неоднократные призывы к инновациям в сфере оценки (сюда относится и недавнее движение altmetrics , альтернативной метрики, которая основана на социальных сетях, но еще более проблематична, чем обычный анализ цитирования), для конструирования показателей в научной сфере имеется ограниченное число исходных данных. На входе мы имеем научно-педагогические кадры, инструменты, бюджеты и виды деятельности, производимые при помощи этих ресурсов. На выходе же получаем публикации (книги, отчеты и статьи), патенты, конференции и, конечно же, выпускников вузов и их профессиональные карьеры. Чтобы отследить импакт, применение или результаты ( outcomes – менее четкий, но более широкий по охвату термин, чем «импакт»), можно прибегнуть к анализу цитирования статей, промышленного внедрения идей или, к примеру, занятости дипломированных специалистов. В эпоху интернета мы можем также наблюдать появление новых индикаторов, таких как число просмотров электронной версии статей или число скачиваний. Итак, конструирование показателей опирается на совсем небольшое число параметров, по-разному комбинируя которые можно корректно оценивать различные эффекты научной деятельности.

Источники данных

Составить список данных, необходимых для оценки научных исследований, нетрудно. Другое дело – убедиться в том, что они надежны и что стоимость доступа к этим данным не слишком высока. Базы данных по затратам на науку и результативности исследований не всегда доступны в подходящем виде. Такова, к примеру, ситуация с общей суммой ассигнований на научные исследования, получаемых университетами, поскольку не все страны собирают подобные данные централизованно. И сбор этих данных может быть дорогостоящим.