Коллектив авторов - Совершенствование оценки эффективности деятельности подведомственных Правительству Российской Федерации образовательных и научных учреждений

Таблица 8

Индикаторы процессов Систем финансирования исследований на основе оценки эффективности – PBRFs

Индикаторы структуры могут быть сосредоточены на внутренних аспектах, таких как доля академических работников, занятых в исследованиях или исследовательской инфраструктуре, или на внешних аспектах, таких как сотрудничество, репутация и уважение в среде коллег (табл. 9). Возможности для сравнения значений структурных индикаторов для разных дисциплин и областей исследования ограничены вследствие различий в средствах и методах сотрудничества.

Таблица 9

Индикаторы структуры Систем финансирования исследований на основе оценки эффективности – PBRFs

Важные результирующие индикаторы в части выходных индикаторов представлены в табл. 10, а в части индикаторов эффекта – в табл. 11.

Таблица 10

Индикаторы результатов Систем финансирования исследований на основе оценки эффективности – PBRFs

Результаты на выходе могут быть измерены на основе числа публикаций, небиблиографических итогов деятельности, выпуска докторов философии (PhD) и различных видов общественных мероприятий. Публикации важны для развития исследований, но характеристики публикаций отличаются в разных областях исследований и дисциплинах. Обычно при оценке публикационной активности акцент делается на рецензируемых публикациях, поскольку рецензирование предполагает обеспечение определенного уровня качества. В таких областях, как общественные и гуманитарные науки, различие между долей национальных и международных публикаций может быть существенным. Часто статьи в журнале группируются, исходя из ранжирования журналов (по рейтингам журналов). В некоторых научных областях есть устоявшаяся система рейтингования журналов, но в некоторых такие системы ограничены. Эффект также может быть измерен индикаторами, связанными с количеством цитирований, премиями и наградами, возможностями по трудоустройству выпускников PhD, коммерциализацией результатов исследований и оценкой их конечным потребителем.

Таблица 11

Индикаторы эффекта Систем финансирования исследований на основе оценки эффективности – PBRFs

Количество цитирований – индикатор эффекта, который учитывает частоту публикаций и частоту, с которой опубликованные материалы процитированы другими исследователями. Так как исследователи цитируют друг друга по множеству причин, то дискуссионным остается вопрос о том, что фактически измеряет количество цитирований. Предполагается, что исследователи цитируют друг друга, поскольку основываются на идеях и результатах других исследователей, и количество цитирований является характеристикой качества. Но насколько значительно такое качественное измерение? Повод для цитирования также может быть неоднозначным. Не всегда ссылка на работу другого исследователя используется в качестве поддержки собственной точки зрения исследователя. Ссылка может использоваться и для того, чтобы не согласиться с точкой зрения другого автора или показать общее понимание предметной области. Измерение качества исследований без использования количества цитирований осложняется тем, что информация для этого больше имеет отношение к коммуникационным структурам и профессиональным сообществам.

В академическом сообществе продолжается обсуждение возможности использования и неправильного употребления статистики цитирования. В 2008 году Объединенный комитет количественной оценки исследований (Joint IMU/ICIAM/IMS [16] IMU = International Mathematical Union, ICIAM = International Council of Industrial and Applied Mathematics, IMS = Institute of Mathematical Statistics. Committee on Quantitative Assessment of Research) опуб ликовал отчет об ограничениях статистики цитирования и рекомендациях по ее использованию. Предпосылкой для создания отчета стало наблюдение того, что для большей прозрачности и ответственности в академическом мире создана культура чисел. Комитет в своем отчете отметил, что лица, принимающие решения, при отсутствии возможности измерить качество (конечная цель) заменяют качество числами, которые они могут измерить. Эта тенденция призывает дать комментарий тех, кто профессионально имеет дело с числами – математиков и статистиков [17] Adler R., Ewing J. and Taylor P. (2008) Citation Statistics. Joint Committee on Quantitative Assessment of Research. .

Отчет был прокомментирован другими экспертами, которые признают распространенное неправильное употребление данных о цитируемости, но также указывают на способы провести результативный анализ, прежде всего идентифицируя и сравнивая эффективность сопоставимых групп ученых [18] Lehmann S., Lautrup B. E. and Jackson A. (2009) Comment: Citation Statistics. Statistical Science , vol. 24, no 1, pp. 17–20. .

Кроме того, есть много проблем в отношении техники измерений, связанных с количеством цитирований. В частности, проблемы связаны с конкуренцией между базами данных. Самыми признанными являются базы Thompson Reuters ISI Web of Science, Scopus и Google Scholar. Прозрачность информации баз данных и критериев, на основе которых материалы включаются и исключаются из подсчетов, находятся пока на недостаточном уровне. Из-за различий в степени покрытия базами данных поиски в различных системах часто дают разные результаты. Кроме того, базы данных могут быть склонны к ошибке, и степень покрытия меняется в зависимости от области исследований. Для получения, обработки и интерпретации информации о цитировании из баз данных от специалиста требуется владение комбинацией библиометрических и академических навыков в определенной области исследования.

Поскольку и количество публикаций, и степень цитируемости значительно разнятся в зависимости от областей исследований, то возможности для проведения сравнений очень ограничены. Существует рекомендация сравнивать «подобное с подобным». Так, для анализа цитируемости на предмет оценки успешности университетского исследования данные должны быть нормализованы, например, путем соотнесения среднего числа цитирований статьи с мировым средним значением по конкретной области исследований. Такой подход позволяет учесть различную степень воздействия отдельных исследовательских направлений.