Ив Жангра - Ошибки в оценке науки, или как правильно использовать библиометрию [калибрятина]

Импакт-факторы и рейтинги журналов имеют еще одно косвенное последствие, о котором редко говорится. Стремление исследователей улучшить свои позиции ведет к отказу от изучения локальных, маргинальных и немодных тем. Такая тенденция особенно опасна для гуманитарных и социальных наук, объекты которых имеют по определению более локальный характер, чем у естественных наук. Очевидно, что некоторые темы менее годны для экспорта. Учитывая, что самые цитируемые журналы – англо-американские (а вовсе не международные), шансы опубликовать статью в престижном издании зависят от того, интересна ли данным журналам ее тематика. Исследователю, стремящемуся публиковаться в самых известных журналах, выгоднее изучать экономику США, чем специфику Банка Франции, поскольку последняя тема мало интересует американский журнал [128]. Социолог, работающий по интернациональной, а значит, делокализованной теме или занимающийся теорией, имеет больше шансов экспортировать свои статьи, чем социолог, занимающийся эмпирическим исследованием тех или иных аспектов своего общества. Например, сравнение между Хабермасом и Луманом легче найдет спрос на международном рынке, поскольку у него нет локального эмпирического содержания, которое уменьшило бы его привлекательность для американского журнала. А вот у желающего осуществить сравнительное исследование покупательского поведения на юге Франции и в Бретани могут возникнуть проблемы с интернационализацией результатов. Но неужели этот объект исследования менее важен, чем флуктуации Нью-Йоркской фондовой биржи? Угроза обесценивания и утраты интереса к локальным, но социологически значимым объектам исследований станет вполне реальной, если показатели цитируемости будут использоваться механически, без учета индексикальности (пользуясь этнометодологическим термином) объектов исследования гуманитарных и социальных наук [129]. Исследователи перестанут изучать некоторые темы из страха, что их не будут публиковать журналы категории А. Любопытно, что такие журналы чаще всего иностранные и на английском языке, тогда как журналы на национальных языках, как правило, попадают в класс В или С. Трудно не заметить своеобразной формы колониализма в некоторых рейтингах, предлагаемых Европейским научным фондом (ESF). Действительно, если судить только по общему числу ссылок, то почти неизбежно, англо-американские журналы будут всегда занимать верхние строчки рейтинга. Их, как правило, чаще цитируют в силу простого демографического эффекта: потенциальное число читателей по той или иной специальности больше для английского, чем, например, для французского языка [130]. Однако это число ни в коей мере не указывает на интернациональное или национальное происхождение этих ссылок. Особенно остро это ощущается в социальных и гуманитарных науках по причинам, о которых мы говорили выше.

В качестве одного из основных показателей интернационализации журнала можно рассматривать географическое происхождение публикующихся в нем авторов. Например, в 2000–2012 годах 81 % авторов American Journal of Sociology (AJS) работали в США, тогда как доля британских авторов в British Journal of Sociology составляла 61 %. Так, мы видим, что первый журнал – в основном американский, то есть локальный, и менее международный по степени своей открытости, чем второй или даже чем канадский аналог AJS, в котором только 72 % авторов – канадцы. Для измерения международной заметности этих журналов можно также посмотреть на языковое разнообразие цитирующих их статей. И здесь обнаруживается, что 97 % ссылок на American Journal of Sociology приходится на англоязычные статьи и только 3 % – на статьи на других языках. Для сравнения, например, только 64 % ссылок на французский журнал Actes de la recherche en sciences sociales происходят из франкоязычных источников, 26 % – из англоязычных и 3 % – из немецкоязычных. Географическое происхождение ссылок также указывает на более ярко выраженный локальный характер American Journal of Sociology , поскольку две трети ссылок происходят из США. Для сравнения, лишь 40 % учтенных в Web of Science ссылок на статьи, напечатанные в Actes de la recherche en sciences sociales , имеют источником французские издания [131]. Итак, мы видим, что хотя общий объем цитирования американского журнала в десять раз выше, чем у французского журнала, это вовсе не означает большей степени его интернационализации.

Будучи глухими к этим тонкостям, как и к рискам возможных злоупотреблений, сторонники механистической количественной оценки опираются исключительно на статистику, способствуя вытеснению из процесса оценивания качественного аспекта, считающегося субъективным. Количественные показатели могут анализироваться людьми, абсолютно далекими от рассматриваемой научной области. Но парадокс состоит в том, что для оценки исследователя необходимо собрать комиссию, состоящую из коллег, хорошо разбирающихся в своей области. Эти специалисты хорошо знают, какие журналы являются лучшими в их области, и не нуждаются в списке, составленном группой неизвестных экспертов, распределивших журналы по категориям A, B и С. Напротив, людям, ничего не понимающим в данной области, эти рейтинги дают основание считать, что они выносят обоснованное суждение. Но они и не должны принимать участие в оценочных комиссиях! Распространение все новых плохо сконструированных показателей, таким образом, способствует вытеснению компетентной оценки, которая должна принимать во внимание показатели продуктивности, но интерпретировать их в специфическом контексте. И тот факт, что некоторые исследователи участвуют в разработке этих рейтингов и сами пользуются этими бессмысленными показателями, ничуть не отменяет того, что данные методы минимизируют роль качественной оценки научной работы, заменяя ее оценками механистическими.

За оценку без рейтингов

Часто путают оценку и рейтингование. В действительности это две совершенно разные операции. Если вторая подразумевает первую, то первая вовсе не обязательно приводит ко второй. В отличие от оценки, которая призвана в определенный момент времени подвести промежуточный итог работе, проделанной индивидом или организацией, и адресуется прежде всего данному человеку или организации, рейтинг всегда связан с публичностью и пиаром. Но донесение до общественности – процесс отнюдь не безобидный, чреватый побочными эффектами, способными причинить ущерб репутации.

Следует также различать официальный и неофициальный рейтинги. Любой исследователь спонтанно ранжирует для себя журналы своей дисциплины. Некоторые журналы более престижны, чем другие. Ученый-физик знает, что ему лучше публиковаться в Physical Review Letters , чем в Il Nuovo Cimento . Но эти субъективные и более-менее общепринятые рейтинги подвижны и различаются от человека к человеку. Однако ситуация кардинально меняется, когда официальная организация публикует официальный список, где во всеуслышание объявляется, что журналу Il Nuovo Cimento присвоена оценка C, а журналу Physical Review Letters – оценка A. Такая официализация неизбежно порождает негативные эффекты, к которым не приводят спонтанные рейтинги среди самих исследователей. Действительно, журнал X публикует множество статей, и некоторые из них оригинальные, выдающиеся и более значительные, чем статьи, опубликованные в журнале Y . И исследователи, внимательно следящие за развитием своей научной области, это прекрасно знают. Благодаря неформальному общению внутри сообщества и различным типам взаимодействий складывается спонтанная, подвижная и нестигматизирующая оценка. Таким образом, негласная иерархия журналов в той или иной научной области ни в коей мере не равнозначна официальному рейтингу.