Ив Жангра - Ошибки в оценке науки, или как правильно использовать библиометрию [калибрятина]

Использование библиометрических данных для индивидуальной оценки исследователей стало вызывать возражения с самого зарождения библиометрии как метода, и Гарфилд мгновенно отреагировал на это беспокойство. Прибегнув к яркому образу, он предположил, что было бы абсурдно каждый год вручать Нобелевскую премию наиболее часто цитируемым авторам. Ведь если, по его словам, исходить из одного лишь показателя цитируемости научных работ, то следовало бы признать Лысенко одним из величайших исследователей 1950-х годов [94]. По мнению Гарфилда, ссылки позволяют находить статьи и тех, кто их цитирует, тем самым помогая составить мнение о том или ином исследователе. Но подсчет ссылок не может заменить собой процесс оценки, при котором необходимо учитывать и другие переменные. Число полученных ссылок, в частности, зависит от характера статьи. Статья методологического характера, описывающая конкретную методику, цитируется гораздо дольше, чем обычный текст, представляющий новые результаты по тому или иному предмету. Точно так же обзорная статья, передающая актуальное состояние знаний в данной области, будет ожидаемо цитироваться в течение длительного времени, даже если она не содержит результатов какого-либо открытия.

Будучи горячим сторонником использования ИНЦ, Гарфилд утверждал, что анализ цитирования позволяет предсказать, кому будет присуждена Нобелевская премия [95]. Но это было явным преувеличением: хотя Thomson Reuters и делает регулярно такие предсказания, чтобы популяризировать использование ИНЦ, они все-таки нереалистичны, поскольку один анализ ссылок не позволяет учесть все разнообразие исследовательских областей, а также стратегии Нобелевских комитетов, которые заботятся о соблюдении баланса между дисциплинами от года к году. А главное, часто цитируемых авторов слишком много по сравнению с небольшим числом Нобелевских премий, присуждаемых ежегодно [96].

Гарфилду как основателю Индекса научного цитирования было очевидно, что любой инструмент может быть использован не по назначению и необоснованно. «Научному сообществу надлежит предотвращать злоупотребления при использовании ИНЦ, обращая должное внимание на его корректное использование» [97]. Ту же позицию он занимает и в отношении журнального импакт-фактора, который был создан для помощи в отборе журналов библиотечными работниками, но который, как мы видим, в отсутствие критической рефлексии превратился в инструмент оценивания исследователей.

Несмотря на эти призывы к бдительности, библиометрия начала постепенно проникать в процесс оценивания исследователей уже с 1970-х годов. Как отмечает социальный психолог Джанет Бавелас, академический мир начиная с 1960-х годов настолько изменился, что стало невозможным, как прежде, назначать профессоров лишь по принципу включенности в персональные сети ( old boy network ) и основываясь на авторитете деканов или заведующих кафедрами [98]. И как раз в момент поиска системы оценки, которую можно было бы считать более демократической, объективной и менее произвольной, стал доступен Индекс научного цитирования. К тому же быстрый рост числа вузовских преподавателей и исследователей в течение этого периода (1965–1975) делал еще более сложным поиск и отбор кандидатур, которых стало слишком много, чтобы все могли знать их лично. Добавим к этому, что цифры с давних пор обладают аурой объективности [99]. Так были созданы все необходимые предпосылки к тому, чтобы цитирование стало использоваться как показатель качества.

В мае 1975 года в журнале Science была опубликована подробная статья о растущем использовании цитатного анализа для оценивания исследователей. В ней упоминалась профессор биохимии, которая оспаривала свое увольнение как несправедливое, утверждая на основании количества ссылок на ее статьи, что ее цитировали гораздо чаще, чем коллег-мужчин, которых тогда же повысили в должности [100]. На этом примере видно, что цитирование – это орудие, используемое не только руководителями институций, но и самими исследователями в тех случаях, когда им это выгодно. В связи с упрощением доступа к базам данных по цитированию, таким как Google Scholar, некоторые ученые стали указывать в резюме число ссылок на свои статьи, а также свой h-индекс, тогда как ценность этих показателей сомнительна и может привести к ошибочной оценке значимости кандидатур. Эпидемия h-индекса

В середине 2000-х годов, когда в научных кругах стали разрабатывать библиометрические показатели для придания большей объективности индивидуальному оцениванию, американский физик Хорхе Е. Хирш из Калифорнийского университета в Сан-Диего предложил свой h-индекс (индекс Хирша).

Этот индекс равен числу статей N, опубликованных исследователем и процитированных по меньшей мере N раз каждая с момента их публикации. Например, у автора, опубликовавшего 20 статей, из которых 10 цитируются как минимум по 10 раз каждая, h-индекс равен десяти. Произвольность этого индекса просматривается уже в самом названии статьи, притом опубликованной в журнале, считающемся престижным, Proceedings Национальной Академии наук США: «Индекс для квантификации научной продукции ( output ) исследователя» [101]. В действительности этот индекс не измеряет ни количество ( ouput ), ни качество или импакт, а представляет собой некое сочетание этих двух параметров. Он произвольно комбинирует количество опубликованных статей и количество ссылок на них. Считается, что этот индекс позволяет не ограничиваться количеством статей и учитывать также их качество. В соответствии с распространенным стереотипом опубликовать огромное количество плохих статей просто; поэтому число опубликованных статей не считается надежным показателем достоинств исследователя. Но проблема в том, что было быстро доказано: h-индекс очень сильно коррелирует с общим числом опубликованных статей и, таким образом, оказывается избыточным [102].

Более того, у него нет ни одной из базовых характеристик хорошего показателя (мы еще вернемся к этому вопросу в главе IV). Людо Уолтман и Неес Ян ван Эк продемонстрировали, что при сравнении исследователей, количество ссылок на которых возрастает в равной пропорции, h-индекс может давать противоречивые результаты. Эти авторы заключают, что h-индекс «не может считаться подходящим показателем общего научного импакта исследователя» [103]. Этот небрежно сконструированный показатель даже опасен, когда служит для принятия решений о найме, поскольку его использование может приводить к непредсказуемым результатам. Это легко показать на одном простом примере. Сравним два случая: молодой исследователь опубликовал только три статьи, но каждую из них процитировали 60 раз (за фиксированный промежуток времени); второй исследователь того же возраста более плодотворен и имеет в активе 10 статей, каждая из которых процитирована 11 раз. Последний имеет, таким образом, индекс Хирша 10, тогда как первый – всего 3. Можно ли на основании этого заключить, что второй в три раза лучше, чем первый, и поэтому его нужно взять на работу или повысить в должности? Разумеется, нет…