Ив Жангра - Ошибки в оценке науки, или как правильно использовать библиометрию [калибрятина]

Как показывают эти примеры, к которым можно было бы добавить и другие [68], публикации того или иного ученого и ссылки на ту или иную статью могут изучаться с исторической и социологической точек зрения, и вовсе не обязательно при этом впадать в оценивание и рейтингование [69].

Влияние ИНЦ на практики цитирования исследователей и журналов

По мнению некоторых специалистов, использование ИНЦ должно было неминуемо оказать влияние на то, как ученые и журналы будут рассматривать цитирование. Например, Гарфилд призывал редакторов журналов и рецензентов статей обращать внимание на то, насколько корректно авторы ссылаются на релевантные теме их исследования работы коллег. С его точки зрения, это позволило бы не проводить заново уже осуществленные исследования [70].

Норман Каплан, первый социолог, написавший в середине 1960-х годов статью по практикам цитирования, полагал, что использование ИНЦ приведет к большей рефлексивности, то есть нормы цитирования станут более явными [71]. В первых научных журналах середины XVII века цитата имела вид ссылки на автора в самом корпусе текста. Эта практика отвечает негласному долгу признания вклада других членов научного сообщества и приоритета на открытия. Для краткости это можно назвать механизмом наделения символическим признанием. Ссылки также позволяют автору вписать себя в определенную традицию. Долгое время их использование было неформальным и почти не кодифицированным. По мнению Прайса, использование ссылок становится более систематическим с середины XIX века [72]. Однако по наблюдению Чарльза Базермана [73], еще в конце XIX века в американском журнале Physical Review более половины ссылок не были датированы. Но столь слабая кодификация ничуть не мешала рецензентам требовать от авторов упоминания тех или иных работ. Так, в 1760–1770-е годы редколлегия парижской Академии наук часто просила авторов добавить ссылки на предшествующие работы по той же теме. Например, от члена-корреспондента Академии Пьера-Туссена Навьера, подавшего для публикации статью о растворении ртути в кислоте, потребовали «добавить цитаты, как было указано в рецензии». А в 1765 году редколлегия заставила аббата Нолле «сослаться на уже существующие в данной области работы» [74].

Распространение ИНЦ в научном поле изменило эти практики, придав акту цитирования большую осознанность. Они также стали предметом тщательного контроля со стороны рецензентов и журналов, которые постепенно систематизировали оформление этих ссылок (упоминание журнала, года выхода и т. п.). С середины 1970-х годов в научном сообществе стали придавать все большую значимость цитатам как мере качества исследований, и практики цитирования сделались предметом для анализа во многих работах [75]. Большая их часть сходится на том, что за этими практиками стоят разнообразные мотивы и что отсылки к текстам имеют несколько разных функций. Например, они могут отсылать как к методам, так и к источникам, теориям, фактам и пр. Были предложены разные классификации типов цитирования (утвердительное, отрицательное, нейтральное) и причины, по которым автор ссылается или не ссылается на ту или иную статью [76]. Однако с библиометрической точки зрения важность имеют прежде всего агрегированные характеристики. В этой перспективе сами причины цитирования маловажны, поскольку они могут быть различными у разных людей. В каком-то смысле они нейтрализуют друг друга. В конечном счете важно лишь то, что в рамках той или иной специальности или дисциплины одни тексты цитируются чаще, чем другие. При всем разнообразии практик на самом общем уровне цитирование остается мерой заметности цитируемых работ. Индивидуальное цитирование может носить в том числе чисто риторический характер [77]. Однако тот факт, что исследователь цитирует классическую статью, чтобы показать, как его работы вписываются в легитимную традицию, придающую вес его собственной публикации, лишь подтверждает, что цитируемая статья важна в глазах научного сообщества, по меньшей мере как гарантия качества.

Одним из побочных эффектов распространения ИНЦ, которые приходят на ум, является рост количества самоцитирований. И хотя отсечь их при измерении заметности работ исследователя не составляет труда, оказывается, что, вопреки ожиданиям [78], доля самоцитирований остается достаточно стабильной с 1980 года [79]. В целом практика самоцитирования не столь уж проблематична, тем более что у нее есть и легитимная функция: напомнить об уже опубликованных автором работах, на которые опираются его нынешние труды. На самом деле мотивации цитирования собственных и чужих работ в общем-то схожи [80].

Многочисленные критические высказывания в адрес практик цитирования – некоторые обоснованные, другие не очень (как мы только что увидели) – набрали силу внутри академического поля за последние два десятка лет лишь вследствие все более частого использования показателей цитирования для оценки качества научных исследований как на индивидуальном, так и на институциональном уровне. Действительно, критика самоцитирования или ссылок на своих имеет смысл только в свете того, что ссылки стали чем-то вроде валюты, используемой в процессе оценивания исследователей. Поэтому стоит рассмотреть вопрос оценивания более подробно. Глава III. Оценочный бум

С недавних пор участились разговоры о важности оценки научных исследований, и поэтому может создаться впечатление, что в предыдущие эпохи ученых не оценивали. Необходимо прояснить это недоразумение и напомнить, что возникновение оценочных процедур датируется началом институционализации науки, а их сфера применения впоследствии расширялась по мере появления новых организационных структур. С середины XVII века и до наших дней исследователи всегда подвергались оценке.

Проблема состоит не столько в оценивании как таковом, сколько в расширении его применения. В результате исследователям поступает все больше запросов на оценку их коллег, и некоторые отвечают на эти запросы отказом, не желая отрывать время от собственной работы [81]. И хотя некоторые ученые, видимо, считают, что работу мысли оценить невозможно, следует напомнить, что оценивание на разных уровнях уже давно осуществляется в следующих сферах:

1) научные публикации и доклады;

2) запросы на финансирование исследований;

3) преподавание в высшей школе;

4) продвижение по должности;

5) научные центры и департаменты;

6) учебные программы в высшей школе;

7) с конца 1980-х годов в некоторых странах к этому списку прибавилась оценка самих университетов.

Оценка публикаций

Не будет преувеличением сказать, что практика оценки научных трудов восходит к созданному в марте 1665 года журналу Лондонского королевского общества Philosophical Transactions . Его главным редактором был один из двух секретарей этого ученого общества Генри Ольденбург. Это издание представляло собой прототип современного научного журнала: его содержание ограничивалось сферой науки и включало книжные рецензии, оригинальные статьи и перепечатки статей из иностранных источников. Уже в анонсе проекта этого нового издания уточнялось, что его содержание будет «рецензироваться членами Общества» [82]. Сам Исаак Ньютон испытал на себе превратности оценивания, подав в 1672 году свою первую статью в Philosophical Transactions Лондонского королевского общества. Рецензентом был назначен Роберт Хук, не обнаруживший в произведении Ньютона ничего оригинального и даже посчитавший, что заключения автора ошибочны в свете его собственной теории света, опубликованной несколькими годами раньше. Ньютон же имел дерзость не снизойти даже до ее упоминания. Такая оценка, разумеется, ввергла Ньютона в страшный гнев… [83]