Ив Жангра - Ошибки в оценке науки, или как правильно использовать библиометрию

С середины 2000-х годов проходят многочисленные конференции и появляется множество публикаций об оценке научных исследований. В них постоянно всплывают одни и те же вопросы по поводу применения библиометрии, которые свидетельствуют о сложности в определении способов оценки науки [6] 6 См., например, специальные номера по оценке научных исследований следующих журналов: Le Débat , 156, 2009; L’Homme et la Société , 178, 2010; Communication et organisation , 38, 2010; Connexions , 93, 2010; Quaderni , 77, 2012; Esprit , juillet 2012; Mouvements , 71, 2013; см. также: Albert Ogien, Désacraliser le chiffre dans l’évaluation du secteur public , Versailles, éd. Quae, 2013. . Эти вопросы часто возникают, с одной стороны, из-за непрозрачности используемых концептов и показателей, а с другой стороны, из-за несогласия по поводу того, на каком уровне они могут применяться с пользой. По моему мнению, ясное понимание специфических характеристик самых распространенных библиометрических показателей и сфер их применения важно постольку, поскольку оценки избежать невозможно (да и едва ли желательно). Однако при этом не обойтись и без строго обоснованной критики плохо сконструированных показателей, использование которых чревато негативными последствиями.

Таким образом, цель этой работы — не только представить в обобщенном виде методы библиометрического исследования и различные области их применения, но также показать, что у них есть гораздо более широкое поле приложения, чем оценка научных исследований, представляющая собой относительно недавний и еще не отрефлексированный феномен. Выявив происхождение библиометрии (глава I) и рассмотрев, каким образом она может служить инструментом для анализа развития науки (глава II), мы обрисуем все разнообразие оценок, которым уже давно подвергается мир высшего образования и научных исследований, а также то, как с середины 1970-х годов постепенно вводились в обиход библиометрические методы (глава III). Наконец, в последней главе представлен анализ показателей, наиболее часто используемых для оценки исследователей, а также критика тех злоупотреблений, к которым может приводить такое их применение.

Прежде чем начать разговор о библиометрии, стоит прояснить терминологию, используемую в этой области. Термин «наукометрия» обычно связывается с именем физика Василия Васильевича Налимова, опубликовавшего в 1969 году книгу с таким названием. Наукометрия включает в себя количественное измерение разных видов научной деятельности в самых разных дисциплинах [7] 7 Yuri V. Granosky, “Is It Possible to Measure Science? V. V. Nalimov’s Research in Scientometrics,” in Scientometrics 52 (2), 2001, pp. 127–150. . Ее данные содержат суммы инвестиций в исследования и разработки (Research and Development, R&D), обучение научного персонала и производство статей и патентов. «Библиометрия», термин, введенный в обращение в том же 1969 году Аланом Причардом, означает подраздел наукометрии. Она ограничивается анализом публикаций и их характеристик [8] 8 Alan Pritchard, “Statistical Bibliography or Bibliometrics?”, in Journal of Documentation 24, 1969, pp. 348–349. . И наконец, если в анализ включаются также патенты, часто используется термин «технометрия».

При слове «публикации» первыми приходят на ум научные статьи, однако публикации могут быть самого разного рода. Они включают как книги, так и диссертации, а также так называемую «серую» литературу — отчеты и аналитические записки. Возможность для более или менее тонкого анализа этих различных источников зависит лишь от степени их доступности в форме баз данных. Когда автоматической обработки данных при помощи компьютеров еще не существовало, библиометрический анализ осуществлялся вручную, ограничиваясь несколькими десятками публикаций в отдельных областях науки, таких как химия или социология.

Несмотря на четкие различия между наукометрией и библиометрией, использование библиометрических данных в исследовании научной динамики отныне настолько вошло в привычку, что оба термина быстро стали взаимозаменяемыми.

Появление библиометрии обычно относят к середине 1920-х годов, когда было опубликовано статистическое исследование Альфреда Лотки о распределении продуктивности ученых. В этой статье Лотка вывел закон, носящий теперь его имя: число авторов, публикующих N статей, обратно пропорционально числу N в квадрате [9] 9 Alfred J. Lotka, “The frequency distribution of scientific productivity,” in Journal of the Washington Academy of Sciences , 16, 1926, pp. 317–324. . Но как показал Бенуа Годен [10] 10 См.: Benoît Godin, “On the origins of bibliometrics,” in Scientometrics , 68, 2006, pp. 109–133. , первыми, кто еще в начале XX века проанализировал динамику публикаций в своей области, стали психологи. Однако в отличие от анализа Лотки, психологи в своих наблюдениях не задавались целью открыть общие законы. Они провели библиометрическое исследование для того, чтобы проанализировать рост своей новой дисциплины и способствовать ее популяризации. В ту же эпоху исследователи из другой области, сравнительной анатомии, также прибегли к анализу публикаций, чтобы проследить историю своей дисциплины с XVI до середины XIX века [11] 11 См.: F. J. Cole & N. B. Eales, “The history of comparative anatomy. Part I: A statistical analysis of the literature,” in Science Progress , 11, 1917, pp. 578–596. . Но как ни датировать возникновение библиометрических исследований, настоящий их подъем начался в 1920–1930-е годы, по мере того как развивалось и систематизировалось управление фондами научных журналов в библиотеках. Специализированные журналы становились все более многочисленными и дорогими, поэтому библиотечные работники стремились найти объективные методы для отбора наиболее полезных для исследователей наименований. Именно в этом контексте управления журнальными фондами и возникла идея систематического анализа уже не самих публикаций, а содержащихся в них ссылок (цитат).

Проанализировав, какие журналы чаще всего цитировались, например, в области химии за данный период времени, библиотекари могли принять обоснованное решение, какие из них продолжали оставаться полезными, а какие устаревали, поскольку реже цитировались. Так, исследование, опубликованное в журнале Science в 1927 году, показало, что для получения представления о реальном использовании журналов вместо отбора журналов по принципу субъективного интереса со стороны некоторых исследователей следует искать объективный и более общий показатель. Анализируя содержание главного американского журнала по химии за 1926 год, авторы, два химика, обнаружили, что несмотря на то, что в нем цитируются 247 разных журналов, большинство из них (более 130) упоминались менее трех раз [12] 12 См.: P. L. K. Gross & E. M. Gross, “College libraries and chemical education,” in Science , 66, 1927, pp. 385–389. . Обращая внимание на ведущие позиции немецких журналов, авторы попутно подчеркивали, насколько важно для молодых химиков владеть этим языком [13] 13 См.: Oden E. Shepard, “The chemistry student still needs a reading knowledge of German,” in Journal of Chemical Education , 12, 1935, pp. 472–473. . А исследование цитирования в химических журналах середины 1950-х годов наглядно продемонстрировало резкое падение количества ссылок американских химиков на немецкие журналы, что отражало радикально переменившуюся конъюнктуру после Второй мировой войны [14] 14 См.: Richard L. Barrett & Mildred A. Barrett, “Journals most cited by chemists and chemical engineers,” in Journal of Chemical Education, 34, 1957, pp. 35–38. .