Ив Жангра - Ошибки в оценке науки, или как правильно использовать библиометрию [калибрятина]

В последнее десятилетие много работ было посвящено визуализации системы отношений между дисциплинами [57]. На большинстве таких изображений сеть отношений между дисциплинами отличается от линейной иерархической последовательности, как это подразумевалось в большей части классификаций наук от Фрэнсиса Бэкона до Огюста Конта. В своей совокупности дисциплины формируют круг, как это предполагал, один из немногих, Жан Пиаже [58]. И замкнуть этот круг позволяет математика, устанавливая отношения между физикой, с одной стороны, и (через статистику) с психологией и социальными науками, с другой [59].

Примеры эти можно было бы умножать, настолько многочисленны и разнообразны в наше время библиометрические исследования. Но и приведенных выше примеров достаточно для демонстрации того, что библиометрия дает нам информацию о науках, которую невозможно получить иным способом. Она позволяет уйти в исследованиях науки от частных историй, дисциплинарных предпочтений и авторитетных суждений, которые не могут служить серьезным основанием для принятия решений в сфере научно-технической политики. Как недавно подчеркивалось в отчете Совета канадских академий, политические решения, безусловно, не могут основываться исключительно на библиометрических данных, однако последние помогают сделать осведомленный выбор [60]. А те, кто думает, что без них можно обойтись, рискуют ошибиться в своих расчетах и прогнозах. О некоторых расхожих мнениях по поводу практик цитирования

Библиометрический анализ опровергает некоторые расхожие представления. Возьмем для примера средний возраст ссылок, содержащихся в пристатейных списках литературы. Часто приходится слышать, что цитируются только статьи менее четырех- пятилетней давности и что быстрый рост числа публикаций только усиливает тенденцию ссылаться на самые свежие результаты. Однако глобальное исследование временнóй динамики среднего (или даже медианного) возраста ссылок показывает, что на самом деле в последние тридцать лет он только увеличивается! [61]Точно так же несостоятельна идея о том, что бóльшая часть статей никогда не цитируется: в реальности доля нецитируемых статей снижается с течением времени, особенно с 1970-х годов [62]. Значение данного показателя, разумеется, зависит от того, какой временной промежуток взят для анализа. Если ограничиваться двухлетним периодом, то удельный вес нецитируемых статей будет выше в социальных науках, чем в медико-биологических. Зато если увеличить этот временной интервал, например до десяти лет, то разрыв между дисциплинами сокращается. Так что прежде чем приниматься за оценивание, в особенности отдельно взятых исследователей, важно хорошо понимать технические характеристики цитирования.

Противники цитационного анализа приводят в качестве аргумента тот факт, что статьи с ошибочными и даже поддельными результатами исследований могут широко цитироваться, тогда как новаторские работы иногда игнорируются. Однако с точки зрения истории и социологии науки это не является проблемой. Напротив, изучая такие ссылки, можно выявить динамику научных споров, а также способы научной коммуникации и распространения знаний. Анализ цитирования также позволяет исследовать пути рецепции той или иной теории, не вынося при этом суждения о ее истинности или ложности, ведь этот аспект скорее относится к прерогативам самого научного сообщества. Рассмотрим для примера случай холодного ядерного синтеза, о котором с большой помпой объявили в 1989 году электрохимики Стэнли Понс и Мартин Флейшман. В исследовании, опубликованном ISI, демонстрируется, что через 10 месяцев после объявления об их революционном «открытии», в соответствии с которым ядерный синтез считался возможным при комнатной температуре в пробирке, 52 % ссылок на их статью носили негативный характер, 27 % – позитивный, а все остальные упоминания были нейтральными. Интересный факт: позитивную оценку давали в основном теоретики, пытавшиеся объяснить этот феномен [63].

Если статья не цитируется, это просто означает, что ученых не интересует ее тема. Впоследствии ученые могут заинтересоваться данным предметом и начать цитировать давнюю статью. В библиометрии этот феномен известен под названием «спящая красавица» ( sleeping beauty ) [64]. Так, статья итальянского физика Этторе Майораны по релятивистской теории вращения элементарных частиц, опубликованная в 1937 году, «проспала» до середины 1960-х, когда благодаря ускорителям было открыто большое количество новых частиц. И с тех пор данный вопрос получил актуальность, которой у него не было за тридцать лет до этого, когда единственными известными частицами были электрон и нуклон (протон/нейтрон) со спином ½. Однако следует отметить, что Майорана не был безвестным ученым и другие его публикации часто цитировались [65].

Согласно другому расхожему мнению, важнейшие тексты того или иного ученого могут долгое время оставаться почти не замеченными. Так, в статье, часто приводимой в качестве примера критиками библиометрии, британский биолог Питер Лоуренс утверждает, что самая важная работа XX века очень редко цитировалась в первые десять лет после ее публикации [66]. Поскольку речь шла о статье Уотсона и Крика о структуре ДНК, опубликованной в Nature в 1953 году, это утверждение меня заинтриговало. Надо заметить, что оба исследователя были награждены Нобелевской премией в 1963 году, спустя всего девять лет после своего открытия, что кажется очень коротким сроком. В этой связи представляется маловероятным, чтобы их текст остался незамеченным. Решив внимательнее рассмотреть этот случай, я методично проанализировал все ссылки на эту статью между 1953 и 1970 годами и пришел к выводу, что утверждение Лоуренса – это миф. Источник его – в неправильном использовании библиометрии, когда выводы делаются, основываясь на абсолютном числе ссылок, без учета специфики изучаемой научной области и периода, а также всей совокупности журналов, где встречаются ссылки на данный текст. Статья Уотсона и Крика вовсе не прошла незамеченной, напротив, вплоть до 1970 года она оставалась наиболее часто цитируемой среди текстов, опубликованных в Nature в 1953 году. К примеру, в период с 1953 по 1955 год она цитировалась в 36 раз чаще, чем в среднем другие статьи, вышедшие в Nature в 1953 году. А если вспомнить, что среднее значение этого показателя для журнала Nature сильно превышает его значение для совокупности статей, публикуемых во всех журналах по биологии вместе взятых, то становится ясно, что текст Уотсона и Крика стал широко известен сразу после публикации. В 1956–1958 годах его цитируют в 65 раз чаще, чем в среднем все другие статьи. Иными словами, социологическая догадка была верна: столь фундаментальные статьи не проходят незамеченными в рамках адекватного научного сообщества [67].