Ив Жангра - Ошибки в оценке науки, или как правильно использовать библиометрию

Во-вторых, хороший показатель должен быть однородным по своему составу. Например, в сфере науки однородным (для данной страны) показателем научной деятельности будет число статей, опубликованных в ведущих научных журналах. Этот показатель позволяет измерить результативность, которую можно сопоставить с вложенными ресурсами, такими как объем инвестиций в науку (выраженных в евро). По этим показателям можно сравнивать между собой страны и даже организации. С их помощью можно также картировать научную деятельность в двух разных аспектах: входящие ресурсы и результаты. Соотношение этих двух величин дает показатель производительности научного труда (затраты/выпуск). Однако если принять этот показатель за меру качества научных исследований (а не их эффективности), комбинируя его с репутационной шкалой, установленной экспертной группой, то получается неоднородный показатель, который может непредсказуемо варьироваться, причем установить точную причину этой вариации невозможно.

Шанхайский рейтинг университетов дает в этом смысле наилучший пример того, как делать не надо: в нем намешаны одновременно ссылки, Нобелевские премии и статьи в ведущих журналах, и всем этим критериям назначены веса абсолютно произвольным образом, чтобы в конечном счете получить одну цифру. Складывая столы со стульями таким образом, невозможно определить причину вариаций итогового показателя. К тому же известно, что использование весовых множителей для сложения показателей иногда дает бессмысленные результаты [149] 149 См.: Jean-Charles Billaut, Denis Bouyssou, Philippe Vincke, “Should you believe in the Shanghai ranking?” in Scientometrics , 84, 2010, pp. 237–263. . Критерий однородности также связан с принципами прозрачности и простоты показателей, что означает возможность их прямой интерпретации. Например, такая метрика значимости журналов, как Eigenfactor, основанная на алгоритме типа Page Rank, непрозрачным образом принимает в расчет качество цитирующих журналов [150] 150 См.: http://en.wikipedia.org/wiki/Eigenfactor. . Но на каком объективном основании можно заключить, что ссылка в журнале Science имеет больше веса, чем ссылка в Scientometrics ? Это только добавляет произвольности уже и без того сомнительному показателю. В реальности оказывается невозможно исправить плохой показатель, комбинируя его с другими и тем самым делая его еще менее прозрачным. Следует отказаться от такого показателя и найти другой, более адекватный и простой в интерпретации.

Последнее важнейшее качество хорошего показателя состоит в том, что его значения должны варьироваться в соответствии с инерцией, свойственной измеряемому объекту, поскольку разные объекты меняются с большей или меньшей быстротой в зависимости от их внутренних свойств. Возьмем для примера термометр: предположим, что вместо старого доброго столбика с ртутью используется электронный прибор с цифровым экраном и что в непроветриваемой комнате он сначала показывает 20 градусов, минуту спустя — 12 градусов, а еще через минуту — 30 градусов. Разумеется, исходя из простого здравого смысла наблюдатель скорее придет к заключению, что прибор сломан, чем поверит в то, что температура так быстро меняется. Ведь интуитивно понятно (и это подтверждается термодинамикой), что температура в закрытой комнате не может столь резко меняться в течение трех минут! Точно так же известно, что такие крупные организации, как академические институции, сродни неповоротливым танкерам, неспособным быстро менять курс (оно и к лучшему, ведь это избавляет их от необходимости реагировать на сиюминутные, а порой и пустые требования [151] 151 В этом смысле абсурдно утверждать, что «образование должно всегда ориентироваться на крайне волатильный рынок труда», поскольку образование занимает годы, а это, разумеется, абсолютно несовместимо с «волатильностью» рынка! Отсюда вся важность фундаментального образования, которое преодолевало бы эту «волатильность»… См.: “Les cahiers de la compétitivité. Spécial Enseignement supérieur,” p. II, вставка в Le Monde от 21 мая 2008 г. ). Поэтому если рейтинг показывает, что некоторая институция за один год переместилась с первого на шестое место или с восьмого на второе, то это явно означает, что используемый показатель дефективен или крайне неточен, а вовсе не то, что качество институции резко изменилось! К тому же, учитывая естественную погрешность в данных из года в год, ясно, что бóльшая часть годовых колебаний в рейтингах на самом деле случайна и не имеет никакого реального значения. И тот факт, что обычные лидеры неизменно занимают верхние строчки, вовсе не свидетельствует о состоятельности этих рейтингов и показателей. Ведь можно с большой долей уверенности утверждать, что какой бы критерий мы ни избрали, Гарвард, Калифорнийский технологический институт и Массачусетский технологический институт всегда окажутся в тройке лидеров. И кстати, неудивительно, что эти университеты как раз не очень озабочены своим положением в рейтингах. Настоящая борьба происходит скорее на средних позициях, где места распределяются наиболее произвольным образом. Но именно эти позиции (условно говоря, второго верхнего квартиля) более всего интересуют научных администраторов. Так или иначе, годовое передвижение на несколько позиций вверх — не более чем артефакт, а вовсе не реальное изменение, которое можно записать на счет руководства, наградив его премией или просто похвалами.

Инерция, присущая оцениваемой институции, также должна учитываться при выборе частоты проведения оценки. Например, в США Национальный исследовательский совет (NRC) составляет рейтинг всех докторских программ американских университетов по всем дисциплинам не чаще, чем раз в десять лет. Почему так редко? Не только потому, что такие подсчеты дорого стоят, но и потому, что очень маловероятно, чтобы академическая программа, которая в 2008 году была оценена на отлично, в 2009 году стала посредственной. Иначе говоря, подобная периодичность учитывает относительное постоянство университета. Это наводит на мысль, что проводить оценку таких крупных институций каждые четыре года не имеет особого смысла (и ведет лишь к растрате ресурсов). Более реалистичной для фиксации действительных изменений была бы частота оценки в шесть-семь лет.

К этим трем критериям следует добавить еще один, неочевидный момент, который требует прояснения, поскольку тоже может служить для выявления сомнительных показателей: значения показателя должны изменяться подобно монотонной функции — либо непрерывно возрастая, либо убывая. H-индекс, к примеру, не отвечает этому требованию. Очевидно, что импакт исследователя, опубликовавшего 3 статьи, процитированные каждая по 100 раз, выше, чем влияние исследователя, опубликовавшего 10 статей, процитированных по 10 раз каждая. Однако в соответствии с h-индексом будет верно обратное, потому что первый написал 3 статьи, а второй — 10. Это все равно что утверждать, будто по некоторой шкале 20 градусов — это более холодная температура, чем 10… А вот значимость числа полученных ссылок не изменяется при его возрастании: 1000 цитат всегда будет лучше, чем 10.