Ив Жангра - Ошибки в оценке науки, или как правильно использовать библиометрию [калибрятина]

Излишнее доверие к рейтингам может также привести к нелепым ситуациям, как это было в случае с Александрийским университетом в Египте. В 2010 году он вдруг оказался в топе исследовательских университетов согласно рейтингу, публикуемому фирмой QS совместно с Times Higher Education (THE). Университет поспешил похвастаться новым статусом на своем веб-сайте, и главный редактор THE даже поздравил университет, заявив, что «попадание заведения в эту таблицу означает, что оно по-настоящему вышло на мировой уровень» [156]. По всей видимости, неожиданный выход университета на уровень мировых лидеров настолько вскружил его руководителям головы, что им было даже недосуг задать себе элементарный вопрос: как получилось, что практически незаметная на мировом уровне институция вдруг за один год поднялась в число исследовательских заведений мирового класса? К счастью (и к несчастью для этого университета), более проницательные люди задались этим вопросом и обнаружили техническую ошибку при обработке данных. Без особой огласки эта ошибка была исправлена, и в следующем году в очередном рейтинге Александрийский университет оказался в категории «601+» (то есть между 601-м и 700-м местами), а данные за 2010 год попросту исчезли из обращения… [157]Другой курьезный случай связан с Шанхайским рейтингом, где одним из показателей качества является тот факт, что в университете учился или работал лауреат Нобелевской премии. Когда Альберт Эйнштейн в 1922 году получил Нобелевскую премию по физике, он был профессором Берлинского университета, за что последнему причитаются очки в этом рейтинге. Однако в конце Второй мировой войны университет был разделен на две части: первая превратилась в Гумбольдтовский университет, перешедший под коммунистический режим, а западная часть в 1948 году стала Свободным университетом Берлина. И, разумеется, оба университета считают Эйнштейна своим! В связи с нашим изложением интересен тот факт, что аффилиация Эйнштейна с одним или другим заведением меняет их место в рейтинге на сто позиций! Помимо того что данный показатель имеет чрезмерный вес, он ставит в целом вопрос: каким образом Нобелевская премия, врученная в 1922 году, может свидетельствовать о качестве университета 2000-х годов? Налицо неадекватность показателя… Однако это не помешало обоим заведениям, вместо того чтобы прийти к выводу о несостоятельности данного рейтинга, сцепиться друг с другом в мелочной драке за свои позиции в нем [158]. Ввиду такого непостоянства и произвольности выбранных показателей и их относительного веса можно лишь улыбнуться, услышав слова французского министра науки, которая, всерьез комментируя Шанхайский рейтинг за 2013 год, отмечает, что французские университеты «постепенно отвоевывают в нем места» [159].

Институции, излишне заостряющие внимание на своих позициях в рейтингах, склонны даже к подтасовке данных, точно так же как издатели академических журналов – как мы показали выше – пытаются манипулировать своим импакт-фактором для улучшения места в журнальных рейтингах. Это подводит нас к наиболее неприглядным последствиям системы оценки науки.

Липовые аффилиации

Одну из вопиющих форм интеллектуальной коррупции, порождаемой гонкой за местами в рейтингах, можно наблюдать в случаях, когда академические институции предлагают «высокоцитируемым исследователям» [160], работающим в других организациях, добавить свой адрес в публикации в обмен на вознаграждение. Эти искусственные аффилиации, за которыми не стоит никакой преподавательской или исследовательской нагрузки, охотно принимаемые некоторыми учеными, позволяют заведениям-аутсайдерам легко улучшить свои позиции в рейтинге университетов, не создавая при этом настоящих лабораторий. Исследователи, участвующие в подобных сделках, виновны в той же мере, что и институции. Нужно отметить, что библиометрию можно использовать и для идентификации этически сомнительного поведения со стороны исследователей и университетов.

С тех пор как журнал Science показал, что «саудовские университеты платят чистоганом за академический престиж», появилась возможность детальнее рассмотреть акторов, вовлеченных в эту игру [161]. Опубликованный агентством Thomson Reuters список высокоцитируемых исследователей (HCRs) и институций, к которым они принадлежат, предоставляет гораздо более интересные данные, чем просто информацию о том, кого чаще всего цитируют [162]. Этот список, в котором указаны дополнительные аффилиации исследователей, поневоле подтверждает наличие подтасовок с институциональными адресами, используемых институциями для поднятия своего места в мировых рейтингах университетов. В списке HCR 2014 года содержится 3 215 исследователей. Среди них, как это следует из указанного ими в статьях институционального адреса, только у 707 (около 22 %) имеется более одной аффилиации (кафедра, аффилированная больница, исследовательский центр и т. п.). Если мы заглянем в Web of Science компании Thomson Reuters, то обнаружим, что среди авторов, указавших более одного адреса в «информации об авторе», большинство составляют исследователи в биомедицинских науках (около 18 %), тогда как в точных и технических науках таковых только 11 %, в общественных – 10 %, а в гуманитарных – 6 %. В случаях двойной аффилиации вполне логично предположить, что дополнительный адрес должен быть в той же самой стране, что и основной. Так оно и есть: только 2–4 % авторов с двойной аффилиацией имеют второй адрес в другой стране. Интересно, хотя и вполне ожидаемо, что среди высокоцитируемых авторов в силу международного научного признания, вырисовывается совсем иная картина. По данным HCR, среди 707 исследователей с одной аффилиацией и более у 296 (то есть у 42 %) второй адрес – в иностранном государстве; это в десять раз превышает показатель по всей совокупности авторов. Другой любопытный элемент в этих данных – это частое попадание определенных зарубежных институций в дополнительные адреса этих исследователей. Среди заведений, название которых встречается как минимум десять раз, наиболее «привлекательной» зарубежной институцией оказывается Университет им. короля Абдулазиза (KAU) в Саудовской Аравии – с ним аффилированы 130 авторов из другой страны. Поэтому неудивительно, что этот университет попал в центр внимания журнала Science в 2011 году, в рубрику News Focus, где говорилось о том, что он использует иностранных ученых для поднятия позиции в университетских рейтингах. Для сравнения, в том же списке высокоцитируемых исследователей к такому мощному исследовательскому пулу, как Гарвардский университет, привязаны вторым, иностранным адресом всего 26 ученых – то есть гораздо меньше, чем к саудовскому KAU. Если, абстрагируясь от институций, рассматривать страны, придем к тому же выводу: для высокоцитируемых исследователей самой привлекательной страной является Саудовская Аравия (134 аффилиации), за ней следуют Соединенные Штаты (только 32 аффилиации) и Великобритания (19). Совершенно очевидно, что сам факт, что эти исследователи указывают KAU в качестве рабочего адреса в своих статьях, вывело данную институцию в число лидеров по числу цитирований. Как показано в таблице 1 , в списке HCR у Саудовской Аравии имеется всего 163 исследователя, причем 134 из них (то есть 82 %) указывают эту страну во втором адресе и только 29 – в адресе основного места работы. При этом абсолютное большинство, то есть более 90 % исследователей из развитых стран, таких как США, Великобритания, Германия, Франция или Канада, имеют свой основной адрес в родной стране, что вполне предсказуемо.