Ив Жангра - Ошибки в оценке науки, или как правильно использовать библиометрию

Исходя из сказанного, можно только поддержать выступление Дэвида Нейлора, ректора Торонтского университета, самого крупного в Канаде, публично признавшего в 2006 году, что рейтинг вузов, предложенный канадским журналом Maclean’s , пригодился его заведению только для одной цели: маркетинга . «Никто из нас не верит всерьез, — заявил он, — что этот рейтинг имеет интеллектуальное обоснование» [155] 155 The Ottawa Citizen , 23 April 2006. Maclean’s — канадский иллюстрированный журнал, в котором ежегодно публикуются рейтинги канадских университетов. . Подобный цинизм в академической среде — прямое следствие создания рынка высшего образования и небывалого подъема пиар-технологий. Процитируем снова Дэвида Нейлора: «Велик соблазн одной-единственной цифры. Ее легко вставлять в пресс-релизы. Пару-тройку цифр легко упомянуть на обложке журнала, тем самым превратив эти показатели в основной инструмент помощи в выборе вуза. Рейтинги отнюдь не являются прозрачным источником информации для выпускников и их семей, которые должны принимать важные решения в сфере высшего образования. Они маскируют проблемы лидеров и скрывают преимущества аутсайдеров». После этого критического выступления он решил, что его заведение не будет больше участвовать в рейтинге Maclean’s . Почему? Потому что Maclean’s — частная компания, делающая деньги на университетах и, в частности, на своем ежегодном рейтинге. Очевидно, что университеты очень мало меняются за один год, но это не мешает специальному номеру Maclean’s , содержащему рейтинг, продаваться лучше, чем обычные номера. И что же мы узнаем нового каждый год? Совсем не много… Рейтинги приносят прибыль прежде всего журналу, который зачастую использует данные, бесплатно предоставляемые ему университетами!

Излишнее доверие к рейтингам может также привести к нелепым ситуациям, как это было в случае с Александрийским университетом в Египте. В 2010 году он вдруг оказался в топе исследовательских университетов согласно рейтингу, публикуемому фирмой QS совместно с Times Higher Education (THE). Университет поспешил похвастаться новым статусом на своем веб-сайте, и главный редактор THE даже поздравил университет, заявив, что «попадание заведения в эту таблицу означает, что оно по-настоящему вышло на мировой уровень» [156] 156 D. D. Guttenplan, “Questionable science behind academic rankings,” in New York Times , 15 November, 2010, доступно по адресу: http://www.nytimes.com/2010/11/15/education/15iht-educLede15.html?pagewanted=all&_r=0. . По всей видимости, неожиданный выход университета на уровень мировых лидеров настолько вскружил его руководителям головы, что им было даже недосуг задать себе элементарный вопрос: как получилось, что практически незаметная на мировом уровне институция вдруг за один год поднялась в число исследовательских заведений мирового класса? К счастью (и к несчастью для этого университета), более проницательные люди задались этим вопросом и обнаружили техническую ошибку при обработке данных. Без особой огласки эта ошибка была исправлена, и в следующем году в очередном рейтинге Александрийский университет оказался в категории «601+» (то есть между 601-м и 700-м местами), а данные за 2010 год попросту исчезли из обращения… [157] 157 http://www.topuniversities.com/node/4414/ranking-details/world-niversity-rankings/2012. Другой курьезный случай связан с Шанхайским рейтингом, где одним из показателей качества является тот факт, что в университете учился или работал лауреат Нобелевской премии. Когда Альберт Эйнштейн в 1922 году получил Нобелевскую премию по физике, он был профессором Берлинского университета, за что последнему причитаются очки в этом рейтинге. Однако в конце Второй мировой войны университет был разделен на две части: первая превратилась в Гумбольдтовский университет, перешедший под коммунистический режим, а западная часть в 1948 году стала Свободным университетом Берлина. И, разумеется, оба университета считают Эйнштейна своим! В связи с нашим изложением интересен тот факт, что аффилиация Эйнштейна с одним или другим заведением меняет их место в рейтинге на сто позиций! Помимо того что данный показатель имеет чрезмерный вес, он ставит в целом вопрос: каким образом Нобелевская премия, врученная в 1922 году, может свидетельствовать о качестве университета 2000-х годов? Налицо неадекватность показателя… Однако это не помешало обоим заведениям, вместо того чтобы прийти к выводу о несостоятельности данного рейтинга, сцепиться друг с другом в мелочной драке за свои позиции в нем [158] 158 См.: Martin Enserink, “Who ranks the university rankers?” in Science , 317, 24 August, 2007, pp. 1026–1028. . Ввиду такого непостоянства и произвольности выбранных показателей и их относительного веса можно лишь улыбнуться, услышав слова французского министра науки, которая, всерьез комментируя Шанхайский рейтинг за 2013 год, отмечает, что французские университеты «постепенно отвоевывают в нем места» [159] 159 Mathilde Munos, “Classement de Shanghai des universités: ‘La France grignote des places’ (Fioraso),” in France Info , 15 August, 2013; http://www.franceinfo.fr/education-jeunesse/les-invites-de-france-info/classement-de-shanghai-des-universites-la-france-grignote-des-places-fiora. .

Институции, излишне заостряющие внимание на своих позициях в рейтингах, склонны даже к подтасовке данных, точно так же как издатели академических журналов — как мы показали выше — пытаются манипулировать своим импакт-фактором для улучшения места в журнальных рейтингах. Это подводит нас к наиболее неприглядным последствиям системы оценки науки.

Одну из вопиющих форм интеллектуальной коррупции, порождаемой гонкой за местами в рейтингах, можно наблюдать в случаях, когда академические институции предлагают «высокоцитируемым исследователям» [160] 160 Категория «высокоцитируемые исследователи» ( highly cited researchers ) была введена для обозначения 1 % наиболее часто цитирующихся статей, учитываемых в индексах научного цитирования (рассчитывается за определенный период для различных областей науки). , работающим в других организациях, добавить свой адрес в публикации в обмен на вознаграждение. Эти искусственные аффилиации, за которыми не стоит никакой преподавательской или исследовательской нагрузки, охотно принимаемые некоторыми учеными, позволяют заведениям-аутсайдерам легко улучшить свои позиции в рейтинге университетов, не создавая при этом настоящих лабораторий. Исследователи, участвующие в подобных сделках, виновны в той же мере, что и институции. Нужно отметить, что библиометрию можно использовать и для идентификации этически сомнительного поведения со стороны исследователей и университетов.

С тех пор как журнал Science показал, что «саудовские университеты платят чистоганом за академический престиж», появилась возможность детальнее рассмотреть акторов, вовлеченных в эту игру [161] 161 Yudhijit Bhattacharjee, “Saudi Universities Offer Cash in Exchange for Academic Prestige,” Science 334, December 9, 2011, pp. 1344–1345. См. также многочисленные реакции в: Science 335, March 2, 2012, pp. 1040–1042 и на их сайте, http://comments.sciencemag.org/content/10.1126/science.334.6061.1344, дата доступа: 15 декабря 2015 г. . Опубликованный агентством Thomson Reuters список высокоцитируемых исследователей (HCRs) и институций, к которым они принадлежат, предоставляет гораздо более интересные данные, чем просто информацию о том, кого чаще всего цитируют [162] 162 Здесь я ссылаюсь на публикацию Thomson Reuters “2014 HCR as of September 8, 2015,” см.: http://highlycited.com, дата доступа: 21 декабря 2015 г. . Этот список, в котором указаны дополнительные аффилиации исследователей, поневоле подтверждает наличие подтасовок с институциональными адресами, используемых институциями для поднятия своего места в мировых рейтингах университетов. В списке HCR 2014 года содержится 3 215 исследователей. Среди них, как это следует из указанного ими в статьях институционального адреса, только у 707 (около 22 %) имеется более одной аффилиации (кафедра, аффилированная больница, исследовательский центр и т. п.). Если мы заглянем в Web of Science компании Thomson Reuters, то обнаружим, что среди авторов, указавших более одного адреса в «информации об авторе», большинство составляют исследователи в биомедицинских науках (около 18 %), тогда как в точных и технических науках таковых только 11 %, в общественных — 10 %, а в гуманитарных — 6 %. В случаях двойной аффилиации вполне логично предположить, что дополнительный адрес должен быть в той же самой стране, что и основной. Так оно и есть: только 2–4 % авторов с двойной аффилиацией имеют второй адрес в другой стране. Интересно, хотя и вполне ожидаемо, что среди высокоцитируемых авторов в силу международного научного признания, вырисовывается совсем иная картина. По данным HCR, среди 707 исследователей с одной аффилиацией и более у 296 (то есть у 42 %) второй адрес — в иностранном государстве; это в десять раз превышает показатель по всей совокупности авторов. Другой любопытный элемент в этих данных — это частое попадание определенных зарубежных институций в дополнительные адреса этих исследователей. Среди заведений, название которых встречается как минимум десять раз, наиболее «привлекательной» зарубежной институцией оказывается Университет им. короля Абдулазиза (KAU) в Саудовской Аравии — с ним аффилированы 130 авторов из другой страны. Поэтому неудивительно, что этот университет попал в центр внимания журнала Science в 2011 году, в рубрику News Focus, где говорилось о том, что он использует иностранных ученых для поднятия позиции в университетских рейтингах. Для сравнения, в том же списке высокоцитируемых исследователей к такому мощному исследовательскому пулу, как Гарвардский университет, привязаны вторым, иностранным адресом всего 26 ученых — то есть гораздо меньше, чем к саудовскому KAU. Если, абстрагируясь от институций, рассматривать страны, придем к тому же выводу: для высокоцитируемых исследователей самой привлекательной страной является Саудовская Аравия (134 аффилиации), за ней следуют Соединенные Штаты (только 32 аффилиации) и Великобритания (19). Совершенно очевидно, что сам факт, что эти исследователи указывают KAU в качестве рабочего адреса в своих статьях, вывело данную институцию в число лидеров по числу цитирований. Как показано в таблице 1 , в списке HCR у Саудовской Аравии имеется всего 163 исследователя, причем 134 из них (то есть 82 %) указывают эту страну во втором адресе и только 29 — в адресе основного места работы. При этом абсолютное большинство, то есть более 90 % исследователей из развитых стран, таких как США, Великобритания, Германия, Франция или Канада, имеют свой основной адрес в родной стране, что вполне предсказуемо.