Джеймс Скотт - Анархия? Нет, но да!

Индекс научного цитирования быстро получил всеобщее признание не в последнюю очередь оттого, что его постоянно рекламировали — не забываем, что это коммерческое предприятие. Спустя немного времени им стали пользоваться повсеместно: для определения того, заслуживает ли данный учёный звания профессора, для продвижения журналов, для составления рейтингов учёных и институтов, а также в технологических анализах и правительственных исследованиях. Вскоре за этим индексом последовал Индекс цитирования в сфере общественных наук, а после этого не мог не прийти черед индекса цитирования в сфере гуманитарных дисциплин и искусств.

Что именно измерял индекс научного цитирования? В первую очередь бросается в глаза бессмысленный и абстрактный, сродни компьютерному, сбор данных. Индекс засчитывал цитаты самого себя, что добавляло самолюбования и без того чрезвычайно заметному в научных кругах нарциссизму. Также засчитывались негативные упоминания: «Статья учёного N — это худшее исследование, какое я когда-либо встречал!» Один балл в копилку учёного N!

Как сказала Мэй Уэст: «Слава не бывает плохой — вы только правильно напишите моё имя!» Цитаты из книг, в противоположность цитатам в научных статьях, не подлежат учету. Зададим более серьезный вопрос: что, если, как это часто бывает, никто и никогда не читает статьи, в которых упоминается данная работа?

Вдобавок отметим провинциализм этого предприятия: в конечном итоге этот индекс учитывает по большей части работы, написанные на английском языке. По мнению Гарфилда, французская наука провинциальна, потому что она не приняла английский язык в качестве языка науки. Что касается социальных наук, такое утверждение по меньшей мере нелепо; при этом, если вы переведете и продадите свою статью сотне тысяч китайских, бразильских или индонезийских учёных, это ничего не даст для вашего индекса цитирования, разве что они выразят свою благодарность в англоязычном журнале или в одном из горстки иноязычных журналов, включенных в волшебный список.

Обратите внимание и на то, что индекс цитирования чисто статистически должен давать преимущество специализациям, по которым производится больше всего исследований, т. наз. «научному мейнстриму» или, выражаясь языком Куна, «нормальной науке». Наконец, заметьте, что «объективированная субъективность» индекса цитирования в сфере общественных наук интересуется исключительно настоящим временем. А если современное направление исследований через три года признают тупиковым? Нынешняя волна публикаций и произведенный ею статистический пик может позволить счастливому исследователю, невзирая на явную ошибку, по-прежнему почивать на лаврах.

Распространяться о недостатках индекса научного цитирования нет нужды. Они интересуют нас лишь потому, что демонстрируют неизбежный разрыв между способами измерений такого рода и качеством, которое они пытаются измерить. Печально, что многие из вышеперечисленных недостатков можно исправить реформами и усовершенствованием методик расчёта индекса, потому что на практике предпочтительны более схематичные, абстрактные и простые в вычислении способы измерения — из-за легкости их использования и, соответственно, более низкой стоимости. Однако кажущееся объективным измерение количества упоминаний скрывает в себе множество «условностей подсчёта», тайком проникших в оценки, глубоко политических по своей сути и имеющих далеко идущие последствия.

Мои насмешки над индексом научного цитирования могут показаться чрезмерными. Однако то, о чём я говорю, относится к любому количественному стандарту, который применяется строго. Возьмём в качестве примера кажущееся оправданным требование «двух изданных книг», часто применяемое на некоторых кафедрах в Йельском университете при принятии решений о присвоении звания профессора. Сколько учёных всего одной книгой или статьей сумели произвести больше интеллектуальной энергии, чем всеми своими работами произвели другие, более «продуктивные» в количественном отношении ученые? Благодаря рулетке нам становится ясно, что и картина Вермеера, и коровья лепешка обе по полметра в ширину; однако на этом их сходство заканчивается.

Второй фатальный недостаток заключается в том, что даже если какой-нибудь метод измерения был вполне пригоден сразу же после того, как его изобрели, само его существование обычно запускает последовательность событий, которая делает его непригодным. Можно назвать этот процесс «изменением поведения под влиянием измерения», что лишает его всякого смысла. Я слышал о том, что существуют договоренности между некоторыми учеными о том, что они будут постоянно ссылаться друг на друга и таким образом повышать свой индекс цитирования! Сговор такого рода — это всего лишь крайность, иллюстрирующая более важное явление. Достаточно одного знания того, что индекс цитирования может способствовать или препятствовать дальнейшему карьерному росту, чтобы это знание оказывало немалое влияние на профессиональное поведение: этим объясняется, например, притягательность мейнстримовых методологий и отраслей, в которых работает множество исследователей, выбор журналов для публикации, всеобщее восхищение, которым окружены самые известные деятели в каждом направлении. Такое поведение необязательно говорит об изворотливости в стиле Макиавелли. Вместо этого мне хочется указать на постоянное давление со всех сторон, направленное на то, чтобы заставить человеку вести себя «целесообразно». В долгосрочной перспективе это давление служит для естественного отбора в сугубо дарвиновском смысле, которое увеличивает шансы на выживание для тех, кто выполняет или перевыполняет прогнозные показатели.

Индекс цитирования — это не просто порождение действительности; он сам способен продуцировать явления, которые описывает. Социальные теоретики были настолько впечатлены этим, что даже попытались сформулировать это в виде закона, который носит имя Гудхарта: «Когда способ измерения становится самоцелью, он перестаёт быть хорошим способом измерения» [35]. Мэтью Лайт поясняет: «После того, как установлен некий количественный порог для оценки определённых достижений, те, кто должен преодолеть этот порог, умудряются сделать это, но не так, как первоначально ожидалось».

Поясню то, что я имею в виду, на историческом примере. Во времена, когда Францией правили короли, сборщики налогов пытались найти способ облагать налогом дома в зависимости от размера. Им пришла в голову блестящая идея: рассчитывать размер налога исходя из количества окон и дверей.

Сначала всё шло как нельзя лучше: количество окон и дверей почти идеально характеризовало размер жилища. Однако в течение двух последующих веков налог на окна и двери привел к тому, что люди стали перестраивать дома и закладывать окна, чтобы уменьшить налог. Из-за этого на протяжении поколений французы задыхались в плохо вентилируемых «налоговых убежищах». Так адекватный способ стал неадекватным.