Том Николс - Смерть экспертизы [litres]

В 2005 году ученый Филип Тетлок собрал информацию об экспертных прогнозах в области социологии и обнаружил то, что подозревали многие: «Когда мы сравниваем экспертов с дилетантами, с обезьянами, делающими прогнозы с помощью дартс, или алгоритмами экстраполяции, мы находим мало доказательств того, что экспертные знания означают бо́льшую способность делать хорошо выверенные или проницательные прогнозы» {119} 119 Philip E. Tetlock, Expert Political Judgement (Princeton, NJ: Princeton University Press, 2005), стр. 20. . Эксперты, похоже, ничем не лучше в предсказании будущего, чем колесо рулетки. Первоначальные находки Тетлока подтвердили подозрение многих обычных людей, что эксперты на самом деле не знают, что они делают.

Но подобная реакция на работу Тетлока была классическим случаем непонимания обычными людьми сути экспертного знания. Как отмечал сам Тетлок, «крайне настроенные скептики приветствуют эти результаты, но они приходят в замешательство, когда мы начинаем находить последовательные модели в том, кто что понял правильно. Крайний скептицизм говорит нам не ожидать ничего… Но данные исследования продемонстрировали больше последовательности в заявлениях прогнозистов, чем можно было списать на чистую случайность» {120} 120 Tetlock, Expert Political Judgement , стр. 20. .

Тетлок на самом деле сравнивал экспертов не со всеми остальными людьми, а лишь с базовыми целевыми ориентирами, в особенности с предсказаниями других экспертов. Вопрос заключался не в том, были ли эксперты так же плохи в прогнозировании, как все прочие. А в том, почему отдельные эксперты предсказывают лучше других . И это вопрос совсем иного рода. Или, как Джеймс Суровецки (автор фразы «мудрость толп») заметил, что важность «когнитивного разнообразия» – когда множество взглядов бывает лучше одного – вовсе не означает, что если «вы соберете группу разных, но абсолютно неинформированных людей, их коллективная мудрость будет ценнее мудрости эксперта» {121} 121 James Surowiecki, The Wisdom of the Crowds (New York: Anchor, 2005), стр. 31. .

На самом деле Тетлок обнаружил не то, что эксперты были ничем не лучше случайных предсказателей, а то, что отдельные эксперты лучше применяют свои знания к гипотетическим суждениям, чем их коллеги. Тетлок применил сравнение, которое использовал британский мыслитель Исайя Берлин – между «ежами и лисами» – чтобы разграничить экспертов, чьи знания были широкими и всеохватными («лиса знает многие вещи»), от тех, чьи знания узки и глубоки («еж знает много, но об одном»). Исследование Тетлока это одна из важнейших работ, посвященных способу мышления эксперта, и она заслуживает полного прочтения. Но в целом одну из самых интересных его находок можно кратко сформулировать так, что в сложном процессе перехода экспертов от объяснения к прогнозу, «лисы», как правило, превосходят «ежей» по многим причинам.

Так, например, «ежи» были склонны чрезмерно концентрироваться на обобщении своих специфических знаний применительно к тем ситуациям, которые находились вне сферы их компетенции. А у «лис» лучше получалось использовать новую информацию и менять свои взгляды, сталкиваясь с новыми или более качественными данными. «Самокритичность и умение взвешивать все «за» и «против», обнаружил Тетлок, «помогали им избегать чрезмерного азарта в прогнозировании, который демонстрировали «ежи», в особенности хорошо информированные» {122} 122 Tetlock, Expert Political Judgement , стр. 21. .

Технические эксперты – само воплощение «ежей» – столкнулись с серьезными трудностями не только в плане прогнозирования, но также и в умении проанализировать информацию, не связанную с их профессиональной деятельностью. Люди с четко ограниченной областью знаний обладают малым количеством инструментов, не относящихся к сфере их специализации. А потому они инстинктивно берут то, что знают, и применяют это обобщенно к тому, что выходит за рамки их компетенции, и не важно, насколько хорошо подходят данные методы к исследуемому предмету {123} 123 См. Tetlock, Expert Political Judgement. . В результате получаются более уверенные прогнозы, но чаще всего они оказываются неверными, в основном потому, что ученые, как классические «ежи», сталкиваются с трудностями, получая и анализируя информацию, выходящую за рамки их очень узкой, но крайне сложной специализации.

В сложном процессе перехода экспертов от объяснения к прогнозу, «лисы», как правило, превосходят «ежей» по многим причинам.

Из всего этого можно извлечь несколько уроков – не только экспертам, но и обычным людям, которые оценивают – и даже оспаривают – прогнозы экспертов.

Самое главное, что ошибочные прогнозы не играют большой роли в плане оценки профессиональной компетентности. Эксперты обычно включают в свои прогнозы необходимые предостережения, так как мир полон непредвиденных случайностей, последствия которых учесть невозможно. Историю могут изменить зависящие от других факторов события, такие как сердечный приступ или ураган. Непрофессионалы обычно игнорируют эти предупреждения, несмотря на их важность, так же как они игнорируют местный прогноз погоды, обещающий дождь с вероятностью 70 процентов. А когда случается солнечный день – с шансами три из десяти – они считают, что метеоролог ошибся.

Это не означает, что мы должны спускать экспертам – особенно экспертному сообществу – с рук их крупные просчеты. И хоть ни один эксперт по Советскому Союзу не смог в 1970-х годах предсказать развал СССР к 1991 году, консолидация экспертных позиций вокруг противоположной точки зрения – что крушение советского государства было практически невозможно – это крупная ошибка, которая должна была бы испортить репутацию этой области исследований. (К сожалению, дело обстоит в точности противоположным образом: на протяжении двадцати лет большинство экспертов по России избегали того, чтобы разбираться в причинах ошибок друг друга.)

Однако ошибочные прогнозы не лишают экспертов автоматически права знать больше дилетантов. Непрофессионалам не следует тут же делать вывод, что ошибка экспертов означает, что все мнения одинаково ценны (или в равной степени бесполезны.) Социолог Нейт Сильвер, который заработал себе авторитет благодаря удивительно точному прогнозу исхода президентских выборов 2008 и 2012 годов, впоследствии признался, что его прогнозы относительно кандидата от республиканцев Дональда Трампа в 2016 году были основаны на неточных суждениях {124} 124 См. напр. Tina Nguyen, “How Nate Siver Failed to Predict Trump,” Vanity Fair , 1 февраля 2016. . Но понимание Сильвером тонкостей предвыборной борьбы бесспорно, даже несмотря на то, что феномен Трампа удивил его и остальных экспертов. Как написал колумнист Ноах Ротман, «Трамп продемонстрировал то, что все те многочисленные правила, которые годами изучали профессиональные политологи, не сработали в этот год. Но фраза «все, что мы знали о политике, было ошибочным» не означает «мы ничего не знаем о политике» {125} 125 Noah Rothman, “Why They Think Trump Can Win in Nov?” Commentary онлайн, 27 апреля 2016. .