Нейт Сильвер - Сигнал и шум. Почему одни прогнозы сбываются, а другие – нет

«93 % of Drivers Consider Themselves Above Average. Are You Above Average?» Cheap Car Insurance, Aug. 24, 2011. http://www.cheapcarinsurance.net/above-avarege-driver/.

Financial Crisis Inquiry Commission Report, 2011. http://www.gpo.gov/fdsys/pkg/GPO-FCIC/pdf/GPO-FCIC.pdf.

Стенограмма встречи The McLaughlin Group, Federal News Service, записана 31 октября 2008 г. http://www.mclaughlin.com/transcript.htm?id=687.

«Iowa Electronic Markets», Henry B. Tippie College of Business, University of Iowa. http://iemweb.biz.uiowa.edu/pricehistory/PriceHistory_GetData.cfm.

Стенограмма встречи The McLaughlin Group, Federal News Service; записана 7 ноября 2008 г. http://www.mclaughlin.com/transcript.htm?id=688.

Nate Silver, «Debunking the Bradley Effect», Newsweek , October 20, 2008. http://www.thedailybeast.com/newsweek/2008/10/20/debunking-the-bradley-effect.html.

Научные исследования деятельности McLaughlin Group привели к тем же заключениям. См., например: Lee Sigelman, Jarol B. Manheim, and Susannah Pierce, «Inside Dopes? Pundits as Political Forecasters», The International Journal of Press/Politics 1, 1 (January 1996). http://hij.sagepub.com/content/1/1/33.abstract.

* Предсказания не оценивались по одной из трех причин: ответ участника группы был слишком расплывчатым, чтобы сформулировать тестируемую гипотезу; или же предсказание касалось события в отдаленном будущем; или же участник группы отказывался отвечать на вопрос Маклафлина и не формулировал никаких предсказаний.

Результаты двух более редко принимающих участие в передаче – Клэренс Пейдж и Морта Цукермана – были более многообещающими, а у Кроули – особенно плохими, однако эти результаты не имели особого смысла со статистической точки зрения.

Eugene Lyons, Workers’ Paradise Lost (New York: Paperback Library, 1967).

С тех пор Тэтлок работает в Пенсильванском университете.

«Экспертом», по мнению Тэтлока, может считаться любой человек, зарабатывающий себе на жизнь за счет профессионализма в определенной области, например корреспондент газеты Washington Post в Москве мог быть таким же экспертом по СССР, как и отставной советолог в университете Беркли.

Phillip E. Tetlock, Expert Political Judgment (Princeton, NJ: Princeton University Press, 2006), pp. 107–108.

Неточность в расчетах ВВП Советского Союза, проведенных ЦРУ, отчасти возникла из-за того, что аналитики рассчитывали общий размер экономики, базируясь на цифрах впечатляющих военных расходов. Фактически, однако, Советский Союз тратил на развитие армии значительно бо́льшую долю внутреннего продукта, чем страны Европы и Северной Америки со свободной экономикой.

Abram Bergson, «How Big Was the Soviet GDP?» Comparative Economic Studies , March 22, 1997. http://web.archive.org/web/20110404205347/http://www.allbusiness.com/government/630097-1.html.

Отчасти данный раздел книги основан на материалах моих интервью, взятых у Брюса Буэно де Мескита, политолога из Нью-Йоркского университета.

Louis Menand, «Everybody’s an Expert», New Yorker , December 6, 2005. http://www.newyorker.com/archive/2005/12/05/051205crbo_books1.

Dick Morris, «Bush Will Rebound from Katrina Missteps», The Hill , September 7, 2005.

Justin Gardner, «Dick Morris’ Crazy Electoral Map», Donklephant.com, October 15, 2008. http://donklephant.com/2008/10/15/dick-morris-crazy-electoral-map/.

Dick Morris and Eileen McGann, «Goal: 100 House Seats», DickMorris.com, September 27, 2010. http://www.dickmorris.com/goal-100-house-seats/.

Dick Morris, «Krauthammer’s ‘Handicapping the 2012 Presidential Odds», DickMorris.com, April 25, 2011. http://www.dickmorris.com/comments-on-krauthammers-handicapping-the-2012-presidential-odds/.

Phillip E. Tetlock, Expert Political Judgment , p. 79.

James A. Barnes and Peter Bell, «Political Insiders Poll», National Journal , October 28, 2010. http://www.nationaljournal.com/magazine/political-insiders-poll-20101028?print=true.

Модель прогноза FiveThirtyEight, не основанная на инсайдерских знаниях, правильно указала результаты 9 из 11 кампаний, то есть обогнала инсайдеров как демократической партии (среднее значение у которых составляло 6,9), так и республиканской (8,4).

Следует отметить, что эти предсказания не обладали внутренней последовательностью: например, если демократические инсайдеры ожидали выиграть почти все кампании в спорных районах, они должны были предсказать и то, что их партия получит достаточное количество мест для удержания Конгресса за собой.

Хотя не вызывает сомнения тот факт, что вопросы расы и пола были ключевыми факторами в гонке 2008 г., СМИ часто обращаются именно к ним как к основным объяснениям результатов, хотя у нас имеются и более качественные гипотезы. Например, в некоторые моменты предварительной выборной кампании 2008 г. было отмечено, что Обама не пользуется особой популярностью у испаноговорящих латиноамериканских избирателей, что почти всегда объясняется тем, что они не доверяли черным кандидатам. Однако позднее я обнаружил, что отставание Обамы среди испаноговорящих было связано скорее не с их расой, а с их уровнем дохода. Клинтон удавалось лучше убеждать представителей рабочего класса, а поскольку к нему принадлежало множество испаноговорящих избирателей, ее общие результаты у этой группы были выше. И если сделать поправку на уровень дохода, то результаты Клинтон у белой и латиноамериканской аудитории практически не различались. Кроме прочего, Обаме не составило труда выиграть голоса испаноговорящих избирателей после того, как он вступил в противоборство с кандидатом от республиканцев Джоном Маккейном, – он получил около двух третей их голосов.

«Election Results: House Big Board», New York Times , November 2, 2010. http://elections.nytimes.com/2010/results/house/big-board.

Nate Silver, «A Warning on the Accuracy of Primary Polls», FiveThirtyEight , New York Times, March 1, 2012. http://i vethirtyeight.blogs.nytimes.com/2012/03/01/a-warning-on-the-accuracy-of-primary-polls/.

Nate Silver, «Bill Buckner Strikes Again», FiveThirtyEight, New York Times ; September 29, 2011. http://fivethirtyeight.blogs.nytimes.com/2011/09/29/bill-buckner-strikes-again/.

В противном случае вам следовало бы дать конгрессмену 100 %-ный шанс на выигрыш.

Matthew Dickinson, «Nate Silver Is Not a Political Scientist», in Presidential Power: A Non-partisan Analysis of Presidential Power, Blogs Dot Middlebury, November 1, 2010. http://blogs.middlebury.edu/presidentialpower/2010/11/01/nate-silver-is-not-a-political-scientist/.

Sam Wang, «A Weakness in FiveThirtyEight.com», Princeton Election Consortium, August 8, 2008. http://election.princeton.edu/2008/08/04/on-a-law-in-fivethirtyeightcom/.

Douglas A. Hibbs Jr., «Bread and Peace Voting in U. S. Presidential Elections», Public Choice 104 (January 10, 2000): pp. 149–180. http://www.douglas-hibbs.com/HibbsArticles/Public%20Choice%202000.pdf.

Модель Хиббса предсказывала, что Ал Гор выиграет двухпартийное голосование (то есть голосование, в котором исключены кандидаты третьих партий) с результатом 54,8 %. На самом деле Гор выиграл с результатом 50,3 %. То есть величина ошибки составила 4,5 %. Утверждалось, что его модель имеет стандартную ошибку в пределах 2 пунктов при прогнозировании количества голосов за любого кандидата (или около 4 пунктов при прогнозировании разрыва между ними). Таким образом, прогноз переоценил положение Гора на величину 2,25 стандартного отклонения, что при нормальном распределении возникает лишь 1 раз в 80 случаях.