Кит Йейтс - Математика жизни и смерти. 7 математических принципов, формирующих нашу жизнь

Существуют и еще более сомнительные способы, с помощью которых при опросе, исследовании или политическом обращении можно получить выгодные цифры. Если первое исследование, в котором приняли участие 34 человека, не дает желаемого результата, то почему бы не провести еще одно? Рано или поздно очередная попытка принесет нужные впечатляющие ответы. Или же можно провести более масштабное испытание, выбрав затем наиболее предпочтительные ответы из общей массы. Это называется манипуляцией данными или, менее формально, подтасовкой. Распространенным примером таких махинаций является предвзятое изложение фактов. Ученые, изучающие псевдонаучные явления, такие как альтернативная медицина или экстрасенсорные способности, часто сетуют на необъективность поклонников этих сомнительных практик. Недобросовестные исследователи представляют только положительные результаты (например, отклики лишь о пользе лечения или записи, как «экстрасенс» безошибочно выбирает правильный цвет карты в перетасованной колоде), отбрасывая большинство отрицательных, что делает их выводы неоправданно благоприятными. Как убедились редакторы журнала Literary Digest, при объединении двух или более типов ошибок случайной выборки полученные результаты могут сильно отличаться от ожидаемых при выборке беспристрастной.

В преддверии президентских выборов 1936 года в США редакторы авторитетного ежемесячного журнала Literary Digest решили провести опрос, чтобы предсказать победителя. Кандидатами были действующий президент Франклин Рузвельт и претендент от республиканцев Альфред Лэндон. В Literary Digest гордились тем, что верно предсказывали каждого следующего президента, начиная с 1916 года. Четырьмя годами ранее, в 1932 году, они предсказали, что Рузвельт победит с отрывом в пределах одного процентного пункта [114] Squire, P. (1988). Why the 1936 Literary Digest poll failed. Public Opinion Quarterly, 52 (1), 125. https://doi.org/10.1086/269085 . В 1936 году их опрос должен был быть таким же масштабным и дорогостоящим, как и все прежние. В Literary Digest на основе регистрационных записей автомобилей и телефонных справочников был составлен список, куда вошло около десяти миллионов человек (примерно четверть проголосовавшего населения). В августе они разослали бюллетени неофициального опроса общественного мнения всем зарегистрированным и провозгласили со своих страниц: «…исходя из нашего прошлого опыта, страна будет знать фактический исход народного голосования сорока миллионов [избирателей] с точностью до 1 процента» [115] Simon, J. L. (2003). The Art of Empirical Investigation. Transaction Publishers. .

К 31 октября редакция получила обратно и обработала более 2,4 миллиона бюллетеней. Literary Digest был готов объявить результаты. Заголовок статьи гласил: «Лэндон – 1 293 669; Рузвельт – 972 897» [116] Literary Digest. (1936). Landon, 1,293,669; Roosevelt, 972,897: Final Returns in ‘The Digest’s’ Poll of Ten Million Voters. Literary Digest, 122, 5–6. . Согласно Literary Digest, Лэндон должен был победить с большим отрывом: 55 % голосов избирателей против 41 % (третий кандидат, Уильям Лемке, – 4 %) и набрать 370 из 531 голосов выборщиков. Всего четыре дня спустя реальные результаты выборов шокировали редакторов Literary Digest: в Белый дом на второй срок отправился Рузвельт, победив вчистую. Он набрал 60,8 % голосов избирателей, что стало наибольшей долей с 1820 года. Он получил 523 голоса выборщиков против восьми, которыми довольствовался Лэндон. В своем прогнозе Literary Digest ошибся почти на 20 процентных пунктов. Такой разброс результатов можно было бы ожидать при небольшом размере выборки, но в опросе Literary Digest приняли участие 2,4 миллиона человек. Откуда же такая масштабная ошибка при такой огромной выборке?

Причиной ее стала ошибка отбора. Первой проблемой опроса была предвзятость выборки. В 1936 году Америка все еще находилась в тисках Великой депрессии. Владельцы автомобилей и телефонов, скорее всего, принадлежали к наиболее обеспеченным слоям общества. Следовательно, список, составленный Literary Digest, был смещен в сторону избирателей высшего и среднего класса, среди которых преобладали люди правых политических взглядов, не склонные поддерживать Рузвельта. Многие из не столь преуспевающих американцев, которые и составляли ядро его электората, просто не попали в опрос Literary Digest.

Вероятно, еще большее влияние на итоги опроса оказал отказ респондентов от участия в нем. Из десяти миллионов американцев, включенных в первоначальный список, ответило менее четверти. Исследование, вопреки намерению редакторов, оказалось выборочным. Даже если изначально отобранная демографическая группа была репрезентативной по отношению к населению в целом (а это не так), политические взгляды тех, кто принял участие в опросе, как правило, отличались от политических взглядов тех, кто проигнорировал его. Чаще всего более состоятельные и образованные люди, откликнувшиеся на опрос, были сторонниками Лэндона, а не Рузвельта. В совокупности эти две погрешности отбора и дали позорно неправильные результаты, выставив Literary Digest на посмешище.

В том же году, опросив всего 4500 респондентов [117] Cantril, H. (1937). How accurate were the polls? Public Opinion Quarterly, 1 (1), 97. https://doi.org/10.1086/265040 Lusinchi, D. (2012). ‘President’ Landon and the 1936 Literary Digest poll. Social Science History, 36 (01), 23–54. https://doi.org/10.1017/S014555320001035X , журнал Fortune смог предсказать победу и отрыв Рузвельта с точностью до 1 %. На этом фоне Literary Digest смотрелся бледно. Урон, который понесла его ранее безупречная репутация из-за неверного прогноза, считается существенным фактором его краха, последовавшего всего через два года [118] Squire, P. (1988). Why the 1936 Literary Digest poll failed. Public Opinion Quarterly, 52 (1), 125. https://doi.org/10.1086/269085 .

Если организаторы политических опросов общественного мнения обнаружили, что для получения точных результатов им необходимо все лучше владеть статистическими методами, сами политики убеждаются, что им с рук сходит все больше статистических манипуляций и злоупотреблений, чем когда-либо прежде. Во время партийной кампании за выдвижение в кандидаты на пост президента США Дональд Трамп в ноябре 2015 года поместил в твиттере картинку со следующей статистикой.

Черные, убитые белыми, – 2%

Черные, убитые полицейскими, – 1%

Белые, убитые полицейскими, – 3%

Белые, убитые белыми, – 16%

Белые, убитые черными, – 81%

Черные, убитые черными, – 97%

В качестве источника он сослался на «Бюро статистики преступности – Сан-Франциско». Как выяснилось, такого учреждения никогда не существовало, а приведенные данные сильно отличаются от фактических. Ниже избранные реальные сравнительные статистические показатели за 2015 год (с исходными данными, приведенными в табл. 10), предоставленные ФБР.

Черные, убитые белыми, – 9%

Белые, убитые белыми, – 81%