Чарльз Уилан - Голая статистика

Любой метод выяснения мнений, который систематически исключает какой-либо сегмент совокупности, также приводит к ошибке выбора. Например, широкое распространение мобильной связи породило множество новых методологических сложностей. Организации, специализирующиеся на проведении социологических опросов, делают все от них зависящее, чтобы опросить репрезентативную выборку соответствующей совокупности. Опрос The New York Times / CBS News базировался на телефонных интервью, проводившихся на протяжении шести дней с 1650 взрослыми американцами, 1475 из которых сообщили, что зарегистрированы для участия в голосовании.

Относительно остальной части методологии, применявшейся при проведении этого опроса, я могу лишь догадываться, но большинство опросов, которые проводятся социологическими организациями, используют тот или иной вариант описанных ниже методов. Чтобы гарантировать, что люди, поднявшие трубку, отражают мнение совокупности в целом, данный процесс начинается с использования теории вероятностей – нечто наподобие вытаскивания шариков из урны. Компьютер случайным образом выбирает некую совокупность номеров коммутационных станций стационарной телефонной связи. (Номер коммутационной станции стационарной телефонной связи представляет собой код региона плюс первые три цифры телефонного номера.) За счет случайного выбора 69 000 номеров коммутационных станций стационарной телефонной связи в Соединенных Штатах, каждый в пропорции к своей доле во всей совокупности телефонных номеров, данный опрос в целом, по-видимому, отразит географическое распределение соответствующей совокупности. Как поясняется в тексте, набранном мелким шрифтом, «номера коммутационных станций стационарной телефонной связи были выбраны таким образом, чтобы каждый регион страны был представлен в пропорции к его доле во всей совокупности телефонных номеров». К каждому выбранному номеру компьютер добавил четыре случайные цифры. Таким образом, в окончательном списке домохозяйств, которые предстояло обзвонить в ходе опроса, оказались как фактически используемые, так и неиспользуемые телефонные номера. Кроме того, этот опрос предусматривал «случайный набор номеров мобильных телефонов».

Для каждого набираемого телефонного номера один взрослый член семьи назначался респондентом посредством некой «произвольной процедуры» (например, телефонную трубку предлагалось взять самому молодому из взрослых членов семьи). Этот процесс был усовершенствован, чтобы получить выборку респондентов, отражающую возрастной и половой состав взрослого населения страны. Самое главное – интервьюер будет пытаться сделать несколько звонков в разное время суток, чтобы дозвониться на каждый из выбранных телефонных номеров. Эти неоднократные попытки – до десяти или двенадцати звонков на один и тот же телефонный номер – являются важным условием получения правильной выборки. Очевидно, было бы дешевле и проще звонить на разные телефонные номера до тех пор, пока достаточно большая выборка взрослых не подойдет к телефонам и не ответит на соответствующие вопросы. Однако такая выборка допустила бы сильный крен в пользу тех, кто б о льшую часть времени проводит дома, а в это число входят главным образом безработные, пенсионеры, инвалиды и т. д. Такой вариант опроса был бы вполне уместен, если бы вы намеревались квалифицировать его результаты следующим образом: деятельность Обамы на посту президента США одобряют 46 % безработных, пенсионеров и прочих слоев населения, с готовностью отвечающих на телефонные опросы общественного мнения.

Одним из показателей достоверности опроса является так называемый процент ответивших, то есть доля респондентов, выбранных для проведения опроса и в конечном счете ответивших на его вопросы. Низкий процент ответивших может указывать на неправильное формирование выборки. Чем больше респондентов отказались отвечать на поставленные вопросы (или до них просто не удалось дозвониться), тем выше вероятность, что эта значительная группа людей в чем-то весьма существенно отличается от тех, кто согласился участвовать в опросе. Организаторы опроса могут выполнить тест на «систематическую ошибку отсутствия ответа», проанализировав имеющиеся в их распоряжении данные о респондентах, с которыми им не удалось установить контакт. Возможно, они проживают в каком-то специфическом регионе, или не желают отвечать на вопросы в силу какой-то особой причины, или принадлежат к какой-то расовой или этнической группе, или имеют какой-то определенный уровень дохода. Анализ такого рода зачастую помогает выяснить, повлияет ли низкий процент ответивших на результаты опроса в целом.

Позволяет ли формулировка вопросов получить точную информацию по интересующим нас темам? Чтобы выяснить настроения в обществе, необходимо учитывать гораздо больше нюансов, чем при оценивании экзамена или измерении веса респондентов. Результаты социологического опроса во многом зависят от правильности формулировки задаваемых вопросов. Рассмотрим пример, который на первый взгляд кажется довольно простым: какой процент американцев поддерживает смертную казнь? Как следует из названия этой главы, это заведомое большинство американцев. Согласно опросу, проведенному Институтом Гэллапа, начиная с 2002 года свыше 60 % американцев ежегодно заявляют, что поддерживают применение смертной казни в отношении лиц, осужденных за убийство. Процент американцев, выступающих за смертную казнь, колеблется в относительно узком диапазоне, от высоких 70 % в 2003 году до более низких 64 % в отдельные годы. Эти данные позволяют сделать однозначный вывод: заведомое большинство американцев выступают за смертную казнь.

Или такой вывод слишком поспешен? Поддержка американцами смертной казни падает, когда в качестве альтернативы предлагается пожизненное тюремное заключение без права условно-досрочного освобождения . Опрос, проведенный Институтом Гэллапа в 2006 году, показал, что лишь 47 % американцев считают смертную казнь справедливой карой за убийство, тогда как 48 % высказываются за пожизненное тюремное заключение {65}. Это не просто некий статистический парадокс, которым можно удивить гостей, пришедших к вам на вечеринку; фактически это уже означает отсутствие в стране большинства, поддерживающего применение смертной казни при наличии альтернативы в виде пожизненного тюремного заключения. Когда мы пытаемся выяснить отношение общества к той или иной проблеме, важнейшую роль играют формулировка вопроса и выбор языка.

Политики зачастую стараются сыграть на этом обстоятельстве, используя опросы общественного мнения и фокус-группы для тестирования «слов, которые приносят нужный результат». Например, избиратели в большей степени склонны поддерживать формулировку «снижение налогового бремени», чем «урезание налогов», несмотря на то что обе формулировки, по сути, описывают одно и то же действие. Аналогично, избирателей меньше волнует «изменение климата», чем «глобальное потепление», несмотря на то что глобальное потепление – лишь одна из форм изменения климата. Очевидно, политики пытаются манипулировать ответами избирателей путем использования «не нейтральных» слов. Если социологичекая организация стремится создать себе репутацию «честной», то есть выдающей результаты, заслуживающие доверия, она должна отказаться от употребления языка, способного повлиять на точность собираемой информации. Точно так же если по истечении какого-то времени предполагается сравнивать результаты опросов (например, как потребители оценивают нынешнее состояние экономики в сравнении с тем, как они оценивали его год назад), то вопросы, позволяющие получить требуемую информацию, в том и другом случае должны быть одинаковыми – или по крайней мере очень похожими.