Дарелл Хафф - Как лгать при помощи статистики

Иногда достаточно если не первого, то хотя бы второго взгляда, чтобы определить, кто это говорит. Этот кто-то может скрываться за тем, что Стивен Поттер [28] Стивен Поттер (1900–1969) – английский писатель, автор книг-пародий на руководства из разряда «помоги себе сам», где с юмором поучает читателя, как надо жить и действовать в разных жизненных сферах, чтобы всегда быть выше других, не прибегая к низостям. Слово «lifemanship» впервые употреблено в книге Some Notes on Lifemanship (1950), в вольном переводе – «Некоторые заметки по поводу умения жить, все время оставаясь на высоте». Многие книги Поттера экранизированы. – Прим. пер. назвал бы «какими-надо-именами». Нечто хотя бы намекающее на причастность к медицинской профессии – это «какое-надо-имя». Научно-исследовательские лаборатории тоже имеют «какие-надо-имена». Таковыми обладают высшие учебные заведения, особенно университеты, а еще в большей мере те, что известны своими техническими разработками. Автор статьи, упоминавшейся несколько глав назад, который доказывал, что высшее образование подрывает шансы девушки выйти замуж, ловко воспользовался «каким-надо-именем» Корнеллского университета. Еще раз обращаю ваше внимание, что хотя статистические данные предоставлены Корнеллским университетом, выводы из них целиком и полностью на совести автора статьи. Но благодаря упоминанию «какого-надо-имени» может сложиться неверное впечатление, будто это «Корнеллский университет утверждает, что…».

Когда упоминается «какое-надо-имя», удостоверьтесь, что авторитет его обладателя действительно стоит за данной информацией, а не просто приплетается ради пущей убедительности.

В чикагском Journal of Commerce вам могло попасться на глаза некое горделивое заявление. Журнал провел опрос на тему манипуляций с ценами и затоваривания. Из 169 корпораций, согласившихся принять в нем участие, две трети отрапортовали, что из своего кармана компенсируют увеличение цен, вызванное войной в Корее. «Опрос показывает [держите ухо востро, когда бы и где бы вам ни встретились эти слова!], – утверждал Journal of Commerce , – что корпорации сделали прямо противоположное тому, на что так рассчитывали враги американского бизнеса». Вот тут самое время задаться вопросом «Кто это говорит?», поскольку Journal of Commerce вполне можно счесть заинтересованной стороной. Это еще и самое подходящее время задать себе второй вопрос:

В нашем случае выяснилось, что журнал начал с того, что разослал вопросник в 1200 крупных компаний. Из них на вопросы ответили лишь 14 %. Остальные 86 % не удосужились сделать вообще никаких публичных заявлений относительно того, манипулируют ли они ценами и придерживают ли свою продукцию.

Таким образом, журнал умудрился сделать поразительно хорошую мину при довольно плохой игре, но сам факт от этого не изменился: по большому счету хвастаться было особо нечем. Все успехи сводились к следующему: из 1200 привлеченных к опросу компаний 9 % сообщили, что не поднимали цены, 5 % – что подняли, а 86 % промолчали. Ответившие компании образуют выборку, которую можно заподозрить в необъективности.

Приглядывайтесь, нет ли свидетельств тому, что выборка смещенная, то есть отобрана ненадлежащим образом или, как в вышеупомянутом случае, сформировалась сама собой. Задайте себе вопрос, который мы обсуждали в одной из первых глав: достаточно ли велика выборка, чтобы на ее основе сделать сколько-нибудь надежный вывод?

Аналогичным способом поступайте в случае, когда сообщается о корреляции: достаточно ли она велика, чтобы что-то означать? Достаточно ли случаев рассмотрено, чтобы выявленная корреляционная зависимость имела хоть какую-то значимость? Как неподготовленный читатель, вы лишены возможности применить какие-либо критерии значимости или составить себе однозначное суждение о степени адекватности выборки. Но что касается множества публикуемых данных, вы способны оценить с первого взгляда – возможно, довольно долгого и пристального, – что количество рассмотренных случаев явно недостаточно, чтобы убедить в чем-либо человека думающего.

Далеко не всегда сообщают, сколько случаев было взято для изучения. Отсутствия такой цифры достаточно, чтобы бросить тень подозрения на все сообщение в целом, особенно если оно исходит от заинтересованного источника. Точно так же не следует принимать слишком серьезно информацию о корреляции между двумя величинами, если не указана степень достоверности этого показателя (вероятная ошибка, стандартная ошибка).

Будьте начеку, если вам называют среднее без уточнения его вида, во всех случаях, когда можно заподозрить, что среднее арифметическое и медиана существенно различаются.

Множество цифр утрачивают всякий смысл из-за неправомерных сравнений. Так, статья в журнале Look , касаясь темы синдрома Дауна, сообщает, что «как показало одно исследование, в 2800 случаях более половины матерей были 35 лет или старше». Чтобы данная информация имела для вас хоть какой-то смысл, вы должны иметь общее представление, в каком возрастном диапазоне женщины в массе своей рожают детей. А такими знаниями мало кто из нас владеет.

Ниже приводится выдержка из рубрики «Нам сообщают из Лондона» в журнале New Yorker от 31 января 1953 г.

Министерство здравоохранения недавно обнародовало данные, что за неделю, когда держался густой туман, уровень смертности в Лондоне подскочил на 28 %. Эти сведения глубоко потрясли общественность, привыкшую считать последствия неприветливого британского климата скорее досаждающими, нежели губительными… Небывалая смертельная опасность…

Но насколько смертоносной на самом деле была эта неделя? Считать ли исключительным случаем, что уровень смертности настолько превысил обычный показатель? Такого рода вещам вообще свойственно варьироваться. А как насчет последующих недель? Упал ли уровень смертности ниже среднего уровня, указывая, что если туман и убивал, то по большей части людей нездоровых, которых болезни в любом случае вскоре свели бы в могилу? Сама приведенная цифра выглядит весьма внушительно, но отсутствие других цифр, которые позволили бы оценить ее значение, сводит почти на нет весь смысл сообщения.

Бывает и так, что в источнике приводятся проценты, а стоящие за ними исходные цифры отсутствуют, и это тоже способно ввести в заблуждение. Давным-давно, когда Университет Джонса Хопкинса только начал принимать девушек, некто, не испытывавший особых восторгов по поводу совместного обучения, обнародовал данные, ставшие для многих потрясением: оказывается, 33 1/3 % студенток университета повыходили замуж за преподавателей! Однако исходные цифры позволяли точнее оценить картину «бедствия». На тот момент в списке учащихся числились три девушки-студентки, и одна из них действительно вышла замуж за преподавателя.