Джон Брокман - Эта идея должна умереть. Научные теории, которые блокируют прогресс

Давайте рассмотрим еще один пример важности дисперсии строчки зрения медицины. Существуют две болезни с одинаковым средним уровнем прогноза – скажем, СПИД в прогрессирующей стадии и цирроз печени в прогрессирующей стадии, – однако доктора чаще дают рекомендацию «не реанимировать» в случае СПИДа. Конечно, очень соблазнительно сделать вывод о том, что врачи, возможно, избегают реанимации больных СПИДом по дискриминационным причинам. Однако подлинная причина может заключаться в том, что дисперсия состояний в группе больных СПИДом значительно выше и в этой группе может оказаться больше пациентов, которые неминуемо умрут. Врачи могут обращать больше внимания на этот факт, а не на показатель средней выживаемости у 2 групп.

Хорошее знакомство с дисперсией могло бы также помочь нам разобраться с известной и противоречивой гипотезой о том, что в крупных университетах больше мужчин – преподавателей математики: в среднем уровень математических способностей может быть одинаковым у мужчин и женщин, однако дисперсия интеллекта у мужчин выше. Это означает, что в самой нижней части распределения окажется больше мужчин (и факты подтверждают, что мальчики примерно в 3 раза чаще оказываются умственно отсталыми, чем девочки). Но также это будет означать, что и в верхней части распределения имеется больше мужчин.

Концентрируясь исключительно на средних значениях, мы упускаем шанс заметить интересные и важные вещи. И подобное ограниченное ви́дение имеет неблагоприятные практические и научные последствия. Хотим ли мы жить в более богатом и менее справедливом обществе? Хотим ли мы, чтобы образовательные программы обеспечивали бо́льшую равномерность результатов на экзаменах или же давали более высокое среднее значение? Согласятся ли пациенты на онкологическую терапию, которая одному помогает выжить, но другого убивает, – и пусть при этом средние показатели выживаемости не меняются? Для того чтобы полностью понять суть подобных компромиссов, мы должны не только освоить статистические инструменты, но и развить ви́дение, позволяющее сконцентрироваться на дисперсии.

Заслуженный профессор в области инженерных рисков, Политехнический институт Нью-Йоркского университета; автор книг Antifragile [104] , The Black Swan [105] и других.

Понятие стандартного отклонения приводило в смущение не одно поколение ученых; пришло время отказаться от его повсеместного использования и заменить это понятие более эффективным показателем среднего отклонения. А стандартное отклонение ( Standard deviation, STD ) оставим математикам, физикам и математическим статистикам, работающим с теоремами пределов. Нет никакой научной причины использовать его в статистических изысканиях в компьютерную эру, поскольку оно больше наносит вреда, чем приносит пользы, – особенно с учетом того, что все больше представителей общественных наук довольно механистически применяют статистические инструменты при решении научных задач.

Предположим, что кто-то попросит вас измерить «среднюю величину ежедневного отклонения» для температуры воздуха в вашем городе (или для стоимости акций какой-нибудь компании на фондовой бирже, или для артериального давления вашего дядюшки) за последние 5 дней. Пять изменений выглядят следующим образом: (–23, 7, –3, 20, –1). Что вы делаете дальше?

Берете ли вы каждое значение, возводите его в степень, вычисляете среднее значение для суммы, а затем извлекаете из нее корень? Или же вы просто игнорируете знаки и рассчитываете среднее арифметическое? Дело в том, что между этими двумя методами имеются серьезные различия. Если вы используете первый, среднее значение составит около 15,7, а при втором – 10,8. Первый метод носит техническое название среднеквадратичного или стандартного отклонения ( standard deviation, STD ), а второй – среднего абсолютного отклонения ( mean absolute deviation, MAD ).

Второй метод соответствует «реальной жизни» (и реальности) значительно лучше, чем первый. На самом деле каждый раз, когда люди принимают решения на основании величины стандартного отклонения, они ведут себя так, словно это ожидаемая величина среднего отклонения.

Все дело – в исторической случайности. В 1893 году гениальный Карл Пирсон предложил понятие «стандартное отклонение» для того, что ранее было известно как «среднеквадратичная ошибка». Тогда и началась путаница; люди полагали, что речь идет о «среднем отклонении», и эта идея прочно застряла в их мозгах. Каждый раз, когда какая-нибудь газета пыталась разъяснить концепцию рыночной волатильности, она определяла ее на словах как среднее отклонение, однако использовала в расчете более высокое значение стандартного отклонения.

Этой ошибке подвержены не только журналисты. Я встречал ее даже в официальных документах Министерства торговли и Федеральной резервной системы США – иными словами, подобную ошибку отождествления допускают даже регуляторы в своих заявлениях о волатильности рынка. Хуже того, мы с Дэниелом Голдстейном обнаружили, что в реальной жизни эту ошибку допускает множество ученых (порой с докторскими степенями), работающих с количественными данными.

Все это объясняется неудачной терминологией для неинтуитивных понятий. Дэнни Канеман называет психологическое предубеждение, из-за которого некоторые путают MAD и STD , «подменой атрибута» ( attribute substitution ), поскольку первое понятие приходит им на ум значительно проще, чем второе.

(1) MAD более точен в измерениях выборки и менее волатилен, чем STD , поскольку это достаточно естественный метод, в то время как стандартное отклонение использует само наблюдение со своим собственным весом, присваивая большие веса большим измерениям, и в результате хвостовые события получают слишком большой вес.

(2) Мы часто используем STD в своих уравнениях, однако обычно дело заканчивается тем, что в процессе мы конвертируем его в MAD (например, в области финансов такое часто происходит при расчете цен на опционы). В гауссовском мире STD больше MAD в 1,25 раза – то есть на величину квадратного корня из (π/2). Однако мы часто имеем дело со стохастической волатильностью, в которой STD может превышать MAD даже в 1,6 раза.

(3) Многие статистические явления и процессы имеют «бесконечную дисперсию» (скажем, популярное правило Парето о соотношении 80/20), однако при этом у них есть вполне конечная величина среднего отклонения. Если существует среднее, то существует и MAD . Обратное (бесконечные MAD и конечные STD ) никогда не бывает истинным.

(4) Многие экономисты отказались от модели бесконечных дисперсий, предполагая, что этот термин означает «бесконечное среднее отклонение». Это печально, но это так. Когда великий Бенуа Мандельброт предложил 50 лет назад свою модель бесконечной дисперсии, экономисты испугались именно из-за этого отождествления.