Борис Штерн - Прорыв за край мира

Сходимость суммы многих распределений к распределению Гаусса декларируется так называемой центральной предельной теоремой. Именно поэтому распределение Гаусса столь важно в статистике. Настолько важно, что его называют нормальным распределением, а параметр ширины — стандартным отклонением. Если ошибки измерений описываются нормальным распределением, то с данными работать легко — есть простые способы оценок, насколько та или иная гипотеза описывает эти данные, каковы ошибки в параметрах гипотезы, которой мы пытаемся описать данные. Если ошибки не описываются нормальным распределением, то на это часто закрывают глаза, что обычно сходите рук, но не всегда.

Теперь важная таблица, поясняющая смысл употребления жаргона «сигма» в самых разных контекстах. Сверху — отклонение от центра распределения х ов единицах σ , снизу — вероятность того, что случайная величина выйдет за этот предел (в любую сторону).

σ | 1 | 2 | 3 | 4 | 5

- | 0,32 | 0,045 | 0,0027 | 0,63·10 -4 | 0.57·10 -6

Если какая то экспериментальная точка отклонилась от теоретической кривой, скажем, на 2 σ , то нет оснований придавать этому особого значения. Вероятность такого отклонения 1/20, и если точек много, то какая-нибудь с большой вероятностью вылезет за такой предел. Если точка отклонилась на З σ , здесь уже есть предмет для разбирательства, а если за 4 σ и больше -можно сделать вывод, что что-то не так. Может быть, измерение неверное, а может быть теоретическая кривая неверна. И самое интересное: нет ли здесь какого-нибудь дополнительного эффекта, например спектральной линии, если точки описывают спектр. Здесь мы подходим к понятию статистической значимости.

Если мы знаем, что в данном месте спектра, например, квазара может быть рентгеновская линия железа, и видим, что соответствующая точка «отпрыгнула» вверх на 4 σ , мы вправе сказать: «Данные подтверждают существование линии излучения… на уровне статистической значимости 4 σ ». Возможные эквиваленты: «…на уровне статистической значимости 0,6·10 -4» или «…на уровне достоверности 0,9999». Если мы заранее знаем, что именно здесь может быть линия излучения железа, и, действительно, видим «отпрыгнувшую» точку, то 4 σ — приличный уровень значимости, и можно смело публиковать результат.

Определение статистической значимости может быть и не связано с распределением Гаусса и числом стандартных отклонений. Допустим, мы пытаемся показать, что данные говорят о наличии какого-то эффекта. Как надо поступать в общем случае? Допустим, эффекта нет. Значит, нам надо принять некую нулевую гипотезу, как должны выглядеть данные при отсутствии эффекта. В примере со спектром это некая гладкая функция без линий. Статистическую значимость можно определить как вероятность того, что данные в результате случая отклоняются от нулевой гипотезы так, что имитируют эффект, каким мы его видим в данных. Вероятность зависит от нулевой гипотезы и гипотезы эффекта, поэтому правильное говорить о статистической значимости такого-то эффекта относительно такой-то нулевой гипотезы .

В примере со спектром это просто вероятность того, что точка в том месте, где должна быть линия, случайно «отпрыгнула» вверх не меньше, чем на столько-то сигма. В общем случае любым посильным способом вычисляем вероятность случайной имитации эффекта. Неважно, как вычисляем, допустим, с помощью прямого численного моделирования методом Монте-Карло. Предположим, что эта вероятность получилась около 10 -4. Потом добавляем к гипотезе искомый эффект. Если при этом гипотеза (уже не нулевая) стала описывать данные хорошо, мы вправе сказать, что данные подтверждают эффект на уровне статистической значимости 10 -4. Чем меньше вероятность, тем выше статистическая значимость. Как это часто делают, можно перевести вероятность в термины сигма, используя таблицу, приведенную выше.

Допустим, мы обнаружили в данных указание на некий эффект значимостью 4 σ . Вероятность случайности, имитирующей этот эффект, очень мала. Следует ли из этого, что надо бить в барабан и немедленно публиковать статью? Это очень сильно зависит от того, что мы искали. Если мы искали известно что, заранее зная, в каком месте, то можно. Именно таков случай обнаружения известной спектральной линии. А если мы искали чего-нибудь, где-нибудь в большом массиве данных и наткнулись на некоторое отклонение значимостью 4 σ , то вполне возможно, что мы упорно искали и нашли случайный выброс на 4 σ и больше ничего. Таких случаев предостаточно. Даже в Nature иногда публикуют подобные «открытия». Обычно они быстро «рассасываются» и забываются. Но репутации страдают.

Проблема в том, что правильная оценка статистической значимости — не такое простое дело. Если мы нашли нечто значимостью 10 -4в 100 независимых попытках, то настоящая значимость 10 -2, а это уже очень слабый результат. В реальной работе с данными этих «независимых попыток» бывает огромное количество, и исследователь часто этого не осознает, а если осознает, то не умеет правильно оценить их число (это число в биологии и гуманитарных науках называется «поправка Бонферони», а в физике «штрафным фактором»). Четких рецептов, как оценивать эту поправку, на все случаи жизни не существует — это скорее кухня, а не наука. Владение этой кухней и есть составляющая профессионализма исследователя.

Бывают удивительные истории, когда некий вывод, полученный кабинетным ученым на бумаге вне всякой связи с реальностью, вдруг через много лет обретает плоть и мощь, становясь одной из несущих конструкций науки. Такая история произошла с работой Андрея Дмитриевича Сахарова, сделанной в 1963 году. В этой работе исследована эволюция акустических колебаний вещества в ранней Вселенной и получен очень интересный и красивый результат. По традиции, которая у нас прослеживается в отношении выдающихся работ, исходные положения, принятые Сахаровым, были неверными. Но предсказания из этой работы сыграли большую роль в будущем.

Выше речь шла о том, как начальные неоднородности плотности начинают расти из-за гравитационной неустойчивости. Но это не единственное, что с ними происходит. Неоднородности начинают колебаться без всякой связи с гравитацией — как звуковые волны. «Звуковыми» волны в ранней Вселенной можно назвать лишь весьма условно, уж больно нечеловеческие условия там царили, но их механика точно такая же, как и у звука в атмосфере: движущей силой становится давление среды, зависящее от ее плотности. Сейчас мы знаем, что среда состоит из темной материи и обычного вещества, которые взаимодействуют только через гравитацию и во многих отношениях независимы друг от друга. Акустическим колебаниям подвержено только обычное вещество.