Пере Грима - Том13. Абсолютная точность и другие иллюзии. Секреты статистики

Фишер в те годы уже был известным ученым. В 1935 году он опубликовал ставший классическим труд The Design of Experiments о стратегиях выбора экспериментальных данных. Во второй главе его книги некоторые ключевые понятия проиллюстрированы именно этим примером с чашками чая.

Сначала предположим, что дегустатор чая не может различить, что было добавлено в чашку сначала, чай или молоко. Это предположение совершенно логично. Опровергнуть первоначальную гипотезу могут только результаты качественно продуманного и проведенного эксперимента. Исходная гипотеза будет опровергнута, если результаты эксперимента окажутся маловероятными при допущении, что дегустатор действительно не может различить чашки. Какие именно результаты окажутся «маловероятными», определяем мы сами: менее 5 % случаев, менее 1 % случаев или любое другое число.

Допустим, мы готовы поверить, что дегустатор чая действительно может различать чашки, только тогда, когда вероятность случайного угадывания не будет превышать 5 %. Следовательно, эксперимент, в котором нужно выбрать 3 чашки из 6, будет некорректным, так как это можно сделать 20 различными способами, и вероятность случайного угадывания составит ровно 1 к 20, то есть 5 %. Это нетрудно проверить: первую чашку можно выбрать шестью способами, вторую — пятью, третью — четырьмя, следовательно, 3 чашки можно выбрать 6·5·4 = 120 способами. Однако здесь мы учитываем порядок выбора, то есть предполагаем, что чашки подписаны буквами от А до F и считаем варианты ADF и FDA различными. Чтобы учесть повторы, нужно поделить число вариантов на число способов, которыми можно упорядочить 3 чашки (3·2·1 = 6). Следовательно, выбрать 3 чашки из 6 можно 120/6 = 20 способами. Если нужно правильно выбрать 4 чашки из 8, то число вариантов будет равняться (8·7·6,5)/(4·3·21) = 70. Так как выбрать случайным образом все 4 чашки, в которых был сначала налит чай, а затем — молоко, можно только одним способом, то вероятность угадывания равняется 1 к 70, то есть 1,4 %. Если участник эксперимента верно укажет на 3 чашки из 4, это не будет доказывать, что вкус чая будет отличаться: вероятность правильного выбора трех чашек случайным образом равна примерно 23 %.

Но не стоит тратить все силы на математические рассуждения. Также нужно уделить очень большое внимание деталям проведения эксперимента, отсутствию подсказок для испытуемого и другим нюансам. Фишер прямо указывает, что чашки в эксперименте должны располагаться случайным образом:

«Наш эксперимент состоит в том, что мы приготовим восемь чашек чая с молоком, четыре — одним способом, четыре — другим, после чего подадим чашки, расположенные в произвольном порядке, дегустатору, который вынесет свой вердикт. Порядок проведения эксперимента объясняется дегустатору заранее: он должен попробовать чай из восьми чашек в произвольном порядке (определенном с помощью игральных костей, рулетки, карт или просто с помощью случайно выбранных чисел). Задача дегустатора — разделить чашки на две группы по четыре в зависимости от того, что было налито в каждую чашку сначала — чай или молоко».

Каков же был результат эксперимента? Фишер не упоминает об этом в своей книге, но среди присутствующих находился профессор Хью Смит, который рассказал об этом случае Дэвиду Салсбергу, автору превосходной книги о бурном развитии статистики в XX веке. Книга называется The Lady Tasting Tea . В тексте подробно описывается этот эксперимент, который и дал название книге. По словам Хью Смита, леди действительно удалось точно указать все четыре чашки.

The Design of Experiments— классический труд, автор которого, Рональд Фишер, на примере дегустатора чая объясняет суть своего метода.

* * *

РОНАЛЬД ЭЙЛМЕР ФИШЕР : В НУЖНОЕ ВРЕМЯ В НУЖНОМ МЕСТЕ

Рональд Фишер родился в 1890 году. Он получил очень хорошее математическое образование и внес важный вклад в статистику и генетику. Хотя какого-либо официального рейтинга не существует, Рональд Фишер несомненно входит в число ученых, которые внесли наибольший вклад в развитие статистики в XX веке. Согласно некоторым источникам, он был болезненным ребенком, но отличался большой тягой к знаниям и очень интересовался астрономией. Также у него было очень плохое зрение, и врачи запретили ему читать при искусственном свете (не забывайте, что в те времена лампы отличались от современных). Это мешало ему заниматься, и чтобы Рональд не отставал от остальных, преподаватель обучал его математике, не используя ни бумаги, ни карандаша. Это способствовало развитию у Фишера великолепного геометрического мышления, что впоследствии позволило ему решать сложные задачи оригинальным геометрическим методом.

В возрасте 29 лет он вместе с женой, которой в то время было 20 лет и которая родила ему троих детей (обычаи того времени отличались от современных), переехал на старую ферму около опытной сельскохозяйственной станции Ротамстед к северу от Лондона. Владельцы станции, производители удобрений, заключили с ним контракт, желая, чтобы Фишер помог им упорядочить огромный объем данных, накопленный за 90 лет работы станции. Ученый показал, что при использованном способе сбора данных влияние дождей и погоды в целом нивелировало возможный эффект от применяемых удобрений. Говорить о влиянии отдельных факторов на основе имеющихся данных было нельзя. Однако Фишер не просто указал, что данные собирались неверно, но и объяснил, какие поправки следует внести. Написанная им книга The Design of Experiments полностью изменила представление о способах сбора экспериментальных данных и оказала огромное влияние на исследования в сельском хозяйстве и промышленности.

* * *

Мы знаем, что рост и вес человека связаны и что высокие люди обычно весят больше, чем низкие (разумеется, существуют исключения, но мы говорим об общем правиле). Здесь речь не идет о строгой связи: нет математической формулы, с помощью которой можно вычислить вес человека, зная его рост. Тем не менее существует тенденция, определенная взаимосвязь.

На следующей диаграмме показана связь роста и веса в группе из 92 студентов университета (использовались данные, входящие в пакет статистических программ Minitab , о котором мы уже упоминали в главе 1).

Соотношение между весом и ростом в группе из 92 студентов.

Как вы охарактеризуете эту зависимость? Она «сильная», «заметная» или «слабая»? Как вы понимаете, в подобных ситуациях необходимо оценивать зависимость более точно. Для этого используется показатель, называемый коэффициент корреляции (иногда его называют коэффициентом корреляции Пирсона).