Ричард Нисбетт - Мозгоускорители. Как научиться эффективно мыслить, используя приемы из разных наук

Некоторые эксперименты «до и после» происходят случайно и дают непрогнозируемые, но полезные результаты. Мой любимый подобный случай произошел в магазине подарков в одном из юго-западных штатов [125] Cialdini, Robert В. Influence: How and Why People Agree to Things. New York: Quill, 1984. . Ювелирные изделия из бирюзы продавались очень плохо, и как-то раз хозяин магазина, уезжая по делам на несколько дней, решил выставить бирюзу на распродажу и оставил продавцу-консультанту записку, в которой говорилось «распродать всю бирюзу по цене X 1/2». Когда владелец вернулся, почти вся бирюза была распродана. Он, конечно, обрадовался, но вообразите себе его изумление и радость, когда продавец сообщил ему, что бирюза продавалась лучше по цене в два раза выше изначальной! Продавец неправильно понял записку владельца и решил, что цену нужно умножить на два, а не разделить.

Как правило, цена является достаточно хорошим показателем эвристической ценности товара, поэтому покупатели воспринимают высокую цену на ювелирные изделия как знак качества. Разумеется, это работает не для всех видов товаров, но для бирюзы цена продаж — важный индикатор ценности, потому что мало кто из покупателей может оценить реальное качество этого минерала.

Статистическая мощность схемы «до и после» означает, что мы можем проводить эксперименты над самими собой. У вас бывает изжога, но вы не знаете точно почему? Записывайте, что вы едите и пьете каждый день, уделяя особое внимание возможным причинам проблемы, таким как алкоголь, кофе, газированные напитки и шоколад. Затем проведите настоящее рандомизированное испытание — подбрасывайте монетку, решая, выпить ли сегодня коктейль. Каждый раз меняйте что-нибудь одно, чтобы избежать искажающих факторов. Если вы одновременно перестанете есть шоколад и пить газировку, и при этом изжога исчезнет, вы не узнаете, что же ее вызывало — газировка или шоколад. В главе 12, посвященной словесной передаче опыта, наряду с более научными методами также рассматриваются различные варианты проведения экспериментов над собой.

Если количество случаев велико и они распределены по группам с разными условиями эксперимента в случайном порядке, наша уверенность в том, что исследуемый эффект реален, повышается. Но есть еще один чрезвычайно важный фактор, который следует тщательно прояснить, — что следует считать одним случаем? Предположим, вы попробовали метод А в группе 1, состоящей из 30 студентов. Это стандартный способ преподавания: лекции в аудитории и домашнее задание дома. Вы также пробуете применять метод Б в группе 2 с 25 студентами: он состоит в том, что студенты смотрят дома видеозаписи лекций, а «домашнее задание» делают вместе с преподавателем в аудитории. Каково общее количество случаев (N) в данном примере? Увы, не 55, что было бы удобно для того, чтобы показать значимое различие в результатах, если оно есть.

Количество случаев N здесь равно 2. Число N равно числу случаев только при условии независимости наблюдений. Но когда речь идет об аудитории, полной студентов, или о группе людей, которые взаимодействуют друг с другом в период проведения эксперимента и измерения его эффективности, поведение каждого не является независимым от другого. Если кому-то что-то непонятно, это может привести в замешательство других; если кто-то всю лекцию веселится и отпускает шуточки, это может негативно сказаться на результатах остальных студентов. Поведение каждого индивида потенциально зависимо от поведения каждого другого индивида. В таких ситуациях можно провести тест для оценки достоверности, только если достаточно велико количество групп, и тогда число N будет количеством групп, а не количеством индивидов.

Если вы не умеете проводить статистические тесты, вас неизбежно ждет неопределенность по поводу того, каков же истинный эффект применения различных методик. Тем не менее лучше в следующий раз просто применить тот метод, который показал себя лучше, чем полагаться только на свои предположения.

Концепция независимости наблюдений чрезвычайно важна для понимания бесконечного количества событий. Трудно поверить, но в 2008 г. такие рейтинговые агентства, как Standard & Poor (S&P), использовали прогнозирующие модели возможных банкротств на рынке ипотечного кредитования, в которых предполагалось, что банкротства по ипотеке независимы друг от друга [126] Cialdini, Robert В. Influence: How and Why People Agree to Things. New York: Quill, 1984. . Считалось, что банкротство Джо Докса из штата Айова никак не влияет на вероятность банкротства Джейн Доу из штата Колорадо. В таком подходе есть некоторый смысл в стабильные времена. Но в других обстоятельствах, и уж тем более в период быстрого роста цен на жилье, нельзя исключить, что вы окажетесь внутри ипотечного пузыря. В этом случае вероятность банкротства по ипотеке 20031А статистически зависит от того, обанкротилась ли ипотека 90014С.

Рейтинговые агентства никогда не были и не являются незаинтересованными сторонами. За их работу им платят банки, и услуги рейтинговой компании пользуются большим спросом, если компания привычно составляет рейтинг безопасного вложения средств. Так что происходило ли это из-за того, что рейтинговые компании были поразительно некомпетентны в прогнозировании банкротств или же попросту занимались мошенничеством, я знать не могу. В любом случае полученный урок ясен: ошибочная научная методология может привести к катастрофическим последствиям.

Предположения обычно оказываются неверными. И если даже они верны, глупо просто полагаться на них, когда их легко проверить. Принцип сплит-тестирования понятен даже ребенку: возьмите метод, который вы хотите протестировать, создайте контрольное условие, подбросьте монетку, чтобы выбрать, кто (или что) получит какой именно метод, и наблюдайте, что произойдет. Различие, найденное с помощью рандомизированной схемы, показывает, что какие-то манипуляции с независимой переменной оказывают влияние на зависимую переменную. Различие, найденное с помощью корреляционных методов, не может гарантировать, что независимая переменная действительно оказывает влияние на зависимую переменную.

Корреляционные схемы ненадежны, потому что исследователь не сопоставляет условия и события. Например, много домашней работы или мало, реклама по радио или с помощью рассылок, высокие доходы или низкие. Если вы не назначаете случайным образом условия конкретным случаям — вы получаете все возможные факторы неопределенности. Случаи одного уровня независимой переменной могут отличаться от случаев другого уровня в любом количестве аспектов, часть из них можно идентифицировать, а часть нельзя. Любая из измеряемых или неизмеряемых, или даже воображаемых величин может с большей вероятностью оказывать влияние, чем та независимая величина, которая вас интересует. А может быть и такое, что та величина, которая должна быть зависимой, на самом деле оказывает влияние и вызывает изменения в той величине, которая должна была быть независимой.