Cет Cтивенс-Давидовиц - Все лгут. Поисковики, Big Data и Интернет знают о вас всё

Имея все эти данные, исследователи смогли определить самый важный возраст для выработки политических взглядов – 18 лет.

Они обнаружили, что этот эффект импринтинга очень важен. Их модель предполагает, что в результате президентства Эйзенхауэра число республиканцев, родившихся в 1941 году, увеличилось на 10 %. Кеннеди, Джонсон и Никсон увеличили количество демократов среди американцев, родившихся в 1952 году, на 7 %.

Я дал понять, что скептически отношусь к данным исследования, но меня впечатляет количество рассмотренных откликов. В действительности подобная работа не могла быть сделана на основании одного небольшого опроса. Чтобы увидеть, как именно меняются предпочтения с возрастом, ученым нужны были сотни тысяч наблюдений и обобщения многих исследований.

Для моего анализа любви или нелюбви к бейсболу объем данных также имел решающее значение. Мне нужно было узнать не только количество болельщиков каждой команды, но и разбить их по возрасту. Для этого требуются миллионы наблюдений – и Facebook вместе с другими цифровыми источниками способны предоставить нам подобную информацию.

Здесь вступает в игру объем исследуемой статистики. Нужно иметь много пикселей в фотографии, чтобы можно было увеличить четкость изображения одной ее малой части. Аналогично, необходимо много наблюдений в общем массиве данных для того, чтобы иметь возможность увеличить четкость одного небольшого подмножества – например, сказать, насколько популярна команда «Метс» среди мужчин 1978 года рождения. Небольшой опрос пары тысяч человек не будет достаточно большой выборкой.

Это третье достоинство больших данных: они позволяют рассмотреть вблизи мелкие сегменты большого массива – чтобы получить новую информацию о том, кто мы есть. Можем присмотреться и к другим параметрам помимо возраста. Если у нас есть достаточно информации, мы в состоянии понять, как ведут себя люди, живущие в определенных городах и поселках. Мы можем посмотреть даже, как они действуют ежечасно и ежеминутно.

В этой главе мы пристально посмотрим на поведение людей.

Оглядываясь назад, все кажется удивительным. Но когда Радж Четти, ставший затем профессором в Гарварде, и его небольшая исследовательская группа впервые изучили довольно большой набор данных – налоговые записи всех американцев с 1996 года, – они не были уверены в какой-либо его пользе. Налоговая передала им эту информацию, поскольку ее руководство сочло, что исследователи могли бы использовать ее для прояснения последствий налоговой политики.

Первоначальные попытки Четти и его команды использовать эту статистику заводили их в многочисленные тупики. Их анализ последствий Федеральной налоговой политики и налоговой политики штатов приводил в основном к тем же выводам, которые получали все остальные исследователи, работавшие только с этой информацией. Возможно, результаты Четти, использовавшего сотни миллионов единиц данных налоговой службы, были немного более точными. Но получение практически такого же результата, как и у остальных, не является серьезным достижением социальной науки. Это не тот тип работы, о котором готовы писать в лучших научных журналах.

Более того, организация сбора и анализ всех данных налоговой службы занял много времени. Четти и его команда, потонув в информации, потратили на получение тех же результатов даже больше времени, чем все остальные ученые.

Стало казаться, что люди, скептически относившиеся к идее больших данных, были правы. Не нужно перелопачивать данные сотен миллионов американцев, чтобы разобраться в налоговой политике – опроса десяти тысяч человек оказалось бы вполне достаточно. Четти и его команда были, естественно, обескуражены.

И вот наконец ученые поняли свою ошибку. «Это не простое исследование, которое основано на большем массиве данных», – объясняет Четти {117}. Исследователи задавали слишком мало вопросов относительно данных, которые им были переданы. «Большие данные позволяют вам использовать совершенно другие конструкции, отличные от тех, которые применялись при опросах, – добавляет Четти. – Можно, например, более внимательно отнестись к географии распределения данных».

Другими словами, имея информацию о сотнях миллионов людей, Четти и его команда смогли определить закономерности, относящиеся к городам и различным регионам – большим и малым.

Будучи аспирантом Гарварда, я был в конференц-зале, когда Четти представил свои первые результаты, пользуясь данными налогового учета каждого американца. Социологи обращаются в своем творчестве к наблюдениям: сколько элементов у них имеется. Если социолог работает с опросом 800 человек, он говорит: «У нас восемь сотен наблюдений». Если он работает с лабораторным экспериментом, в котором принимали участие 70 человек, он скажет: «У нас есть семьдесят наблюдений».

«У нас есть 1,2 миллиарда наблюдений», – сказал Четти. Зрители нервно хихикнули.

И Четти с соавторами начали – сначала в конференц-зале, а затем в серии статей – демонстрировать нам важные новые выводы о жизни американского общества.

Рассмотрим такой вопрос: является ли Америка страной больших возможностей? Есть ли у вас шанс сколотить состояние, если ваши родители небогаты?

Традиционный способ ответа на этот вопрос – посмотреть на репрезентативную выборку американцев и сравнить ее с аналогичной статистикой других стран.

Вот данные по разным странам о равенстве возможностей. Был задан вопрос: какова вероятность того, что человек с родителями, входящими в 20 % самых бедных жителей страны, попадет в 20 % людей с наиболее высокими доходами?

Как видите, у США не самый высокий результат.

Но в этом простом анализе не хватает конкретики. Команда Четти подобрала материалы по регионам и обнаружила, что шансы разбогатеть сильно различаются в зависимости от того, в какой части страны вы родились.

В некоторых частях Соединенных Штатов шанс бедного ребенка преуспеть равен шансу в любой развитой стране мира. В других частях США вероятность того, что бедный ребенок станет богатым, ниже, чем в любой развитой стране мира.

Эти результаты никогда не были бы получены при небольшом опросе, который содержал бы данные лишь о нескольких людях из Шарлотт и Сан-Хосе. Естественно, это не позволило бы создать такую разбивку по регионам, которую сделала команда Четти.