Cет Cтивенс-Давидовиц - Все лгут. Поисковики, Big Data и Интернет знают о вас всё

Многие люди читали различные части будущей книги и давали полезные комментарии. Я благодарю Эдуардо Асеведо, Корен Апичелла, Сэма Ашера, Дэвида Катлера, Стивена Дабнера, Кристофера Глазека, Джессику Голдберг, Лорен Голдман, Аманду Гордон, Якоба Лешно, Алексея Пейсаховича, Ноя Поппа, Рамона Руйяра, Грега Собольски, Эвана Солтаса, Ноя Стивенс-Давидовица, Лорен Стивенс-Давидовиц и Джейн Янг. Вообще-то Джейн была моей лучшей подругой в то время, когда я писал эту книгу, за что я особенно ей благодарен.

Я благодарю за помощь в сборе данных Бретта Голденберга, Джеймса Роджерса и Майка Уильямса из MindGeek, Роба Маккууна и Сэма Миллера из Baseball Prospectus. Я благодарен Фонду Альфреда Слоуна за финансовую поддержку.

Во время написания этой книги в какой-то момент я серьезно застрял – настолько, что был готов бросить все и отказаться от проекта. Тогда мы с отцом, Митчеллом Стивенсом, поехали в деревню. В течение недели папа заставил меня собраться. Он брал меня с собой на прогулки, во время которых мы обсуждали любовь, смерть, успех, счастье и текст книги. А позже он сел рядом со мной и заставил заново просмотреть каждое предложение книги. Я бы не смог закончить этот труд без него. Все ошибки, безусловно, мои собственные.

Неофициальное название законов о расовой сегрегации в США в период с 1890 по 1964 год. – Прим. ред.

Приложение Google Trends – источник большей части данных, содержащихся в моей работе. Однако, поскольку оно позволяет лишь сравнивать относительную частоту разных запросов, но не сообщает точное их число по какому-либо конкретному виду поиска, я обычно дополнял его результаты данными, полученными из Google Adwords – сервиса, который показывает, как часто осуществлялся каждый поиск. В большинстве случаев мне также удалось улучшить четкость изображения с помощью моего собственного алгоритма, написанного на базе Google Trends, который я описал в своей диссертации «Опыт использования данных Google», и в моей статье для Journal of Public Economics – «Уровень расовой неприязни к чернокожему кандидату: на основе данных, полученных с помощью Google». Диссертация, статья, полное объяснение данных и код, использовавшийся во всех оригинальных исследованиях, представленных в этой книге, доступны на моем сайте: sethsd.com. – Прим. авт.

Сокр. от Knickerbockers – нью-йоркская баскетбольная команда (НБА). – Прим. ред.

Ku Klux Klan ( англ. ) – Ку-клукс-клан. – Прим. ред.

В ориг. – Big Data – Прим. ред.

Это способ определить, насколько точно созданная модель соответствует данным. – Прим. ред.

Если начистоту: вскоре после завершения этого исследования я переехал из Калифорнии в Нью-Йорк. Использовать факты для понимания того, что следует сделать – легко. Сделать это на самом деле – довольно сложно. – Прим. авт.

Средний рост игрока НБА – 201 см, средний рост американского мужчины – 179 см*. – Прим. авт.

* Carmen R. Isasi et al., «Association of Childhood Economic Hardship with Adult Height and Adult Adiposity among Hispanics/Latinos: The HCHS/SOL Socio-Cultural Ancillary Study», PloS One 11, no. 2 (2016); Jane E Miller and Sanders Korenman, «Poverty and Children’s Nutritional Status in the United States» («Бедность и детское питание в США»), American Journal of Epidemiology 140, no. 3 (1994); Harry J. Holzer, Diane Whitmore Schanzenbach, Greg J. Duncan, and Jens Ludwig, «The Economic Costs of Childhood Poverty in the United States» («Экономические последствия нищеты у детей в Соединенных Штатах»), Journal of Children and Poverty 14, no. 1 (2008).

Первоначальная версия Google Flu имела существенные недостатки, поэтому исследователи недавно создали намного более успешную модель. – Прим. авт.

В 1998 году, если вы искали «машина» в популярной до-Google поисковой системе, вас завалили бы адресами порносайтов*. Там было написано слово «машина» – часто белыми буквами на белом фоне, – чтобы обмануть поисковик. В результате эти сайты получали несколько дополнительных кликов от людей, желавших купить автомобиль, но отвлекшихся на порно. – Прим. авт.

* Sergey Brin and Larry Page, «The Anatomy of a Large-Scale Hypertextual Web Search Engine» («Анатомия крупномасштабной гипертекстовой поисковой системы»), 7-я Международная конференция, посвященная Всемирной сети, 14–18 апреля 1998 года, Брисбен, Австралия.

Старейшее и самое почетное студенческое братство в США. – Прим. ред.

Вот одна из теорий, над которыми я работаю: большие данные подтверждают все, что говорил покойный Леонард Коэн. Например, однажды он дал своему племяннику следующие советы по ухаживанию за женщинами*: «Слушай внимательно. Затем послушай еще немного. И когда ты решишь, что наслушался вдоволь, послушай еще». Похоже, именно это ученые и подтвердили своими исследованиями. – Прим. авт.

* Daniel A. McFarland, Dan Jurafsky, and Craig Rawlings, «Making the Connection: Social Bonding in Courtship Situations» («Создание связей: социальные связи в ситуациях ухаживания»), American Journal of Sociology 118, no. 6 (2013).

Еще одной причиной лжи* является стремление просто напакостить исследователям. Хотя в обычной жизни это не такая уж большая проблема, она огромна для любых опросов, связанных с подростками – и принципиально усложняет нам возможность разобраться в поведении этой возрастной группы. Первоначально ученые обнаружили взаимосвязь: приемные дети (подростки) чаще ведут себя асоциально – в частности принимают наркотики, выпивают, прогуливают школу. Но последующие исследования показали, что эту взаимосвязь полностью сочинили 19 % подростков, назвавших себя приемными, не будучи таковыми. Дальнейший анализ опросов выявил, что значительный процент подростков сообщил во время исследования, что их рост – более семи футов (213,5 см), а вес – более 400 фунтов (181,5 кг). В ходе другого опроса выяснилось, что 99 % студентов, сообщивших о том, что у них установлены протезы, просто решили подшутить над учеными-исследователями. – Прим. авт.

* Anya Kamenetz, «Mischievous Responders’ Confound Research on Teens» («Хулиганство респондентов, ошибочные исследования подростков»), nprED, 22 мая 2014 года, http://www.npr.org/sections/ed/2014/05/22/313166161/mischievous-responders-confound-research-on-teens. Исходные исследования, обсуждаемые в данной статье – Joseph P. Robinson-Cimpian, «Inaccurate Estimation of Disparities Due to Mischievous Responders» («Неточная оценка неравенства из-за хулиганства респондентов»), исследователь в области образования Education al Researcher 43, №. 4 (2014).

Некоторые могут считать оскорбительным то, что я ассоциирую увлечение Джуди Гарленд с предпочтением заниматься сексом с мужчинами – даже в шутку. И я, конечно, не имею в виду, что все геи – или даже их большинство – увлечены дивами. Но поисковые данные показывают: в этом стереотипе что-то есть. По моим оценкам, человек, ищущий информацию о Джуди Гарленд, в три раза чаще ищет и гей-порно, чем обычное. Большие данные говорят нам, что некоторые стереотипы все же справедливы. – Прим. авт.