Сет Cтивенс-Давидовиц - Все лгут. Поисковики, Big Data и Интернет знают о вас всё

Или рассмотрим информационную революцию в бейсболе в 1990-х годах. Многие команды стали использовать все более сложные виды статистики вместо того, чтобы полагаться на старомодный человеческий метод – принимать решения. Легко было измерить количество атак и подач, но не работу на поле, поэтому некоторые команды стали недооценивать важность обороны. В своей книге « The Signal and the Noise» («Сигнал и шум») Нейт Сильвер указал, что, например, «Окленд Эйс», увлекшаяся данными, занесенными в «Moneyball», в середине 1990-х проигрывала от восьми до десяти игр в год именно из-за паршивой обороны.

Решение не всегда принимается благодаря увеличению объема информации. Чтобы большие данные работали лучше, нужна особая приправа: решение человека и небольшие исследования, которые мы могли бы назвать малыми данными. В интервью с Сильвером генеральный менеджер и главный персонаж «Moneyball» Билли Бин заявил, что уже приступил к увеличению своего бюджета на сбор информации.

Чтобы заполнить пробелы в гигантском пуле данных, Facebook тоже должен был использовать старомодный подход: спрашивать людей о том, что они думают. Каждый день при загрузке новостей сотням пользователей Facebook задавались вопросы о том, что они там прочитали. Иными словами, Facebook теперь автоматически собирает данные (лайки, клики, комментарии) и дополняет их малыми данными («вы действительно хотите увидеть этот пост в своей Ленте новостей? Почему?»). Да, даже такой невероятно успешной и большой компании, как Facebook, иногда приходится использовать источник информации, всячески принижавшийся в этой книге ранее – небольшой опрос.

Действительно, из-за этого сбора малых данных в дополнение к основному массиву информации – огромному количеству кликов, лайков и постов – команда специалистов Facebook может взглянуть на статистику иначе, чем можно было предположить. В Facebook работают социальные психологи, антропологи и социологи – для поиска того, что не могут предоставить нам голые цифры.

Некоторые педагоги тоже становятся внимательнее к слепым пятнам в больших данных. Растет уровень национальных усилий по дополнению тестирования информацией, полученной из малых данных. Теперь стали широко распространены опросы студентов, возрос интерес к опросам родителей и наблюдениям за учителями (другими опытными преподавателями) во время урока.

«Руководство школьных округов понимает, что не следует сосредотачиваться исключительно на результатах тестов», – говорит Томас Кейн [219] Я брал интервью у Томаса Кейна по телефону 22 апреля 2015 года. , профессор из Гарварда. Трехлетнее исследование Фонда Билла и Мелинды Гейтс подтверждает значение в образовании как больших, так и малых данных. Авторы проанализировали, что именно модель, основанная на оценках тестов, опросы учеников или наблюдения педагогов, является наилучшим вариантом оценки качества обучения школьников. «Максимальный результат получается при объединении всех трех компонентов. „Каждый элемент вносит свой вклад в общую картину [220] Bill and Melinda Gates Foundation, «Ensuring Fair and Reliable Measures of Effective Teaching», http://k12education.gatesfoundation.org/wp-content/uploads/2015/05/MET_Ensuring_Fair_and_Reliable_MeasuresPractitionerBrief.pdf. “», – заключают авторы доклада.

Как я выяснил в Окале, штат Флорида, на встрече с Джеффом Седером, на самом деле многие операции с большими данными используют малые данные – чтобы заполнить пробелы. Напомню, Седер, получивший образование в Гарварде – гуру в мире лошадей. Он использовал уроки, извлеченные из огромного числа экспериментов, что позволило ему правильно спрогнозировать успех Американского Фараона.

Поделившись со мной информацией, а также компьютерными файлами и расчетами, Седер признался, что у него было и секретное оружие – Пэтти Мюррей.

Мюррей, как и Седер, имеет высокий интеллект и элитарное образование – диплом Брин Маур. Она также переехала из Нью-Йорка в глубинку. «Я люблю лошадей больше, чем людей», – признается Пэтти. Но Мюррей немного более традиционна в плане подхода к выбору лошадей. Она, как и многие агенты-лошадники, лично осматривает их, наблюдает, как они двигаются, проверяет их на наличие шрамов и синяков, а также беседует с их владельцами.

Затем Мюррей связывается с Седером, и они принимают окончательное решение относительно лошадей, которых будут рекомендовать. Мюррей вынюхивает проблемы коней – проблемы, которые Седер со всеми своими самыми инновационными и важными данными не отлавливает.

Я предсказываю революцию, основанную на открытиях больших данных. Но это не значит, что мы можем просто прошерстить информацию и получить ответ на любой вопрос или игнорировать этические соображения. И большие данные не исключают необходимости использования всего того, что люди развивали в течение тысячелетий, стремясь понять окружающий мир. Они просто дополняют друг друга.

Иногда возможности больших данных настолько впечатляют, что становится страшно. Это ставит перед нами этические вопросы.

Недавно три экономиста [221] Oded Netzer, Alain Lemaire, and Michal Herzenstein, «When Words Sweat: Identifying Signals for Loan Default in the Text of Loan Applications», 2016. – Одед Нецер и Ален Лемар из Колумбийского университета и Михал Херценштейн из университета Делавэр – искали способы предсказать вероятность погашения кредита заемщиком. Ученые использовали данные сайта взаимокредитования Prosper. Потенциальные заемщики указывают краткое обоснование необходимости кредита и какое обеспечение они могут предоставить, а потенциальные кредиторы решают, могут ли они предоставить деньги. В целом около 13 % заемщиков [222] Peter Renton, «Another Analysis of Default Rates at Lending Club and Prosper», 25 октября 2012, http://www.lendacademy.com/lending-club-prosper-default-rates/. не выполняют своих обязательств по кредиту.

Оказывается, язык потенциальных заемщиков является сильным прогностическим фактором вероятности возврата ими кредита. И это важный показатель – даже если кредиторы имеют возможность проконтролировать другую значимую информацию о потенциальных заемщиках, в том числе их кредитные рейтинги и доходы.

Ниже перечислены 10 обнаруженных исследователями словосочетаний, которые обычно используются при подаче заявки на кредит. Пять из них коррелируют с оплатой кредита положительно, другие пять – негативно. Иными словами, первые пять, как правило, используются людьми, которым можно доверять, а вторые пять – теми, кому не стоит верить. Посмотрите, сможете ли вы догадаться, какие где.

Бог

более низкие процентные ставки

после уплаты налогов

обещаю

оплачу

больница

свободный от задолженности