Кэти О'Нил - Убийственные большие данные. Как математика превратилась в оружие массового поражения

Отказ признавать наличие риска – давняя традиция в мире финансов. Культуру Уолл-стрит определяют ее трейдеры, а риски – это то, что они постоянно недооценивают. Это результат того, что мы оцениваем профессионализм трейдера по его «коэффициенту Шарпа»: он рассчитывается как отношение прибыли, которую приносит трейдер, к стандартному (среднеквадратичному) отклонению для его портфеля [4] Коэффициент Шарпа показывает, насколько хорошо риск компенсируется доходностью актива. При одинаковом ожидаемом доходе актив с более высоким коэффициентом Шарпа считается менее рискованным. . Этот коэффициент критически важен для карьеры трейдера, его ежегодного бонуса, его самооценки. Если мы лишим этих трейдеров их физических тел и начнем воспринимать их исключительно как набор алгоритмов, эти алгоритмы будут постоянно сосредоточены на оптимизации коэффициента Шарпа. В идеале он будет расти – или, по крайней мере, не падать слишком низко. Поэтому, если один из отчетов по рискованности свопов кредитного дефолта поднимет степень риска одного из ключевых вкладов трейдера, его коэффициент Шарпа упадет. Это может стоить ему сотен тысяч долларов, когда дело дойдет до расчета его ежегодного бонуса.

Очень быстро я осознала, что занимаюсь просто штамповкой привычных решений. В 2011 году настало время снова сменить работу – и я увидела, что рынок для математиков вроде меня стремительно расширяется. В то время мне было достаточно напечатать два слова в моем резюме – и я уже была провозглашена новым специалистом по обработке информации, готовым погрузиться в мир онлайн-экономики. В результате я оказалась в нью-йоркском стартапе под названием Intent Media .

Начала я с разработки моделей, которые предсказывали поведение посетителей сайтов, посвященных путешествиям. Ключевой вопрос заключался в том, с какой целью кто-то заходит на сайт Expedia : просто посмотреть на картинки или собирается в самом деле потратить деньги? Те, кто не собирался ничего покупать, мало что значили в качестве потенциального источника дохода. Поэтому таким пользователям мы показывали рекламу фирм-конкурентов – Travelocity или Orbitz . Если посетитель кликал по рекламе, это приносило нам несколько центов – лучше, чем ничего. Однако мы не собирались показывать эти объявления серьезным покупателям. В худшем случае мы получали десяток центов дохода за размещение рекламы – и посылали при этом потенциальных клиентов к конкурентам, где они могли оставить тысячи долларов за гостиничные номера в Лондоне и Токио. Понадобились бы тысячи просмотров рекламных объявлений, чтобы возместить хотя бы несколько сотен долларов из упущенной прибыли от этих клиентов. Поэтому было крайне важно удержать их на нашем сайте.

Моей задачей была разработка алгоритма, который мог бы отличить созерцателя витрин от покупателя. Ориентироваться при этом можно было на несколько очевидных сигналов. Зарегистрировался ли человек на сайте? Совершал ли он уже покупки? Я также обращала внимание и на другие факторы, например на время дня и дату. Определенные недели были особенно урожайными. Например, один из пиков приходился на День поминовения в середине весны, когда огромное количество людей практически одновременно определялись со своими планами на лето. Мой алгоритм придавал больше ценности покупателям в течение подобных периодов: в это время повышалась вероятность, что они действительно что-то купят.

Принципы работы статистики, как выяснилось, было очень легко перенести из хедж-фондов в онлайн-коммерцию: самой большой разницей было то, что вместо движений в рынке я теперь предсказывала клики конкретных людей.

На самом деле я увидела огромное количество параллелей между финансами и Большими данными. Обе индустрии черпают работников из одного и того же кадрового резерва: в основном из элитных университетов, таких как Массачусетский технологический институт (MIT), Принстон или Стэнфорд. Эти новые работники отчаянно стремятся к успеху и всю жизнь сосредоточены на внешних количественных показателях, таких как результаты SAT [5] Scholastic Assessment Test – стандартизованный тест для приема в американские вузы. По мнению образовательной организации College Board , хорошие результаты SAT вкупе с высоким средним баллом за освоение школьной программы лучше отражают готовность к обучению в вузе, чем просто средний балл. (академических оценочных тестов) и поступление в колледжи. В области как финансов, так и технологий они получают один и тот же месседж: они разбогатеют и будут править миром. Их продуктивность демонстрирует, что они на правильном пути, и это конвертируется в долларовый эквивалент. Успех приводит к ложному выводу: все, что они делают, чтобы заработать больше денег, – это хорошо. Они таким образом «создают добавленную ценность». Иначе за что бы их вознаграждал рынок?

В обеих культурах богатство больше не представляет собой средство выживания. Оно напрямую привязывается к ценности отдельно взятой личности. Молодой обитатель пригорода, обладающий массой преимуществ (образование в частной школе, усиленная подготовка к вступительным экзаменам в колледж, семестр за границей – в Париже или Шанхае), все равно тешит себя иллюзией, что в мир привилегий он попал благодаря собственным талантам, усиленной работе и выдающимся способностям в области решения проблем. Деньги уничтожают любые сомнения. А другие члены его круга подыгрывают ему, создавая сообщество взаимного восхищения. Они с радостью доказывают нам, что представляют собой продукты работы дарвиновского естественного отбора, тогда как со стороны это выглядит как комбинация слепой удачи и выигрыша у системы.

В обеих индустриях реальный мир со всеми его проблемами воспринимается с большой дистанции. Работающие в них люди стремятся подменить людей наборами данных, превратить их в более эффективных покупателей, избирателей или работников, чтобы оптимизировать какую-нибудь цель. Это совсем легко сделать и оправдать, когда успех приходит в виде безличного результата и когда задействованные люди остаются такими же абстракциями, как цифры на экране.

Параллельно с работой в области обработки данных я уже вела свой блог – и все больше была вовлечена в движение «Захвати Уолл-стрит». Все больше и больше меня беспокоило отчуждение технических моделей от реальных людей – и моральные последствия этого отчуждения. На самом деле я видела появление того же механизма, который я наблюдала в мире финансов: ложное чувство безопасности, которое вело к распространению далеких от совершенства моделей, определения успеха, которые служили оправданиями самим себе, и растущие петли обратной связи. Людей, которые пытались противодействовать этим процессам, обзывали ностальгирующими луддитами.