Кэти О'Нил - Убийственные большие данные. Как математика превратилась в оружие массового поражения

Но принятие решений человеком при всех недостатках имеет одно большое достоинство. Оно может эволюционировать. Человеческие существа учатся и адаптируются – и с ними меняются наши процессы. Автоматические же системы застревают в неизменном состоянии, пока инженеры как-то их не меняют. Если бы модель Больших данных по приему в колледжи была создана в начале 1960-х, многие женщины до сих пор не получали бы высшее образование, потому что модель в основном ориентировалась бы на успешных мужчин. Если бы музеи в то же время оформили в виде кода общепринятое представление о том, что такое великое искусство, мы до сих пор любовались бы практически исключительно на работы белых мужчин – людей, которых спонсировали богатые покровители. И, конечно, даже не стоит упоминания, что футбольная команда Алабамского университета была бы по-прежнему исключительно белой.

Процессы, основанные на Больших данных, кодифицируют прошлое. Они не изобретают будущее. Чтобы сделать последнее, нужно моральное воображение – то, чем обладают только люди. Нам нужно, безусловно, включать главные ценности в наши алгоритмы, создавать такие модели Больших данных, которые будут следовать за нашим этическим развитием. Иногда это будет означать приоритет справедливости над прибылью.

В каком-то смысле сейчас наше общество столкнулось с новой промышленной революцией. И мы уже можем извлечь из нее некоторые уроки. Начало XX века было временем небывалого прогресса. Люди смогли осветить свои дома электричеством и согреть их углем. Железные дороги отправляли на экспорт мясо, овощи и консервы. Для многих людей хорошая жизнь становилась еще лучше.

И в то же время этот прогресс имел не столь красивую изнанку. Он обеспечивался чудовищной эксплуатацией рабочих, причем многие из них были детьми. В отсутствие нормального здравоохранения и правил техники безопасности угольные шахты были смертельными ловушками. В одном только 1907 году погибли 3242 шахтера. На бойнях люди работали по 12–15 часов в день, в антисанитарных условиях, и мясные продукты, которые отправлялись с этих боен, часто тоже были отравлены. Компания Armour поставила в армию Соединенных Штатов тонны испорченной консервированной тушенки, заглушив запах тухлятины с помощью борной кислоты. Тем временем ненасытные монополисты узурпировали железные дороги, энергетические компании и городскую инфраструктуру и взвинтили ставки для потребителей до такой степени, что это стало настоящим налогом на всю национальную экономику. Было очевидно, что свободный рынок не может справиться с этими злоупотреблениями. И лишь когда такие журналисты, как Ида Тарбелл и Эптон Синклер, вскрыли эти и подобные проблемы, в ситуацию вмешалось государство. Оно установило протоколы техники безопасности и санитарные инспекции по контролю качества пищи, а также запретило детский труд. С ростом движения профсоюзов, а также принятием законов, которые их охраняли, наше общество двинулось в сторону восьмичасового рабочего дня и двух выходных в неделю. Эти новые стандарты защищали компании, которые не хотели эксплуатировать работников или продавать испорченную еду, потому что конкурентам приходилось следовать тем же правилам. И хотя это, без сомнения, повысило стоимость ведения бизнеса, общество в целом выиграло. Очень немногие из нас хотели бы вернуться во времена до принятия этих норм.

Как нам приступить к регулированию математических моделей, которые все больше управляют нашими жизнями? Я бы предложила начать с самих создателей этих моделей. Как и врачи, специалисты по анализу данных должны давать нечто вроде клятвы Гиппократа, сосредоточенной на возможных ошибках в использовании и интерпретации моделей. После краха 2008 года два финансовых аналитика, Эммануэль Дерман и Пол Уилмотт, составили такую клятву. Она гласит:

Я буду помнить о том, что не я сотворил мир – и он не укладывается в мои уравнения. Хотя я буду смело использовать модели, чтобы оценивать стоимость, я не буду слишком сильно попадать под влияние математики. Я никогда не пожертвую реальностью ради элегантности, не объяснив, почему я так поступаю. Также я никогда не буду уверять людей, которые пользуются моей моделью, в том, что она абсолютно точна. Вместо этого я подробно расскажу о погрешностях и недостатках модели. Я понимаю, что моя работа может иметь огромные последствия для общества и экономики и многие из этих последствий окажутся за пределами моего понимания.

Это хорошая философская основа. Но твердые моральные устои и самоконтроль – удел лишь порядочных. Более того, клятва Гиппократа игнорирует постоянное давление, которое часто оказывается на специалистов по анализу данных, когда начальники заставляют их выдать конкретные ответы. Чтобы уничтожить ОМП, недостаточно установить идеальные правила игры в одной только области Больших данных. Наши законы тоже нуждаются в переработке. А чтобы это произошло, мы должны пересмотреть наши критерии успеха.

Сегодня успех модели зачастую оценивается по параметрам прибыльности, эффективности или процента неудач. Это всегда нечто, что можно посчитать. Однако что именно нам нужно считать? Давайте рассмотрим следующий пример. Когда пользователь ищет в интернете информацию о продовольственных талонах, поисковик часто показывает ему рекламу лидогенераторов [22] Лидогенераторы ( lead generators ) – маркетинговые инструменты, побуждающие клиента совершать на сайте как можно больше лидов (leads ) – активных действий, по которым затем можно будет составить (и продать) профиль потребителя. Примеры лидов – регистрация на сайте, заполнение какой-либо анкеты, прохождение теста, отправка заявки и т. п. – Примеч. ред. типа FindFamilyResourses из города Темпе, штат Аризона. Этот сайт выглядит вполне официально и предлагает заполнить подлинные государственные анкеты. Но он также собирает имена и адреса электронной почты, чтобы затем использовать для хищнической рекламы, включая рекламу коммерческих колледжей. Он получает немалую прибыль, навязывая избыточные услуги людям, многие из которых вскоре будут атакованы предложениями услуг, которые они вряд ли могут себе позволить.

Успешен ли этот бизнес? Зависит от того, что считать успехом. Каждый клик на объявление приносит Google 25 или 50 центов – а иногда даже доллар или два. Это успех. И, конечно, лидогенераторы тоже делают деньги, так что колеса коммерции вовсю крутятся.

В то же время с точки зрения пользы для общества обычный интернет-поиск каких-либо услуг правительства, образно говоря, рисует большие мишени на спинах бедняков, обольщая часть из них лживыми обещаниями, и в результате все это кончается кредитом под гигантский процент. Даже если смотреть исключительно с экономической точки зрения, это явное истощение нашей системы. Сам факт, что людям нужны продуктовые талоны, в первую очередь демонстрирует провал рыночной экономики. Правительство, используя доллары налоговых поступлений, пытается как-то это компенсировать – в надежде, что люди, получающие продуктовые талоны, в будущем смогут полностью себя содержать. Но лидогенераторы подталкивают их к ненужным сделкам, зачастую оставляя в еще более глубоких долгах – и еще более нуждающимися в правительственной помощи. Оружие математического поражения, генерируя прибыль для поисковиков, собирателей потенциальных клиентов и предпринимателей, одновременно высасывает соки из экономики в целом.