Мартин Форд - Роботы наступают

Система написания нарративных текстов Quill — лишь один из многих примеров нового прикладного ПО, разрабатываемого с целью обеспечения максимально эффективного использования тех огромных объемов данных, которые собирают и хранят частные компании, организации и государственные органы повсюду в мире. По некоторым оценкам, общий объем хранимых в мире данных в настоящее время измеряется тысячами экзабайт (1 экзабайт равен 1 млрд гигабайт); причем эта величина постоянно растет в соответствии с законом, напоминающим закон Мура, удваиваясь приблизительно каждые три года {121}. Почти все эти данные сегодня хранятся в цифровом формате, а значит, компьютеры могут работать с ними напрямую. Одни только серверы Google ежедневно обрабатывают около 24 петабайт (1 петабайт равен 1 млн гигабайт) данных, главным образом относящихся к поисковым запросам миллионов пользователей {122}.

Все эти данные поступают из множества разнородных источников. Если взять один только Интернет, это будут данные о посещениях сайтов, поисковых запросах, сообщениях электронной почты, общении в социальных медиа, переходах по рекламным ссылкам и многое, многое другое. Если брать бизнес-сектор, то следует упомянуть данные о транзакциях, договорах с клиентами, внутренних коммуникациях, а также данные из финансовых, бухгалтерских и маркетинговых систем. На заводах, в больницах, автомобилях, самолетах и бесчисленных устройствах бытового и промышленного назначения непрерывно собираются данные в режиме реального времени.

Подавляющее большинство этих данных представляют собой то, что специалисты по компьютерным вычислениям называют «неструктурированными» данными. Другими словами, они поступают в различных форматах, которые трудно поддаются сопоставлению или сравнению. Это очень сильно отличает их от содержимого традиционных реляционных баз данных, в которых информация хранится в виде аккуратно упорядоченных строк и столбцов, что обеспечивает высокую скорость, надежность и точность поиска. Обработка неструктурированных данных потребовала создания новых инструментов, специально предназначенных для углубленного анализа информации, собранной из различных источников. Стремительный прогресс в этой области — всего лишь еще один пример того, как компьютеры, пускай и в довольно упрощенной форме, учатся делать то, что совсем недавно было доступно только людям. Все-таки способность непрерывно обрабатывать поток неструктурированной информации из множества различных источников во внешней среде всегда относилась к числу уникальных для человека механизмов адаптации. Разница, разумеется, в том, что человек никогда не сможет оперировать большим объемом данных в тех же масштабах, что и компьютеры. Большие данные оказывают революционное воздействие на широкий круг областей, включая бизнес, политику, медицину и практически все группы естественных и социальных наук.

Благодаря большим данным крупнейшие ретейлеры могут получить небывало подробное представление о покупательских предпочтениях отдельных потребителей, что дает им возможность формулировать адресные предложения и тем самым увеличивать собственную выручку, при этом повышая лояльность клиентов. Полицейские по всему миру обращаются к алгоритмическому анализу для прогнозирования наиболее вероятных мест и периодов совершения преступлений и распределяют свои силы в соответствии с полученными результатами. На специальном портале жители Чикаго могут ознакомиться как с ретроспективными, так и с актуальными данными, относящимися к самым разным сферам жизни и отражающими самые разные аспекты существования в большом городе, включая потребление энергии, уровень преступности, показатели эффективности работы транспортной инфраструктуры, школ, учреждений здравоохранения и даже количество выбоин и ям на дорогах, которые латали в конкретный период времени. Благодаря инструментам, которые реализуют новые способы визуализации данных, полученных путем анализа общения в социальных медиа, а также поступающих с датчиков, встроенных в двери, турникеты и эскалаторы, градостроители и сотрудники городской администрации могут наблюдать за тем, как люди перемещаются, работают и общаются в пределах городской среды, получая возможность оперативно корректировать свои действия с целью повышения эффективности работы городских служб и создания максимально комфортных условий для жизни.

Однако у этой тенденции есть и обратная сторона. Деятельность компании Target, Inc. является примером куда более спорного подхода к использованию огромных массивов чрезвычайно подробных данных о клиентах в коммерческих целях. Эта компания наняла специалиста по анализу и обработке данных, который обнаружил сложный набор корреляций, позволяющих с очень большой долей вероятности предсказывать наличие беременности на раннем сроке у покупательниц на основе анализа продаж по двадцати пяти различным видам косметической и медицинской продукции. Проводимый компанией анализ был настолько точным, что даже позволял с высокой степенью точности определять срок беременности у конкретной женщины. Получив эти данные, сотрудники Target начинали забрасывать женщин предложениями о покупке товаров для беременных, да еще и на столь раннем сроке, что во многих случаях ближайшее окружение женщины даже не знало о ее положении. В начале 2012 г. в The New York Times была опубликована статья, в которой рассказывалось об одном любопытном случае: ничего не подозревавший отец девочки-подростка пожаловался руководству магазина на неподобающие рекламные материалы, присылаемые на почтовый адрес семьи, а потом узнал, что сотрудники Target фактически были лучше осведомлены о жизни его дочери, чем он сам {123}. Некоторые критики опасаются, что эта не самая приятная история — лишь начало и что большие данные все чаще и чаще будут использоваться для получения информации, которая может нарушать неприкосновенность частной жизни или даже угрожать свободе.

Выводы, получаемые при анализе больших данных, как правило, основываются исключительно на корреляциях и ничего не говорят о причинах изучаемого феномена. Алгоритм может выяснить, что если A соответствует действительности, то и B, скорее всего, тоже верно. Но он не способен установить причинно-следственную связь между A и B и уж тем более не может установить, обусловлены ли A и B каким-либо иным внешним фактором. Во многих случаях, однако, и в особенности в мире бизнеса, где абсолютным критерием успеха является прибыльность и эффективность, а не глубина понимания, даже простая корреляция сама по себе может представлять очень большую ценность. Большие данные могут стать для менеджмента источником подробнейших сведений по самому широкому кругу вопросов: все — от параметров работы каждого отдельного станка до общих результатов работы международной корпорации — может быть потенциально подвергнуто анализу с такой степенью подробности, которая прежде была просто невозможна.