Виталий Мальцев - Карл Маркс и большие данные

Человеческий мозг обладает и рядом недостатков: способен забывать и терять информацию, может ошибаться в расчетах и найденных зависимостях, хранит относительно небольшие массивы информации. В нашем веке на помощь ему приходят технологии и компьютеры, имеющие возможность хранить огромные объемы данных и обрабатывать их в миллионы раз быстрее человека. Однако для использования компьютером информация обязательно должна быть записана в цифровом формате, т.е. внешний мир должен быть сперва датифицирован и сохранен в виде набора цифровых данных.

В начале научно-технической революции середины ХХ века компьютер помогал человеку в основном в узкоспециализированных направлениях науки, люди собирали необходимые данные и вводили их в компьютер. С началом новой информационной эры количественный объем собираемых и накопленных данных и технологические возможности их обработки вышли на новый уровень, войдя в повседневную жизнь, став составляющей жизни каждого человека.

Сущность технологии Big Data и перспектив ее развития заключается в превращении практически любых данных в информацию. Такое превращение становится возможным благодаря накопленному количеству данных как общей системы, возможности их автоматической обработки и получения новой информации путем, например, нахождения корреляций, зависимостей и закономерностей.

Несмотря на то, что сегодня полноценно датифицирована лишь небольшая часть жизни среднего гражданина (его действия в Интернете и социальных сетях, платежи и переводы, телефонные разговоры и перемещение, больничная карточка, выражение лица перед камерой смартфона и т.д.), этого уже достаточно, чтобы, включив данные сведения в общую систему фактов, знать об индивиде намного больше, чем он знает о себе сам. Точно так же, как один человек, обладающий большими знаниями, может, посмотрев на какую-нибудь математическую формулу, узнать фундаментальные законы мироздания, а для другого эти же данные окажутся всего лишь набором непонятных символов, так и для компаний, владеющих и использующих большие данные, на первый взгляд не имеющие смысл наборы данных после обработки в общей системе обретают конкретное значение и становятся информацией. Например, изменение средней скорости гражданки по пути на работу, сегодня фиксируемой в хронологии гугл-карт каждого владельца смартфона, не скажет ей самой ничего, кроме того, что ей вдруг захотелось идти на работу чуть медленнее. Однако анализ ее недавнего времяпрепровождения, покупок, состояния погоды и нескольких тысяч других факторов, а также данных и корреляций о поведении миллионов других людей, оказавшихся в подобной ситуации, позволит точно установить, к примеру, ее беременность, даже если она еще не сообщила никому о столь важном событии, а то и вовсе сама о нем не знает. Подобное использование данных, кстати, не является фантастикой, а реальным случаем, произошедшим в США в 2012 году: отец беременной девушки узнал о ее беременности позже маркетинговой компании. Этот прецедент принято считать символическим началом эпохи больших данных. Для раннего определения беременности маркетинговой компании даже не потребовалась высокая вариативность данных, основой послужили лишь производимые девушкой покупки.

Многие данные, пока еще не нашедшие своего применения, сегодня сохраняются и будут использоваться в дальнейшем, рано или поздно создавая информацию в соединении с новыми данными. Здесь можно заметить еще одно фундаментальное и по-своему уникальное свойство данных и информации. При сложении собранных данных объем информации, который можно из них извлечь, больше, чем можно извлечь из каждой базы данных по отдельности.Пауло Коэльо говорил, что радость идет против основ математики: она умножается, когда мы ею делимся. Так вот данные, оказывается, обладают примерно таким же свойством. Подробнее об этом мы поговорим во второй главе. А сейчас пришло время рассмотреть несколько серьезных примеров применения больших данных и оценить влияние, которое они уже оказывают на экономику и нашу жизнь.

Итак, автоматизированная обработка огромных массивов данных, даже в отдельно взятых отраслях, уже сегодня дает невообразимые в недавнем прошлом результаты. Это направление активно развивают многие передовые корпорации, государства и научные сообщества, выделяя большие данные в качестве одного из ключевых векторов своего развития. Нахождение значимых корреляций и построение на основе алгоритмов причинно-следственных связей позволяет решать самые разные задачи, оптимизировать многие процессы.

Так, использование технологии больших данных в здравоохранении 16массово реализуется в развитых странах. К примеру, в США более 94% больниц уже применяют электронные карты 17, ведется массовая оцифровка старых рукописных больничных карт и совмещение полученной информации в системе больших данных. Датификация электронных карт пациента позволяет по неявным корреляциям вычислять заболевания на ранних стадиях: так, система обработки больших данных, разработанная в 2013 году членами консорциума Kaiser Permanente, позволяет производить профилактику возможного развития слабоумия у некоторых пациентов с сахарным диабетом 18. Получение и обработка данных с носимых устройств пациентов (пульсометры, специальные часы и т.д.) в сочетании с электронными медицинскими карточками дает возможность заранее предсказывать различные заболевания до проявления симптомов. Запись показателей человеческого организма в цифровом виде и анализ собранных больших данных является одним из наиболее перспективных направлений развития системы здравоохранения, способных защитить человечество от многих болезней, спасти миллионы жизней. Скажем, исследования одних лишь поисковых запросов позволили аналитикам компании Microsoft в 15% случаев выявлять рак поджелудочной железы на ранних стадиях 19. По словам консалтинговой компании McKinsey, если американское здравоохранение по-настоящему эффективно научится использовать данные, то сможет сэкономить около $300 млрд в год, а колоссальные расходы страны в этой области снизятся на 8% 20. Качественный сбор данных позволит отслеживать состояние и обслуживание пациентов, выявлять и пресекать врачебные ошибки, сократит число эпидемий и их опасность, поможет создавать новые лекарства. Оптимизация существующей системы при помощи анализа больших данных снизит затраты на работу больниц, устранит множество злоупотреблений и лишних расходов в государственных системах здравоохранения.

Разумеется, большие данные используются и в отраслях, напрямую связанных с производством.