Алексей Благирев - Big data простым языком [litres]

Big Data – это модная и современная технология, и часто возникает соблазн везде ее использовать.

Причины могут быть разные.

– Когда в руках молоток, все вокруг – гвозди.

– Незнание предметной области.

– Необходимость произвести впечатление на бизнес и публику. Было время, когда стартапы, не использующие «ML/AI» просто не воспринимались всерьез.

– Просто интересно попробовать новое. И в этом нет ничего плохого, если отдавать себе отчет о сроках, ресурсах и возможных последствиях.

На вопросы бизнеса зачастую можно ответить с помощью простого SQL. А бизнес-логику сделать на нескольких сценариях «если – то».

И все же, несмотря на эти проблемы, технологии продолжают развиваться и двигаться вперед.

В 1980–х появилась концепция Plug and Play (англ. включил и играй/работай). Она позволяла собрать свой домашний компьютер из отдельных деталей, у которых были стандартные интерфейсы. Облачные технологии позволяют сделать то же самое, но уже по отношению к бизнес-процессу или бизнесу в целом. Концепции Process-as-a-Service, Data-as-a-Service, Analytics-as-a-Service уже сегодня позволяют собрать как из конструктора работающую IT-систему для бизнеса.

Облака позволяют сократить затраты на инфраструктуру и ее обслуживание. Еще одно преимущество – быстрое масштабирование. При возросшей нагрузке мы можем быстро увеличить количество доступных системе ресурсов.

Ожидается, что к 2020-му году (по крайней мере) треть всех данных будет проходить через облако.

Лидеры рынка, которые способны эффективно анализировать несколько источников данных, могут использовать различные возможности для повышения эффективности работы. Крупный бизнес уже начал активно менять свои процессы и переносить данные и работу с ними в облако.

– Вся инфраструктура Pinterest находится в облаке.

– Компания Xerox использовала стратегию облачных вычислений для эффективного анализа данных и снижения скорости изнашивания в своем call-центре на двадцать процентов.

– Компания Caterpillar разрабатывает специальные облачные решения для анализа и отслеживания того, как работает ее техника в совокупности с предоставляемыми финансовыми сервисами, что позволяет существенно сократить расходы на аудит и мониторинг объектов, которые могут быть заложены в рамках сделках финансового лизинга.

– Компания Боинг в 2015 году перешла на облачную платформу. Это ускорило более чем в 100 раз работу ее служб доставки и в шесть раз увеличило утилизацию активов [149] . .

В России бизнес не всегда спешит переходить на облачные технологии. Это связано с тем, что большинство крупных облачных провайдеров – это зарубежные компании. Поэтому возникают законодательные ограничения и риски, связанные, например, с курсом валют.

Кроме того, многие традиционно не доверяют третьим лицам данные, представляющие собой коммерческую тайну.

Тем не менее, облачные решения появляются и на нашем рынке.

По мере того, как развивалась Big Data-аналитика, некоторые компании стали инвестировать в машинное обучение (ML). Машинное обучение остается одной из самых востребованных и внедряемых технологий. И она еще не исчерпала свой потенциал. По прогнозу аналитической фирмы Ovum [150] . , машинное обучение – один из главных трендов в Big Data-технологиях. Его применение будет все расширяться. От задач по бизнес аналитике оно перейдет на большинство задач по подготовке и преданализу данных. Не исключено, что ряд задач по интеграции источников данных также будет решаться с привлечением машинного обучения через анализ и интеграцию словарей (описание объектов данных в тех или иных источниках).

Предсказательная аналитика тесно связана с машинным обучением. На самом деле, системы ML часто предоставляют инструменты для аналитики интеллектуального программного обеспечения.

На заре появления Big Data компании исследовали свои данные, чтобы понять, что было в прошлом. После этого они начали использовать свои инструменты для анализа, чтобы определять причины тех или иных событий.

Прогностическая аналитика идет еще дальше. Она предсказывает, что произойдет в будущем, используя анализ Big Data. Число организаций, использующих предсказательную аналитику в 2017 году, – не очень большое, всего 29 процентов, согласно опросу 2016 года от PwC.

Тем не менее многие поставщики готовых решений представляют интеллектуальные инструменты для аналитики. И за счет их клиентов количество компаний, использующих предсказательную аналитику, может резко увеличиться.

Большая часть финансовых функций и подразделений также будет заменена алгоритмами и сервисами, позволяющими получать инсайты и ответы на регулярные вопросы со стороны владельцев бизнес-процессов о состоянии дел.

Поменяются и форматы представления данных – в сторону стандартных нотаций (например, XBRL).

Сайты компаний будут иметь интерфейсы для аналитических сервисов, которые будут позволять автоматизировать, например, отчетность для инвесторов.

Машинное обучение и технологии ИИ используются для создания приложений. Они, например, анализируют предыдущие действия пользователя, и за счет этого делают персонализированные предложения. Одним из известных примеров являются рекомендательные сервисы, которые сейчас используются множеством приложений для электронной коммерции и развлечений.

Многие компании также включают Big Data-аналитику в свою стратегию безопасности. Данные из логов организаций предоставляют информацию о прошлых попытках атак. Их можно использовать для прогнозирования и предотвращения будущих атак.

В результате, некоторые компании интегрируют свое ПО для обеспечения безопасности и управления событиями с платформами Big Data, такими как Hadoop. Другие – обращаются к поставщикам решений по безопасности, чьи продукты включают в себя большие возможности для анализа данных.

Все больше решений IoT

Интернет Вещей тоже вносит вклад в Большие данные. Согласно отчету IDC [151] . ,«31,4 процента опрошенных организаций запустили решения IoT, а 43 процента планируют развернуть их в ближайшие 12 месяцев». Со всеми этими новыми устройствами и приложениями, которые появляются в сети, данных будет еще больше, чем раньше. Многим компаниям потребуются новые технологии и системы для обработки возрастающего потока данных, поступающих из их решений IoT. Большую интеграцию и развитие также получат смежные сервисы, где данные с устройств будут использоваться для предоставления сторонних сервисов, например финансовых, таких как страхование имущества или кредитование под поставку объектов имущества.