Алексей Благирев - Big data простым языком [litres]

Большая часть данных, доступных сегодня для исследований и монетизации, была создана или собрана за последние несколько лет, и данные продолжают расти со скоростью 50 000 ГБ/сек [29] По оценке Emeritas, одного из ведущих американских агентств по исследованию данных и расчета жизненного цикла для клиента (customer lifetime value). . Такие объемы дают определенное конкурентное преимущество при построении новой бизнес-стратегии, но лишь малая часть компаний успела трансформировать свою внутреннюю культуру для эффективной работы с данными на всех уровнях.

В свою очередь, технологии для обработки и хранения данных стали максимально доступными и экономичными. К 2050 году, когда население Земли достигнет 9,6 миллиардов человек, все объекты вокруг будут связаны в единую сеть обмена данными.

Быть успешной компанией, уметь рассчитывать показатели, планировать и ставить задачи стало невозможным без взаимодействия с данными, – с учетом того, что в скором времени большая части таких сервисов станет «коммодити» [30] Товар или услуга, которые предоставляются различными конкурирующими компаниями, но качество товара или услуги при этом никак не меняется. . Чтобы достичь этого, с одной стороны, организации необходимо выровнять единое понимание, что такое данные и какую ценность они создают для конкретной компании. С другой стороны, работа с данными требует скрупулезности и аккуратности. При развитии навыков и компетенций работы с данными, например при машинном обучении, происходит обособление от такой науки как статистика. Возникают постоянные барьеры коммуникаций, сводящие к минимуму возможность успешной кооперации.

Такие барьеры приводят к одной из важнейших проблем в управлении данными – департаменты внутри корпораций работают в формате «Silos» [31] Data Silos – или резервуар данных, это фиксированные данные, которые находятся под контролем одного департамента и не передаются другим департаментам. – с изолированными хранилищами данных, которые возникают естественным образом в крупных организациях. По сути, речь идет о «подстольном» BI-хранилище, которое стоит практически у каждого отдельного департамента, и, как показала моя практика, это явление весьма частое. Такие Silos делают невозможным достижение и создание «Единого хранилища данных».

Silos возникают, когда департаменты конкурируют друг с другом. Важно понимать, что основу такой конкуренции создает внутренняя культура организации, поэтому стимулирование внутренней конкуренции вредит стратегии данных. Можно даже утверждать, что вероятность совместить такие организации, где поддерживается и стимулируется конкуренция со стратегией данных, крайне низкая.

Silos как явление существуют не только внутри организации. Если рассмотреть несколько отраслей, например, производство и банкинг, то здесь данные изолированы и хранятся только внутри производственного контура. Банк с наименьшей вероятностью сможет получить доступ к данным производства, хотя как раз получение данных дает возможность разработки и создания «цифрового двойника» производства и моделирования новых финансовых продуктов с использованием данных, таких как гарантии или производственный овердрафт, без необходимости сбора бумаг или отчетности. Именно поэтому фактор культуры и устранения барьеров коммуникации является одним из ключевым при построении дата-центрированной бизнес-модели.

Пример моей стратегии по управлению качеством данных на основе выделенных доменов (блоков данных)

Ряд экспертов [32] Garded Goh, Status и другие. предлагает несколько решений по гармонизации и трансформации культуры организации:

• Открытость– сотрудников стимулируют делиться данными, высказывать идеи и поощряют за помощь в исследованиях данных других департаментов и за их использование.

• Top-downменеджмент напрямую координирует и на своем примере показывает важность совместной работы с данными.

• Холократичность– сведение всех ключевых заинтересованных лиц в круг влияния по примеру компании Zappos; формирование «плоских» или одноранговых команд для работы над аналитическими сервисами с использованием данных.

• Стройте сервисы– переход на сервисную модель работы с данными, позволяющий стандартизировать и выравнивать понимание того, как должен выглядеть тот или иной сервис.

• Фокусируйтесь на драйверах [33] По версии Harward Business Review. [34] . – определение драйверов, которые приводят к появлению Data Silos, такие как:

◊ Множество и различие платформенных решений и компетенций– когда внутри одной организации существуют одновременно много различных платформ по работе с данными.

◊ Политические– борьба за сферы влияния приводит к тому, что информация используется как основной инструмент для разделения влияния.

◊ Неравномерный рост– быстрый рост компании или неорганические приобретения различных бизнес групп приводят к тому, что возникают отличные интерпретации того, как использовать данные.

◊ Сфокусированность на вендоре– каждый из вендоров имеет внутри своего решения уникальную модель данных. Многие из них строят изолированные экосистемные решения, которые не умеют находить общий язык с решениями других вендоров. Сегодня стандартизированы только интерфейсы без интерпретации.

По версии Digital Impact [35] Организована при поддержке Stanford Center on Philanthropy and Civil Society (Stanford PACS, Bill & Melinda Gates Foundation, трейдинговой компанией Liquidnet, и Knight Foundation). предлагается, наоборот, рассмотреть ряд нестандартных приемов по трансформации культуры организации:

• Предложить сотрудникам делать скетчи с историямипро данные. Сотрудники изучают данные и пробуют рассказать историю, для этого организуются регулярные питчи внутри компании в специально отведенное время (так называемые DemoDay).

• Построить скульптуру данных, которая будет представлять те или иные данные. Необходимо подумать и сконструировать решение, которое в том числе будет привлекать внимание других сотрудников и поможет впоследствии рассказать историю #datasculpture.

• Начать формулировать аргументыс использованием данных во время дискуссии или обсуждения.

Анализируя структуру навыков и требований к современному Data Scientist [36] По версии Medium.com. [37] . (которая, кстати, уже тоже устарела, так как на смену работе с Hadoop пришел Spark для работы с NoSQL БД), можно выделить ряд ключевых ожиданий.