Сюзан Чишти - Финтех

Это началось вначале 2010-х гг. с заметного успеха Salesforce.com, но развитие идет медленно и занимает больше времени, чем планировалось, из-за влияния следующих факторов:

• архитектура больших данных – это радикальное изменение парадигмы, внедрение требует новых знаний и новых людей;

• варианты использования в интернет-отрасли значительно отличаются от использования на предприятиях;

• уровень достоверности технологии, используемой в мире Интернета, ниже (зачастую ошибочно), чем в любой другой отрасли, особенно в сфере банковских услуг.

Большинство банков внедрило технологию больших данных с разными результатами, зачастую зависящими от бизнес-процесса, для которого требовалась технология. Самые близкие к миру Интернета и самые простые для внедрения:

• маркетинг;

• знай своего клиента (ЗСК);

• выявления мошенничества.

Системы надзора за правовым соответствием выполняемых операций нуждаются как в целостности данных, так и в работе в режиме реального времени, чтобы отвечать действующему законодательству. Устаревшие технологии были способны управлять данными на основе системного подхода и в режиме реального времени на протяжении последних 30 лет – к сожалению, с сильными ограничениями. Технология больших данных не предоставляет готовую к использованию целостность данных, полученных в режиме реального времени, что и становится проблемой.

Совмещение актуальности и целостности данных для больших данных – задание для инженеров, которое было решено при помощи технологий Scaled Risk. Технологии больших данных как предложение новой архитектуры основывается на прорывных вычислениях с открытым подходом (т. е. распределенная система недопустима). Открытая парадигма – это цена, которую необходимо заплатить за почти неограниченную расширяемость системы, что означает неограниченность:

• хранилища;

• вычислительных мощностей;

• возможностей кэширования.

Синхронизация времени по всему кластеру – это секрет своевременного предоставления полностью открытой последовательности данных. Этот подход, во многом вдохновленный технологией Spanner от Google ( http://research.google.com/archive/spanner.html), предоставляет информацию на любую дату, начиная с одной секунды, прошедшей с настоящего момента. Эта задержка может быть сокращена при помощи аппаратного обеспечения для особой синхронизации времени.

Стандартные актуальные большие данные тоже нуждаются в улучшении, потому что они имеют разное значение в мире Интернета и в сфере банковских услуг. Если «интерактивный» – это хороший синоним для предыдущего «управляемый событиями» и «способный оповещать», это то, чего ожидают последние. Технологии Scaled Risk внедряют как последние инновации из сферы больших данных, так и старые рецепты, которые использовались с начала 1990-х гг. для получения актуальных каналов финансовых данных.

По определению система надзора за соответствием нуждается в сборе данных как из внутренних, так и из внешних источников, которыми могут стать:

• трейдинговая система;

• данные о рынке;

• вспомогательные данные и СУОК;

• внешние финансовые данные;

• актуальные и исторические новости;

• данные о правительстве [Управление по контролю над иностранными активами казначейства США, Акт о добросовестном и точном проведении кредитных операций, Правила регулирования инфраструктуры европейского финансового рынка, закон Додда – Фрэнка (Dodd – Frank)] и многие другие.

Данные, необходимые для надзора за нормативно-правовым соответствием, не только увеличиваются в объеме, но и становятся все более сложными. Вкратце, технология больших данных устраняет два главных недостатка устаревших технологий: отсутствие гибкости и эластичности, а также возможности расширения сети.

Благодаря эластичности и расширяемости инфраструктура может адаптироваться на ходу.

Информационные системы должны уметь справляться с внезапными переменами в бизнесе за счет регулирования и корпоративного управления. Способность к быстрой адаптации очень трудно реализовать в системе управления реляционными базами данных (СУРБД), даже для одного отделения банка. Системы надзора за соблюдением правовых норм по своей природе централизуют многочисленные потоки информации из разных стандартов и форматов. Обработка необходимых, но многочисленных изменений в системе источников, – невыполнимая миссия, если использовать СУРБД и ETL-решения.

Технологии больших данных предлагают прорывной подход к схеме управления данными, потому что данные и соответствующие структуры данных хранятся и управляются отдельно друг от друга. Основной подход, используемый технологиями в отношении больших данных, полагается на схемы данных для чтения, это означает, что данные хранятся в формате, управляемом приложением. Этот подход предоставляет больше гибкости, потому что схемы данных могут просто меняться. Но в таком варианте есть недостаток, потому что он предлагает ограниченную видимость данных: все спрятано за кодом.

В 2012 г. Scaled Risk представили гибридный подход, основанный на Schema on read, но улучшенный:

• реализацией схемы данных поверх метамодели;

• возможностью Schema on read положиться на несколько схем данных;

• возможностью Schema on read автоматически запускать преобразование типов.

Этот гибридный подход значительно уменьшил обычные расходы на внедрение централизованного хранилища данных на начальной стадии, а также при дальнейших его обновлениях.

Эластичность и расширяемость – это главные прорывы, привнесенные технологией больших данных. Обеспечение настоящей открытой распределенной архитектуры позволяет приложениям, использующим большие данные, предлагать неограниченные:

• хранилища данных;

• вычислительные возможности;

• кэширование (внутри памяти).

Внедрение регуляторной системы вызывает множество вопросов, как это было в веб-отрасли:

• до какого уровня сложности будут развиваться данные;

• как быстро будут увеличиваться объемы данных;

• понадобятся ли им больше вычислительных мощностей (например, вальвация);

• нужно ли им быть быстрее (например, закон Додда – Фрэнка и центры обмена информацией)?

Эффективная система надзора за нормативно-правовым соответствием должна уметь сочетать данные, которые банк уже хранит в своей внутренней системе, предоставленные третьими сторонами, и публично доступные данные (социальные сети, Интернет). Например, при помощи этих источников данных можно распознать отмывание денег путем корпоративных закупок: