А.Челебаев - Хранение и обработка больших объемов...

Хранение и обработка больших объемов данныхEMC GREENPLUM

Александр Челебаев Директор департамента информационных технологий

Нижний Новгород, 2013 год

2© Copyright 2012 EMC Corporation. All rights reserved.

Содержание

Основные технологические тренды в обработке Больших Данных

Бизнес сценарии использования Больших Данных

Технологические сценарии использования Greenplum

Архитектура платформы EMC Greenplum

Примеры внедрений


Sources: “How Much Information?” Peter Lyman and Hal Varian, UC Berkeley,. 2011 IDC Digital Universe Study.

В 2000 ГОДУ ВО ВСЁМ МИРЕ СОЗДАЁТСЯ

ДВА ЭКЗАБАЙТАНОВЫХ ДАННЫХ


В 2000 ГОДУ ВО ВСЁМ МИРЕ СОЗДАЁТСЯ

ДВА ЭКЗАБАЙТОВ

НОВЫХ ДАННЫХВ ДЕНЬ

Sources: “How Much Information?” Peter Lyman and Hal Varian, UC Berkeley,. 2011 IDC Digital Universe Study.

2012

6


VOLUME

РАЗМЕР

VARIETY

МНОГООБРАЗИЕ

VELOCITY

ДИНАМИКА

Большие Данные:Больше чем данные


Приложения > Данные

ЦЕНТРОМ ПРИТЯЖЕНИЯ

ПРИЛОЖЕНИЯРАНЬШЕ БЫЛИ


Притяжение создало выделенную инфраструктуру


Время перемещения данных на скорости 10GB/сек.

Перемещать данные непрактично

1TB 14МИНУТ

10ДНЕЙ1PB

1GB 01СЕК.


ДАННЫЕЭТО НОВЫЙЦЕНТР ПРИТЯЖЕНИЯ

Данные > Приложения


Данные стали разными

УСТРОЙСТВА ДАННЫХ

LawEnforcement

Media

Banks

DeliveryServices

Marketers

Government

PrivateInvestigators

/Lawyers

IndividualsEmployers

Пользователи/покупатели данных

AnalyticServices

Advertising

CatalogCo-ops

ListBrokers

Websites

InformationBrokers

CreditBureausMedia

Archives

Агрегаторы(накопители)данных

FINANCIAL

GOVERNMENT

PHONE/TV

INTERNETMEDICAL

RETAIL


Данные стали быстрыми

Данные

Корреляции ипаттерны

Причинные связи,Предикторы

Реализация

Big Data позволяют находить возможности о которых вы раньше и не подозревали …

Fast Data позволяют реагировать на эти возможности пока они не исчезли....


Лидеры рынка первыми начинают и выигрывают….

http://www.t-mobile.com/

http://3.bp.blogspot.com/_0uHWT61vkUY/S85WCMJOwSI/AAAAAAAAAJE/VRsqnONf-xk/s1600/Boeing+Logo.jpg

https://www.fidelity.com/

http://www.moodys.com/

http://www.tcsbank.ru/

http://www.troika.ru/


Типовые бизнес-задачи для решения которых используются Большие Данные

Клиентская аналитика Target marketing\churn\campaign management\loyalty programs etc.

Отчетность и статистика

Противодействие мошенничеству

Прогностическое моделирование \ оценка рисков


Вызовы: Развитие банковских систем - Обновление

систем с обеспечением возврата инвестиций.

Обслуживание клиентов – Увеличение уровня удовлетворённости клиента, рост прибыли благодаря более глубокому пониманию потребностей клиента.

Комплексное управление рисками – Целостный подход к управлению рисками по всем линиям бизнеса для улучшения финансового результата.

Платежи и службы обработки транзакций

Гибкие, эффективные и надёжные системы для платежей, управления ценными бумагами, обеспечивающие снижение затрат.

Решения: Рекомендации по использованию

продуктов Подготовка рекомендаций для клиентов на основе данных предикативной аналитики

Управление оттоком клиентов – Предсказание склонности к оттоку и различных факторов приводящих к отказу клиента от продукта или услуги

Анализ социальных сетей – Использование социальных сетей для лучшего понимание клиента и общего представления

Оценка клиентов 360° – Консолидация данных по клиенту во всех аспектах (ипотека, ценные бумаги, кредит) для улучшенного таргетирования и создания новых продуктов

Клиентская аналитика – вызовы и решения


Определение – Единый взгляд на прошлое, настоящее и будущее в разрезе клиента, включая историю покупок, текущие взаимодействия и возможности по увеличению суммы покупки.

Особенности – информационная эра и развивающиеся технологии, включая он-лайн и мобильные приложения, обеспечили совершенно новые массивы данных по клиенту.

Результат – Оценка клиентов 360˚ отошла от использования исключительно транзакционных данных и истории покупок, используются предикативные методы, анализа предпочтений и вероятности оттока.

РЕШЕНИЕ – Комбинирование персональных, транзакционных, геолокационных, поведенческих, демографических данных, кредитных рейтингов и внешних источников

Основные причины:

1. Улучшение потребительского опыта

2. Потребность клиента в улучшении уровня обслуживания

3. Рассогласование действий клиентских служб Банка и общих бизнес - целей

4. Неиспользованный потенциал клиента по использованию продуктов Банка

5. Недостаточная дифференциация продуктов требует больших сервисных затрат

***Aberdeen Group, 2010

Новый взгляд на клиента:Оценка 360°


Определение – использование социальных сетей для более глубокого понимания поведения клиента, повышения уровня доверия и положительного опыта в кризисных ситуациях

Особенности – популярность социальных сетей, таких, как ВКонтакте, Одноклассники, Facebook, Twitter и LinkedIn заставляет искать варианты включения этих каналов в модель бизнеса Банка

Результат – мнения и оценки клиентов в социальных сетях обладают потенциалом менять общественное мнение

РЕШЕНИЕ – использование текстовой аналитики для понимания настроения клиента, мониторинг и участие в он-лайн общении для предотвращения имиджевых потерь. Улучшение узнаваемости бренда и завоевание интеллектуального лидерства

Рост «Голоса клиента»

Сценарий: Банк предлагает он-лайн сервисы. Они требуют многократных сложных действий со стороны клиента. Реакция клиентов – негативные оценки в форумах и блогах. Банк не может рассчитывать на традиционные формы обратной связи, т.к. у большинства клиентов не хватает терпения их заполнять.

Призыв к действию: Банк начинает он-лайн кампанию «Голос клиента» используя методы анализа данных социальных сетей, блогов и форумов.

Новое в клиентской аналитике:Социальные сети


Определение – Инструментарий кредитора для оценки и минимизации риска, основанных на методах статистики

Особенности – Традиционные методы используют транзакционные данные и данные систем информирования о случаях мошенничества. Типичные для индустрии уровни надёжности методов 40% или 1 из 30 транзакций

Результат – Из-за постоянно возникающих новых сценариев поведения клиентов и новых каналов платежей, традиционный реактивный процесс предотвращения мошенничества «один на все случаи» больше не работает

РЕШЕНИЕ – Минимизация случаев «ложного срабатывания» с помощью применения комплекса предикативных моделей с учётом географии, продукта, систем электронной торговли и проприетарной информации.

***MasterCard Expert Monitoring Solutions

Точки взаимодействия

для оценки и улучшения методов

противодействия мошенничеству.

Противодействие мошенничеству

с кредитными картами


Технологические сценарии использования СУБД Greenplum


Построение Корпоративного Хранилища Данных (Enterprise Data Warehouse)

На платформе Greenplum строиться центральное хранилище компании, которое обслуживает все системы отчетности и аналитики в компании.

Обычно при таком сценарии проводят полную миграцию с традиционных СУБД, которые не в состоянии справиться с растущей нагрузкой и предложить бизнес пользователям решение аналитических задач в режиме он-лайн.


Построение Аналитического Хранилища Данных (Analytical Data Warehouse)

Построение на базе GP выделенных хранилищ для решения наиболее выско-нагруженных аналитических задач или тех задач, где требуется он-лайн аналитика

При таком подходе корпоративное хранилище остаётся на традиционной платформе, а на платформу Greenplum выносят наиболее критичные, с точки зрения времени обработки, аналитические приложения.


СУБД GREENPLUM


GREENPLUM это выбор и гибкость


ПараметрыПАК GREENPLUM


МПП архитектураАрхитектура shared-nothing на которой построена Greenplum линейно масштабируема

• Т.е. мы можем вдвое увеличить количество узлов, и вдвое же увеличить скорость работы запросов

• Так же мы можем вдвое увеличить емкость системы, просто удвоив количество узлов, при этом оставляя скорость обработки все такой же быстрой…

• Все это благодаря тому что мы масштабируем одновременно вычислительную мощность, объем и скорость вввода-вывода

• При этом система работает на недорогом X86 оборудовании

SegmentSegment Segment Segment Segment

…


Масштабирование Greenplum


Примеры внедрений платформы Greenplum

в крупнейших финансовых компаниях мира


American Express выбирает Greenplum Hadoop

• Формирование профиля клиента на базе информации о платежах• Повышение лояльности клиентов за счет программ поощрения • Расширение методов борьбы с мошенничеством

Бизнесс-задачи:

Выбор :После 6 месяцев тестирования открытых и коммерческих релизов

в финал вышли Cloudera и Greenplum MR

Причины: Поддержка корпоративного уровня Отказоустойчивость платформы Скорость обработки в 2 раза выше

2PB


Крупнейший банк Северной Америки выбирает Greenplum DB


• Управление рисками• Клиентский маркетинг• Аналитика по пластиковым картам

Отработанная миграция с традиционных СУБД Масштабируемость платформы Скорость обработки Интеграция в существующий ИТ ландшафт

Причины:


Один из крупнейших банков Китая

Более 140 000 000 кредитных карт

• Централизованное хранилище под карточную систему

• Целевой клиентский маркетинг

• Аналитика по пластиковым картам


Выбор платформы для Хранилища: DB2–Oracle 11g -Teradata14

Самая высокая скорость загрузки данных Линейная масштабируемость платформы Открытая интеграция с другими решениями Лучший показатель цена/производительность


Почему заказчики выбирают Greenplum Высочайшая скорость загрузки и выполнения запросов

Линейная многократная масштабируемость

Интеграция c инструментами ETL,BI и аналитики

Наличие отработанных методик и инструментов миграции с традиционных платформ и СУБД

Универсальная платформа обработки всех

типов данных и запросов

Адекватные и предсказуемые затраты на

построение и развитие системы


Ключевые партнеры


603140, Нижний Новгород, пер. Мотальный, д.8, «Бугров Бизнес парк»

+7 831 467 8770, +7831 467 8771 (факс)[email protected]/volga

Спасибо за внимание!

http://www.croc.ru/volga



А.Челебаев - Хранение и обработка больших объемов...

Documents