oracle exalytics...• Предиктивная аналитика – oracle r enterprise 4...

2

Аналитика завтрашнего дня

Ольга Горчинская Oracle EE&CIS [email protected]

2 ноября, 2011 Radisson SAS Москва, Россия

3

План

• Главная новость – Oracle Exalytics • Oracle Business Intelligence – новые

стандарты бизнес-анализа • Предиктивная аналитика – Oracle R Enterprise

4

План

• Главная новость – Oracle Exalytics • Oracle Business Intelligence – новые


6

• Программно-аппаратный комплекс для бизнес-анализа • Экстремальная производительность • Неограниченные возможности визуализации и анализа

• Oracle Exalytics Business Intelligence Machine

7

Oracle Exa* - решения

Хранилища данных и консолидация

баз данных

Облачные вычисления и консолидация приложений

Бизнес-анализ и EPM приложения

8

Oracle Exalytics – основные компоненты

Программное обеспечение для

In-Memory аналитики

Memory Optimized Essbase

TimesTen for Exalytics

Adaptive In-Memory Tools

1 TB RAM 40 Processing Cores

High Speed Networking

Аппаратный комплекс для

In-Memory аналитики Oracle Business Intelligence Suite – специальная

редакция для Exalytics

9

Аппаратное обеспечение

• Оперативная память 1 TB RAM, 1033 MHz • Процессоры 4 Intel® Xeon® E7-4870, 40

cores • Сетевые интерфейсы 40 Gbps InfiniBand – 2 ports 10 Gbps Ethernet – 2 ports 1 Gbps Ethernet – 4 ports • Дисковая память 3.6 TB HDD Capacity

10

Программное обеспечение

• Oracle Business Intelligence Foundation Suite

– Специальная редакция для Exalytics

– Oracle Business Intelligence Enterprise Edition

– Oracle Essbase • Oracle TimesTen for Exalytics

– Специальная редакция Oracle TimesTen In-Memory Database, ориентированная на аналитическую обработку в оперативной памяти

Oracle BI Foundation Suite

AIM/A Software

TimesTen for

Analytics

11

Производительность и интерактивность Комплексное решение

Визуализация «со скоростью

мысли»

Данные в оперативной

памяти

Аналитика в оперативной

памяти

Oracle BI Foundation Адаптивные in-Memory

акселераторы

TimesTen for Exalytics

+ +

12

Oracle Business Intelligence Полная интегрированная система бизнес-анализа

• Единая платформа для

всех видов анализа

• Доступ ко всем данным

предприятия и внешним

источникам

• Интеграция с любыми

системами, приложениями

и бизнес-процессами

Interactive Dashboards

Office Integration

Secure Search

Production Reporting

Ad-hoc Analysis

Scorecards

Strategy Maps

Geographic Visualization

Embedded in Applications

Mobile

Business Processes

Scenario Analysis

Predictive Analysis

Tablet

13

Oracle Essbase

• Универсальный OLAP-сервер для хранения, обработки и представления информации

• Высокая производительность • Моделирование сложной аналитики • Основа продукта Hyperion Planning

14

Times Ten for Exalytics На основе Oracle TimesTen In-Memory Database

• 100% In-memory RDBMS – База данных в оперативной памяти

• Высокая производительность – Снижение времени отклика – Высокая пропускная способность

• Сохранение в дисковой памяти – Транзакции и контрольные точки

копируются для постоянного хранения • Колоночная компрессия

– Сжатие от 5 до 10 раз – Аналитические алгоритмы работают

непосредственно с компрессированными данными

• Аналитические функции – Эффективное выполнение

аналитических функций – Разгрузка BI-сервера

Oracle BI

TimesTen Libraries

Memory-Resident Database

JDBC / ODBC / OCI / PLSQL

Checkpoint Files Log Files

Fast data access

15

Технологии in-memory аналитики

• In-Memory Data Replication – репликация всех данных в базе данных TimesTen

• In-Memory Adaptive Data Mart – Выявление наиболее востребованных данных,

создание витрин данных в оперативной памяти • In-Memory Intelligent Result Cash

– Интеллектуальное кэширование в оперативной памяти

– Инструменты для анализа и управления кэшем • In-Memory Cubes

– In-memory оптимизация для Essbase – Данные кубов можно изменять (writeback) – BI-сервер позволяет создавать кубы на основе

семантической модели данных

16

TimesTen for BI

Адаптивные in-memory акселераторы Oracle BI Foundation Suite + AIM/A Software + TimesTen for Exalytics

Common Enterprise Information Model

BI Server With

Detailed Usage Tracking

OLTP & ODS Systems

Data Warehouse Data Mart

Packaged Applications

(Oracle, SAP, Others)

Excel XML/Office

Business Process

OLAP Sources

Exadata Unstructured & Semi-Structured

BI Presentation Services

BI Server Script

Summary Advisor Cache Miss

Cache Hit (sub-second)

Scheduled Refresh

Aggregate Selection

Usage Analysis

18

Что дают in-memory акселераторы Экстремальная производительность

• In-Memory Analytics: ROLAP

• 20X снижение времени отклика • 50,000 пользователей на одном

комплексе

• In-Memory Analytics: MOLAP

• 79X снижение времени отклика при чтении

• 16X снижение времени отклика при записи

• In-Memory Analytics: EPM Planning

• 4.5X снижение времени отклика • 10,000 пользователей на одном

комплексе

0

1

2

3

4

5

AIM/A

20X Faster

ROLAP Query Response Time

Sec

onds

0

10

20

30

40

50

60

AIM/A

79X Faster

MDX Query Response Time

Sec

onds

Без AIM/A

0

2

4

6

8

10

12

AIM/A 4.5X

Faster

EPM Planning Response Time

Sec

onds

Без AIM/A

Без AIM/A

19

Новые возможности бизнес-анализа Аналитика со скоростью мысли

• Высокая степень интерактивности • Инновационная визуализация • Рекомендации по выбору визуального представления • Встроенные сценарии • Все стили и виды анализа

20

ДЕМОНСТРАЦИЯ

22

Бизнес-анализ и хранилища данных Exalytics + Exadata

• Оптимизированы для совместной работы

Fast Interconnect

Exalytics “Speed of Thought” Enterprise Business

Intelligence Delivery Platform

Exadata Database Machine Extreme Data Management +

Optimized Oracle BI Foundation

Suite

In-Memory Analytics Software

In-Memory Analytics Hardware

InfiniBand

23

Первые проекты и результаты

“Используя Exalytics и ее технологии аналитической обработки данных в оперативной памяти ( in-memory), мы видели сокращение времени отклика аналитической системы в 35 - 70 раз по сравнению с тем, что есть сейчас!”

• Одна из крупнейших финансовых корпораций Дании, поставщик ипотечных услуг, 4 000 сотрудников

• BI система: • 1 700 пользователей • BI Aplications с быстро растущими

объемами данных (до 50 Тб) • Необходима высокая производительность

как на агрегированных, так и для транзакционных данных

• Exadata + Exalytics: От 35 до 70 раз быстрее 0,2 1,69 0

10

20

30

40

50

60

70

Report 1 Report 2

Seco

nds

Dashboard Response Times

Production Exalytics+Exadata

24


“Аналитическая машина Exalytics продемонстрировала снижение времени отклика информационных панелей в среднем в 10 раз, а в отдельных случаях более чем в 100 раз по сравнению системой, которую мы используем сейчас .”

• Поставщик маркетинговой аналитики и решений для автомобильной индустрии, 500M vehicles, 195M people , 17M businesses

• BI система • 6 000 пользователей, ориентация на

сложный анализ и исследования • Быстрое рост числа пользователей • Высокие требования к интерактивности ,

скорости, визуализации (прямое влияние на конкурентноспособость)

• Exalytics: В среднем ускорение более чем в 10 раз и в отдельных случаях до 100 раз

10X

0

1

2

3

4

5

6

Average Response Time

Seco

nds


Without Exalytics Exalytics

25


“Exalytics продемонстрировала интерактивность «со скоростью мысли», которая до этого была возможна только для инструментов desktop-уровня. Теперь мы готовы отказаться от настольных BI и перейти с использованию Exalytics как только эта машина будет готова.”

• Крупный поставщик услуг в области облачных инфраструктур, 45 000 сотрудников

• Текущая корпоративкая BI система • Более 1500 BI- пользователей • Проблемы -- недостаточный уровень

интерактивности корпоративной BI системы, выгрузка данных и использование desktop инструментов, отклик --до 30 сек

• Exalytics: согласованная интерактивность на уровне долей секунд

0

5

10

15

20

25

30

35

Average Response Time

Seco

nds


Without Exalytics Exalytics

26

План

• Главная новость -- Oracle Exalytics • Oracle Business Intelligence – новые


27

Все виды бизнес-анализа на единой платформе Не только отчеты

SINGLE ENTERPRISE INFORMATION

MODEL

Единая

бизнес-модель

Информационные панели

Регламентные отчеты

Мобильный доступ

Интерактивный анализ

Активный бизнес-анализ

Карты показателей

Пространственная

аналитика

Интеграция с MS Office

OLAP-анализ BI

Collaboration

• Пространственная аналитика

• Активный бизнес-анализ

• BI Collaboration

• Ключевые показатели и стратегическое управление

• Мобильная аналитика

28

Пространственная аналитика

• Большинство аналитических данных важно рассматривать в привязке к географическим объектам

• Пространственная визуализация обеспечивает более глубокое понимание и расширяет возможности анализа

• Глубокая интеграция пространственных данных с инструментами анализа Oracle BI + Oracle Spatial

29

Карта – вид визуального представления

Вид представления

30

Встроенная пространственная визуализация Динамическое отображение показателей на карте

31

Активный бизнес-анализ Анализ и действия в едином замкнутом цикле ТРАДИЦИОННЫЙ ПОДХОД

Разрозненный Действия независимы от анализа

НОВЫЙ ПОДХОД

Интегрированный. Переход от анализа к действиям.

.

32


MODEL

Интеграция аналитики с бизнес-процессами Выявление проблемы, понимание причин, действие

• Бизнес-события • Бизнес-условия • Ключевые показатели

эффективности (KPI)

• Произвольные OLAP запросы • Интерактивная визуализация • Интерактивные

информационные панели • Управляемая навигация

• Инициирование бизнес-процессов • Отслеживание и мониторинг их

выполнения • Предоставление отчетов и

предупреждений ЕДИНАЯ

МОДЕЛЬ

ИНФОРМАЦИИ О

ПРЕДПРИЯТИИ

ВЫЯВЛЕНИЕ ПРОБЛЕМЫ

ПОНИМАНИЕ ПРИЧИН

ДЕЙСТВИЕ

33

Активный бизнес-анализ Action Framework

• Специальная компонента для интеграции бизнес-анализа с бизнес-процессами

• Типы действий – навигация на отчеты,

дэшборды, формы OEBS, EPM контент, web-страницы

– Запуск web-сервисов, java-скрипта, http-запроса, агента

• Действие может запускаться – Вручную (из отчетов,

дэшбордов) – Автоматически с помощью

агентов

34

Бизнес-анализ и бизнес-процессы Любые сценарии интеграции

• BI над бизнес-процессом • “За последний час существенно увеличилось

среднее время выполнения заказов” • “Выполнение сервисных работ отстает от

расписания на 90 минут”

• BI встроен в бизнес-процесс • “Следует ли предложить данному клиенту

скидку?” • “Имеет ли смысл изменить условия

кредитования для данного клиента?”

• BI инициирует бизнес-процесс • “Продажи существенно снизились за последний

месяц. Отправить сообщение менеджеру.” • “Задолженность поставщику слишком большая,

инициировать действия по оплате

BI, встроенные в бизнес-процесс

Oracle BI

Анализ показателей бизнес-процесса

Oracle BI & BAM

Вызов бизнес-процесса из BI

Oracle BI

35

Oracle BI Collaboration Бизнес-анализ и коллективная работа

• Интеграция с WebCenter – Контекстный поиск, тэгги – Ссылки м навигация между

документами – Дискуссионные форумы – Чаты & обсуждение в

реальном времени – Рабочие пространства – Группы общения (Community

lists) • Интеграция с порталами • Встроенные в

информационные панели комментарии

36

Oracle Scorecard & Strategy Management (OSSM) инструмент управления эффективностью деятельности, с помощью которого достижение стратегических целей компании контролируется с помощью ключевых показателей эффективности.

Встроен OBI 11G в виде одного из аналитических инструментов

37

Oracle Scorecard and Strategy Management Управление ключевыми показателями и стратегиями

• Специальные BI-объекты – Ключевые показатели (KPI) –

факт/план, пороги, вычисления – Стратегии, цели, перспективы

• Автоматический мониторинг – KPI алерты на основе порогов

• Визуализация стратегий и KPI – Автоматически генерируются – Стратегические карты и

иерархии целей – Причинно-следственные

взаимосвязи – Аннотации и корректировки

• Поддержка всех методологий – Нортон и Каплан, six sigma,

Baldrige

38

Управление эффективностью бизнеса Карты стратегий, иерархии целей, причинно-следственные взаимосвязи

39

Мобильная аналитика Oracle BI Mobile

• Приложение для мобильных устройств

• Входит в состав BI Foundation OBIEE 11g

• Оптимизировано для использования на

– Apple iPhone, iPad and iPod

• Простой интуитивный интерфейс для работы с данными

• OBIEE модель безопасности – SSL, SSO,VPN

40

Oracle BI Mobile • Доступ ко всем отчетам и

информационным панелям • Использование всех возможностей

интерфейса Apple • Интерактивность, навигация,

сценарии анализа

41

ORACLE BI MOBILE

Д Е М О Н С Т Р А Ц И Я

42


MODEL

Преднастроенные аналитические приложения Сертифицированы для Oracle Business Intelligence 11g

DETECT

ANALYZE ACT

MODEL


MODEL

CRM АНАЛИТИКА • Продажи • Маркетинг • Сервисы • Контакт-центры • Ценообразование • Лояльность

ИНДУСТРИАЛЬНАЯ АНАЛИТИКА

• Банки и финансы • Телеком • Здравохранение • Ретейл

ERP АНАЛИТИКА • Финансы • Персонал (HR) • Закупки • Поставки • Заявки • Проекты • Логистика

EPM ПРИЛОЖЕНИЯ • Карты показателей • Стратегическое

планированеи • Финансовая

консолидация • Планирование и

бюджетирование

43

План

• Главная новость -- Oracle Exalytics • Oracle Business Intelligence – новые


44

Аналитические и статистические функции

• Функции ранжирования • Агрегирование • Сравнение с предыдущими

периодами • Линейная регрессия • Корреляции • Базовая статистика • Проверка гипотез • Подбор распределений

Статистика & Data Mining Встроены в базу данных Oracle Database

Oracle Data Mining • Встроенные в базу данных

процедуры автоматического выявления закономерностей в больших массивах данных

• API для разработки приложений, встраивания data mining в существующие приложения и системы

• Инфраструктура вместо готовой инструментальной среды

• Oracle Data Miner

45

Oracle data mining

Модели, процедуры, параметры ODM Репозиторий

Company Product Architecture Hardware/OS Web Address Types of

Models/Problem

Classification

Algorithms

GUI Model Building

NeuralWare NeuralWorks Predict Desktop MS Windows 3.1, 95,

NT, Unix

www.neuralware.com Classification

Cluster analysis

Regression

Time series

Neural net Yes

Pilot Discovery Server C/S Win/NT, HP UX www.pilotsw.com Classification

Time Series

CART Yes

Right

Information

Systems

(Cognos)

4Thought Desktop MS Windows 3.1, 95,

NT

www.4thought.com Classification

Regression

Time series

Visualization

Neural net Yes

SAS Institute The SAS System Desktop, C/S,

mainframe

Virtually all www.sas.com/feature/

4qdm/intro.html

Association

Classification

Cluster analysis

Contingency

Regression

Time series

Visualization

Decision tree

Discriminant analysis

Logistic regression

Neural net

Yes

Silicon Graphics MineSet C/S, parallel SGI, Windows NT (under

X windows emulator)

www.sgi.com Association

Classification

Visualization

Decision tree

Naïve Bayes

Option trees

Yes

SPSS SPSS for Windows Desktop MS Windows 3.1, 95,

NT

www.spss.com Classification

Cluster analysis

Regression

Time series

Visualization

Decision tree


Logistic regression

Neural net

Yes

Syllogic Data Mining Tool C/S, parallel

server

MS Windows NT, Silicon

Graphics, NT

www.syllogic.nl Association

Classification

Clustering

Vision

Decision tree

K-nearest neighbor

Yes

Thinking

Machines

Darwin C/S, parallel Sun, IBM AIX www.think.com Classification

Regression

Decision tree

K-nearest neighbor

Neural net

Yes


Models/Problem

Classification

Algorithms

GUI Model Building


NT, Unix


Cluster analysis

Regression

Time series

Neural net Yes


Time Series

CART Yes

Right

Information

Systems

(Cognos)


NT


Regression

Time series

Visualization

Neural net Yes


mainframe


4qdm/intro.html

Association

Classification

Cluster analysis

Contingency

Regression

Time series

Visualization

Decision tree


Logistic regression

Neural net

Yes


X windows emulator)


Classification

Visualization

Decision tree

Naïve Bayes

Option trees

Yes


NT


Cluster analysis

Regression

Time series

Visualization

Decision tree


Logistic regression

Neural net

Yes


server


Graphics, NT


Classification

Clustering

Vision

Decision tree

K-nearest neighbor

Yes

Thinking

Machines


Regression

Decision tree

K-nearest neighbor

Neural net

Yes

Java API PL/SQL API

Исходные данные Данные для скоринга Результаты скоринга


Models/Problem

Classification

Algorithms

GUI Model Building


NT, Unix


Cluster analysis

Regression

Time series

Neural net Yes


Time Series

CART Yes

Right

Information

Systems

(Cognos)


NT


Regression

Time series

Visualization

Neural net Yes


mainframe


4qdm/intro.html

Association

Classification

Cluster analysis

Contingency

Regression

Time series

Visualization

Decision tree


Logistic regression

Neural net

Yes


X windows emulator)


Classification

Visualization

Decision tree

Naïve Bayes

Option trees

Yes


NT


Cluster analysis

Regression

Time series

Visualization

Decision tree


Logistic regression

Neural net

Yes


server


Graphics, NT


Classification

Clustering

Vision

Decision tree

K-nearest neighbor

Yes

Thinking

Machines


Regression

Decision tree

K-nearest neighbor

Neural net

Yes

Внешние приложения (SAP BW)

Oracle Data Miner Oracle BI Приложения Oracle

46

Алгоритмы Oracle Data Mining

Классификация

Ассоциативные правила Кластеризация

Значимость атрибутов

Задача Алгоритм Применение

Прогнозирование принадлежности объекта к одному из заданных классов

Minimum Description Length (MDL)

Сокращение числа атрибутов Выделение важных атрибутов Снижение уровня шума

Hierarchical K-Means Hierarchical O-Cluster

Сегментация клиентской базы Text mining

Apriori Анализ рыночной корзины Анализ связей (Link analysis)

Multiple Regression (GLM) Support Vector Machine

Прогнозирование Непрерывных показателей

Регрессия

Выявление признаков

NMF Анализ текстов Уменьшение числа признаков

Logistic Regression (GLM) Decision Trees Naïve Bayes Support Vector Machine

One Class SVM Отсутствие «отрицательных» примеров

Выявление аномалий

A1 A2 A3 A4 A5 A6 A7

F1 F2 F3 F4

47

Oracle Data Miner Процесс построения и тестирование моделей

48

Статистическое исследование данных

49

Визуализация модели Дерево решений

50

Сравнение различных моделей

51

Новое решение Oracle R Enterprise

New

52

Проект R для статистических вычислений • Язык для статистических исследован ий и работы с графикой (Росс Айхэк, Роберт Джентельмен, Оклендский ун-т, 1997)

•Open source проект, R Foundation

• Широкий спектр различных функций (временные ряды, прогнозирование, классификация, кластеризация и др)

• Важное отличительное преимущество – простые средства построения самых сложных графиков и диаграмм

• Возможность расширения, технолгия разработки дополнительных пакетов участниками проекта

53

Open Source

Частично благодаря появлению концепции Big Data, бизнес-анализ(BI) остается быстро растущим рынком .... Одновременно с ростом рынка BI постоянно увеличиваются инвестиции в предиктивную аналитику; R является не только хорошим готовым инструментом, но и идеальной средой для исследований в области углубленной аналитики. R ориентирован на расширения и интегрируется с инструментаим бизнес-анализа , обогащая отчеты глубокой аналитикой.

http://www.gartner.com/technology/core/products/research/topics/businessIntelligence.jsp “Hype Cycle for Analytic Applications, 2011, 30 August 2011

Кол-во f web site линков, которые указывают на основной сайт инструментальной среды March 19, 2011.

http://www.r4stats.com/popularity

http://www.r-project.org/index.html

http://www.r-project.org/index.html

54

Растущая популярность проекта R

• Благодаря быстрому развитию и большому интересу со стороны специалистов R заслужил репутацию нового стандарта в области статистического программного обеспечения

– Соперник SAS и SPSS

Трудно оценить точно, сколько людей используют R, по оценкам специалистов примерно 250,000 людей работают с этой средой регулярно “Data Analysts Captivated by R’s Power”, New York Times, Jan 6, 2009

http://www.r-project.org/

http://www.nytimes.com/2009/01/07/technology/business-computing/07program.html




55

R Graphics

R> plot(cars$weight, cars$mpg)

56

R Graphics R> abline(coef(lm(acceleration ~ weight, cars)), col = "red")

57

R Graphics R> boxplot(split(cars$mpg,

cars$model.year), col = "green")

58

R Graphics R> boxplot(split(cars$acceleration, cars$model.year), col = "red")

59

R графики

R> plot(cars)

60

R графики

R>

plot(data.frame(cars$accele

ration,cars$mpg,

cars$weight,

cars$cylinders), col =

"purple")

61

Линейное моделирование

62

Oracle R Enterprise ARIMA --прогнозирование year200801 <- ONTIME_S[(ONTIME_S$YEAR==2008)& (ONTIME_S$MONTH==1),] y <- ore.pull(year200801) gc() delays <- tapply(y$ARRDELAY, y$DAYOFMONTH, mean, na.rm=TRUE) delays <- ts(delays, start=1, end=31, frequency=1) # Create a Kalman filter with the first 5 delays and predict the rest preds <- c() ses <- c() # 1 step predictions for (i in 5:length(delays)) { fit <- arima(delays[1:i], c(1,2,1)) # predict 1 step into the future. pred <- predict(fit) preds <- c(preds, pred$pred) ses <- c(ses, pred$se) } plot(5:length(delays), preds, type='l', col='green', ylim=range(c(preds+2*ses, preds-2*ses)), xlab="DEay of month", ylab="Predicted average delay (in minutes)", main="Average delays by day for January 2008") lines(5:length(delays), preds+2*ses, col='red') lines(5:length(delays), preds-2*ses, col='red') points(5:length(delays), as.vector(delays[5:length(delays)])) legend( 23, -8, c("Delay", "Predicted delay", "2 se confidence"), col=c(1, 3, 8), lty=c(0, 1, 1), pch=c(1, -1, -1), merge=TRUE)

63

Примеры графиков, генерируемых R

64

Open Source R

• Статистический анализ выполняется и сохраняется на персональных компьютерах

• Не используются возможности вычислительной инфраструктуры

• Система редко используется на корпоративном уровне, с осторожностью воспринимается SAS/SPSS сообществом (хотя во многих университетах статистические курсы сейчас основаны на R)

65

Oracle R Enterprise

• R «встраивается» в Oracle database

• Данные сохраняются и статистические вычисления выполняются в базе данных

• 100% совместимость с R интерфейсом и клиентскими приложениями

• Дополняет Oracle Data Mining

R Open Source

66

Oracle R Enterprise

Function push-down – data transformation &

statistics

R workspace console

Oracle statistics engineOBIEE, Web Services

Development Production Consumption

ROpen Source

68

Спасибо за внимание!

69

Вопросы

oracle exalytics...• Предиктивная аналитика – oracle r enterprise 4...

Documents