jak wiedzieć więcej i szybciej analizy...

41
1 Copyright © 2012, Oracle and/or its affiliates. All rights reserved. Jak wiedzieć więcej i szybciej - Analizy in-memory Michał Grochowski – Senior Consultant BI/DWH

Upload: others

Post on 14-Aug-2020

0 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: Jak wiedzieć więcej i szybciej Analizy in-memoryitfest.pl/wp-content/uploads/2012/07/konferencja.pdf · 2013-06-14 · Ekosystem BI/DWH . 16 Przezwyciężanie złożoności z BI

1 Copyright © 2012, Oracle and/or its affiliates. All rights reserved.

Jak wiedzieć więcej i szybciej - Analizy in-memory

Michał Grochowski – Senior Consultant BI/DWH

Page 2: Jak wiedzieć więcej i szybciej Analizy in-memoryitfest.pl/wp-content/uploads/2012/07/konferencja.pdf · 2013-06-14 · Ekosystem BI/DWH . 16 Przezwyciężanie złożoności z BI

2 Copyright © 2012, Oracle and/or its affiliates. All rights reserved.

Page 3: Jak wiedzieć więcej i szybciej Analizy in-memoryitfest.pl/wp-content/uploads/2012/07/konferencja.pdf · 2013-06-14 · Ekosystem BI/DWH . 16 Przezwyciężanie złożoności z BI

3 Copyright © 2012, Oracle and/or its affiliates. All rights reserved.

Page 4: Jak wiedzieć więcej i szybciej Analizy in-memoryitfest.pl/wp-content/uploads/2012/07/konferencja.pdf · 2013-06-14 · Ekosystem BI/DWH . 16 Przezwyciężanie złożoności z BI

4 Copyright © 2012, Oracle and/or its affiliates. All rights reserved.

Page 5: Jak wiedzieć więcej i szybciej Analizy in-memoryitfest.pl/wp-content/uploads/2012/07/konferencja.pdf · 2013-06-14 · Ekosystem BI/DWH . 16 Przezwyciężanie złożoności z BI

5 Copyright © 2012, Oracle and/or its affiliates. All rights reserved.

Page 6: Jak wiedzieć więcej i szybciej Analizy in-memoryitfest.pl/wp-content/uploads/2012/07/konferencja.pdf · 2013-06-14 · Ekosystem BI/DWH . 16 Przezwyciężanie złożoności z BI

6 Copyright © 2012, Oracle and/or its affiliates. All rights reserved.

In-Memory Analytics: ROLAP

• 20X better response times

• 50,000 Enterprise users on one appliance

In-Memory Analytics: MOLAP

• 79X better read response times

• 16X better write response times

In-Memory Analytics: EPM Planning

• 4.5X better scalability, response time

• 10,000 Planning users on one appliance

Page 7: Jak wiedzieć więcej i szybciej Analizy in-memoryitfest.pl/wp-content/uploads/2012/07/konferencja.pdf · 2013-06-14 · Ekosystem BI/DWH . 16 Przezwyciężanie złożoności z BI

7

Każdy pracownik firmy może

wykonywać swoją pracę lepiej, gdyby

decyzje i działania podejmowane były

w oparciu o informację, a nie o

"chyba najlepiej" lub "jak zrobiliśmy to

w ubiegłym roku"

W jakim celu gromadzimy dane ?

Page 8: Jak wiedzieć więcej i szybciej Analizy in-memoryitfest.pl/wp-content/uploads/2012/07/konferencja.pdf · 2013-06-14 · Ekosystem BI/DWH . 16 Przezwyciężanie złożoności z BI

Czym jest informacja w BI ?

Co się wydarzyło? Co się dzieje? Co się wydarzy?

Czas

Page 9: Jak wiedzieć więcej i szybciej Analizy in-memoryitfest.pl/wp-content/uploads/2012/07/konferencja.pdf · 2013-06-14 · Ekosystem BI/DWH . 16 Przezwyciężanie złożoności z BI

9

3 Co zrobić?

1 Co się wydarzyło

2 Dlaczego ?

4 Jak zrobić ?

Dlaczego BI jest ważny ?

Page 10: Jak wiedzieć więcej i szybciej Analizy in-memoryitfest.pl/wp-content/uploads/2012/07/konferencja.pdf · 2013-06-14 · Ekosystem BI/DWH . 16 Przezwyciężanie złożoności z BI

10

Time

Competitive

Advantage

OPERATIONAL EXCELLENCE

MANAGEMENT EXCELLENCE

Czym jest BI ?

Page 11: Jak wiedzieć więcej i szybciej Analizy in-memoryitfest.pl/wp-content/uploads/2012/07/konferencja.pdf · 2013-06-14 · Ekosystem BI/DWH . 16 Przezwyciężanie złożoności z BI

Ekosystem BI/DWH

Page 12: Jak wiedzieć więcej i szybciej Analizy in-memoryitfest.pl/wp-content/uploads/2012/07/konferencja.pdf · 2013-06-14 · Ekosystem BI/DWH . 16 Przezwyciężanie złożoności z BI
Page 13: Jak wiedzieć więcej i szybciej Analizy in-memoryitfest.pl/wp-content/uploads/2012/07/konferencja.pdf · 2013-06-14 · Ekosystem BI/DWH . 16 Przezwyciężanie złożoności z BI
Page 14: Jak wiedzieć więcej i szybciej Analizy in-memoryitfest.pl/wp-content/uploads/2012/07/konferencja.pdf · 2013-06-14 · Ekosystem BI/DWH . 16 Przezwyciężanie złożoności z BI
Page 15: Jak wiedzieć więcej i szybciej Analizy in-memoryitfest.pl/wp-content/uploads/2012/07/konferencja.pdf · 2013-06-14 · Ekosystem BI/DWH . 16 Przezwyciężanie złożoności z BI
Page 16: Jak wiedzieć więcej i szybciej Analizy in-memoryitfest.pl/wp-content/uploads/2012/07/konferencja.pdf · 2013-06-14 · Ekosystem BI/DWH . 16 Przezwyciężanie złożoności z BI

16

Przezwyciężanie złożoności z BI Server Jest to rzeczywisty model danych klienta w BI

Page 17: Jak wiedzieć więcej i szybciej Analizy in-memoryitfest.pl/wp-content/uploads/2012/07/konferencja.pdf · 2013-06-14 · Ekosystem BI/DWH . 16 Przezwyciężanie złożoności z BI

17

Przezwyciężanie złożoności z BI Server I to, jak wygląda po przekształceniu na model "logiczny"

Page 18: Jak wiedzieć więcej i szybciej Analizy in-memoryitfest.pl/wp-content/uploads/2012/07/konferencja.pdf · 2013-06-14 · Ekosystem BI/DWH . 16 Przezwyciężanie złożoności z BI

Informacja na kokpicie BI

18

Page 19: Jak wiedzieć więcej i szybciej Analizy in-memoryitfest.pl/wp-content/uploads/2012/07/konferencja.pdf · 2013-06-14 · Ekosystem BI/DWH . 16 Przezwyciężanie złożoności z BI

19

Kokpit BI

Inteligencja

przestrzenna

Reporting & Publishing

Bogate doświadczenia użytkownika

Integracja z MS Office

Mobilny OBI

Aplikacje & Portale

Wyszukiwanie Analizy

ad-hoc

Współpraca

Scorecards

Page 20: Jak wiedzieć więcej i szybciej Analizy in-memoryitfest.pl/wp-content/uploads/2012/07/konferencja.pdf · 2013-06-14 · Ekosystem BI/DWH . 16 Przezwyciężanie złożoności z BI

Kompletny, Spójny, Prosty Oracle Business Intelligence 11g

Common Business Intelligence Foundation

Interactive Dashboards

Reporting & Publishing

Ad-hoc Analysis

Detect & Alert

Office Integration

Search Embedded Data Integration

Mobile Scorecards Collaborate

Spójny model informacji

• Spójny model metadanych dla wszystkich źródeł

• Spójne bezpieczeństwo, kontrola dostępu, autoryzacja, Inspekcja

• Spójne tworzenie i optymalizowanie usług dostępu do danych

• Spójne klastrowanie, regulacja obciążenia, wdrożenie

• Spójny system & zarządzanie

OLTP & ODS Systems

Data Warehouse Data Mart

Packaged Applications

(Oracle, SAP, Others)

Excel XML/Office

Business Process

OLAP Sources

Exadata Unstructured & Semi-Structured

Page 21: Jak wiedzieć więcej i szybciej Analizy in-memoryitfest.pl/wp-content/uploads/2012/07/konferencja.pdf · 2013-06-14 · Ekosystem BI/DWH . 16 Przezwyciężanie złożoności z BI

Czas

Page 23: Jak wiedzieć więcej i szybciej Analizy in-memoryitfest.pl/wp-content/uploads/2012/07/konferencja.pdf · 2013-06-14 · Ekosystem BI/DWH . 16 Przezwyciężanie złożoności z BI
Page 24: Jak wiedzieć więcej i szybciej Analizy in-memoryitfest.pl/wp-content/uploads/2012/07/konferencja.pdf · 2013-06-14 · Ekosystem BI/DWH . 16 Przezwyciężanie złożoności z BI

Jak działa Oracle BI?

Spójny model informacji

Serwer OBI

Logiczny SQL

Model Semantyczny

Optymalne & Natywne zapytanie

OLTP & ODS Systems

Data Warehouse Data Mart

Packaged Applications

(Oracle, SAP, Others)

Excel XML/Office

Business Process

OLAP Sources

Exadata Unstructured & Semi-Structured

• Źródła danych są mapowane do wielowymiarowego modelu

serwera OBI (repozytorium)

• Użytkownicy generują zapytania logiczne przez prosty interfejs

graficzny

• Serwer OBI tłumaczy i optymalizuje zapytania logiczne na

fizyczny SQL/MDX lub inne

• Zapytania są wysyłane do źródeł danych

• Dane są pobierane/przetwarzane

i zwracane do użytkownika na kokpit BI

OD

BC

Page 25: Jak wiedzieć więcej i szybciej Analizy in-memoryitfest.pl/wp-content/uploads/2012/07/konferencja.pdf · 2013-06-14 · Ekosystem BI/DWH . 16 Przezwyciężanie złożoności z BI

Gdzie tracimy najwięcej czasu w BI/DW?

Oracle BI

OLTP & ODS Systems

Data Warehouse Data Mart

SAN/NAS

Idealne zapytanie to CZAS < 1s

Duże ilości danych nie dają gwarancji stałego

czasu odpowiedzi

Większość czasu tracona jest na:

• Baza danych zwraca rezultaty

• Dyski zwracają dane do bazy danych

• Połączenia między dyskami a bazą

danych

”Podkręcanie” bazy danych może pomóc ale:

• Zapytania nadal mogą trwać >1~2 min

• Trudno zagwarantować czas odpowiedzi

- Czasem stały

- Czasem 1-2 min

- Zależny od aktualnego obciążenia bazy

danych

Page 26: Jak wiedzieć więcej i szybciej Analizy in-memoryitfest.pl/wp-content/uploads/2012/07/konferencja.pdf · 2013-06-14 · Ekosystem BI/DWH . 16 Przezwyciężanie złożoności z BI

Cele idealnego systemu BI

• Dowolne zapytanie zwraca dane natychmiast

• Drążenie danych i dogłębne analizy nie powodują spadku wydajności

• Stały czas odpowiedzi

• Czas odpowiedzi pozostaje stały nawet dla n*100 użytkowników online

Page 27: Jak wiedzieć więcej i szybciej Analizy in-memoryitfest.pl/wp-content/uploads/2012/07/konferencja.pdf · 2013-06-14 · Ekosystem BI/DWH . 16 Przezwyciężanie złożoności z BI

Jak przyspieszyć działanie raportów ?

• Zakupić Engineered system dla bazy danych = Exadata

• Widoki zmaterializowane, indeksowanie, in-database OLAP

• Przeniesienie danych do Essbase

• Ale są za i przeciw, a mianowicie:

‣ Może nie jesteśmy na to jeszcze gotowi ($)

‣ Komplikuje nam rozwiązanie

‣ Nowe technologie

‣ Nie tak łatwo wyskalować serwer OLAP

Page 28: Jak wiedzieć więcej i szybciej Analizy in-memoryitfest.pl/wp-content/uploads/2012/07/konferencja.pdf · 2013-06-14 · Ekosystem BI/DWH . 16 Przezwyciężanie złożoności z BI

Jak przyspieszyć działanie raportów ?

Page 29: Jak wiedzieć więcej i szybciej Analizy in-memoryitfest.pl/wp-content/uploads/2012/07/konferencja.pdf · 2013-06-14 · Ekosystem BI/DWH . 16 Przezwyciężanie złożoności z BI
Page 30: Jak wiedzieć więcej i szybciej Analizy in-memoryitfest.pl/wp-content/uploads/2012/07/konferencja.pdf · 2013-06-14 · Ekosystem BI/DWH . 16 Przezwyciężanie złożoności z BI

Heterogeniczność BI

Page 31: Jak wiedzieć więcej i szybciej Analizy in-memoryitfest.pl/wp-content/uploads/2012/07/konferencja.pdf · 2013-06-14 · Ekosystem BI/DWH . 16 Przezwyciężanie złożoności z BI

Rozwiązanie alternatywne

• Przenieś część lub wszystkie dane do RAM

• Czas odpowiedzi < 1 sekunda

• Stały czas odpowiedzi

• Najlepsza metoda na szybkość działania

Oracle BI

OLTP & ODS Systems

Data Warehouse Data Mart

SAN/NAS

In-memory

Cache/DB

Page 32: Jak wiedzieć więcej i szybciej Analizy in-memoryitfest.pl/wp-content/uploads/2012/07/konferencja.pdf · 2013-06-14 · Ekosystem BI/DWH . 16 Przezwyciężanie złożoności z BI

Kokpit BI w trybie in-memory

Page 33: Jak wiedzieć więcej i szybciej Analizy in-memoryitfest.pl/wp-content/uploads/2012/07/konferencja.pdf · 2013-06-14 · Ekosystem BI/DWH . 16 Przezwyciężanie złożoności z BI
Page 34: Jak wiedzieć więcej i szybciej Analizy in-memoryitfest.pl/wp-content/uploads/2012/07/konferencja.pdf · 2013-06-14 · Ekosystem BI/DWH . 16 Przezwyciężanie złożoności z BI

Oracle Analytics In-Memory Accelerator Ekstremalna wydajność

• In-Memory Analytics: ROLAP • 20X better response times

• 50,000 Enterprise users on one appliance

• In-Memory Analytics: MOLAP • 79X better read response times

• 16X better write response times

• In-Memory Analytics: EPM Planning • 4.5X better scalability, response time

• 10,000 Planning users on one appliance

AIM/A

20X

Faster

ROLAP Query Response Time

Se

co

nd

s

AIM/A

79X

Faster

MDX Query Response Time

Se

co

nd

s

Without

AIM/A

AIM/A

4.5X

Faster

EPM Planning Response Time

Se

co

nd

s

Without

AIM/A

Without

AIM/A

Page 35: Jak wiedzieć więcej i szybciej Analizy in-memoryitfest.pl/wp-content/uploads/2012/07/konferencja.pdf · 2013-06-14 · Ekosystem BI/DWH . 16 Przezwyciężanie złożoności z BI

36

Co wchodzi w skład Exalytics’a

In-Memory Analytics Software

Memory Optimized

Essbase

TimesTen for Exalytics

Adaptive In-Memory Tools

1 TB RAM

40 Processing Cores

High Speed Networking

In-Memory Analytics Hardware

Optimized Oracle Business Intelligence Foundation Suite

Page 36: Jak wiedzieć więcej i szybciej Analizy in-memoryitfest.pl/wp-content/uploads/2012/07/konferencja.pdf · 2013-06-14 · Ekosystem BI/DWH . 16 Przezwyciężanie złożoności z BI

37 | © 2011 Oracle Corporation – Proprietary and Confidential

Otwartość na wszystkie źródła Relacyjne, wielowymiarowe lub różne złączenia tych źródeł

OLTP & ODS Systems

Data Warehouse Data Mart

Packaged Applications

(Oracle, SAP, Others)

Excel XML/Office

Business Process

OLAP Sources

Exadata Unstructured & Semi-Structured

Restricted Oracle Internal Use Only

Page 37: Jak wiedzieć więcej i szybciej Analizy in-memoryitfest.pl/wp-content/uploads/2012/07/konferencja.pdf · 2013-06-14 · Ekosystem BI/DWH . 16 Przezwyciężanie złożoności z BI

38 | © 2011 Oracle Corporation – Proprietary and Confidential

Rozwiązanie zoptymalizowane pod Exa

AIM/A

“Speed of Thought” Enterprise

Business Intelligence Platform

InfiniBand

Exadata Database Machine

Pre-integrated, optimized Oracle

Database platform

Fast Interconnect

+

Restricted Oracle Internal Use Only

Page 38: Jak wiedzieć więcej i szybciej Analizy in-memoryitfest.pl/wp-content/uploads/2012/07/konferencja.pdf · 2013-06-14 · Ekosystem BI/DWH . 16 Przezwyciężanie złożoności z BI

39 | © 2011 Oracle Corporation – Proprietary and Confidential

Jedno rozwiązanie a wiele zastosowań

Page 39: Jak wiedzieć więcej i szybciej Analizy in-memoryitfest.pl/wp-content/uploads/2012/07/konferencja.pdf · 2013-06-14 · Ekosystem BI/DWH . 16 Przezwyciężanie złożoności z BI

40 | © 2011 Oracle Corporation – Proprietary and Confidential

Oracle Exalytics In-Memory BI Machine

Najlepsza wydajność (ROLAP/MOLAP)

Szybszy BI!

Więcej zapytań

Więcej możliwości

BI-EPM integration

Smarter apps

Visualization

Niższy koszt

Wykorzystaj istniejące źródła danych

Implementacja i TCO

Mniejsze ryzyko

Nie ponoś dodatkowych kosztów

Taniej i bezpieczniej

Szczegółowość

Wielu użytkowników

Spatial

Mobile

… i więcej

BI Foundation Suite

In-Memory Analytics Software

• Exalytics (WLS EE)

• TimesTen for Exalytics

• Memory optimized Essbase

• Adaptive in-memory tools

In-Memory Analytics Hardware

• 40 Intel Xeon E7 processors

• 1 TB DRAM

• 3.6 TB HDD storage

• Infiniband or 10gE

Page 40: Jak wiedzieć więcej i szybciej Analizy in-memoryitfest.pl/wp-content/uploads/2012/07/konferencja.pdf · 2013-06-14 · Ekosystem BI/DWH . 16 Przezwyciężanie złożoności z BI

41 | © 2011 Oracle Corporation – Proprietary and Confidential

Page 41: Jak wiedzieć więcej i szybciej Analizy in-memoryitfest.pl/wp-content/uploads/2012/07/konferencja.pdf · 2013-06-14 · Ekosystem BI/DWH . 16 Przezwyciężanie złożoności z BI