netezza – to pravé řešení pro vaše náročné analytické potřeby
DESCRIPTION
Netezza – to pravé řešení pro Vaše náročné analytické potřeby Martin Pavlík ([email protected]) 14 . Června 2011. Napříč odvětvími Retail Telekomunikace Digitální media Zdravotnictví Věda a výzkum Finanční instituce Veřejný sektor Energetika. Co Netezza dodává - PowerPoint PPT PresentationTRANSCRIPT
Netezza – to pravé řešení pro Vaše náročné analytické potřeby
Martin Pavlík ([email protected])14. Června 2011
2
Napříč odvětvímiRetail
TelekomunikaceDigitální media
ZdravotnictvíVěda a výzkum
Finanční instituceVeřejný sektor
Energetika
Co Netezza dodáváVysoce výkonné
appliance
Řešení pro ukládání a dotazování nad PB dat
Datové sklady a pokročilé analýzy
FilozofieJednoduchost po všech
stránkách
Akvizice IBM11.11.2010
Netezza se stává součástí portfolia produktů brandu
Information Management
Co je Netezza?
Firma
Špičková technologie pro oblast datových
skladů
Zaměstnanci500+
Zákazníci500+
Reference400+
Kde působí?Po celém světě
Zejména však v severní Americe
Co Netezza dodáváVysoce výkonné appliance
Řešení pro ukládání a dotazování se nad PB datDatové sklady a pokročilé
analýzy
3
Co Netezza dodáváVysoce výkonné appliance
Řešení pro ukládání a dotazování se nad PB dat
Datové sklady a pokročilé analýzy
Rychlost
Škálovatelnost
Jednoduchost
Chytrost
Co je to appliance v případě Netezzy?
• Aby to bylo komplikované• Aby to bylo hooooodně drahé
Proč appliance?
• Aby to EFEKTIVNĚ FUNGOVALO
A co vlastně má efektivně fungovat?• Vyhodnocování analytických / ad-hoc dotazů
• Není OLTP databázovým serverem– Není vhodná jako db pod ERP, CRM, ...
Co Netezza není?
Kde Netezza fakticky nemá konkurenci?• Náročné
• Analytické dotazy• Ad-hoc dotazy
• Když jsou konvenční technologie maximálně vyladěné• pro konkrétní dotazovací potřebu
• Má co do činění s velmi malým objemem dat
Kdy Netezza obvykle není rychlejší?
AnalytikIT
Potřeboval bych vyhodnotit závislost mezi vzděláním a velikosti bytu.
OK. Musíme udělat řadu statistik, nastavit správně indexy a partitioning. 5
dní práce to spraví
Analytik IT
Paráda. Mockrát děkuji.Hned to zkusím.
Hotovo. Můžete spustit Váš analytický dotaz.
Analytik IT
Výborně. Vidím tady pěkné závislosti. Teď bych se na to potřeboval podívat ještě jinak
Ale ale, to jsou k nám hosti. No, tak to máme dalších 5 dní
práce
Neeee !!!Tady se nedá pracovat !
A teď s Netezzou ...
AnalytikIT
Potřeboval bych vyhodnotit závislost mezi vzděláním a
velikosti bytu.
Analytik IT
Výborně. Vidím tady pěkné závislosti. Teď bych se na to potřeboval podívat ještě jinak.S Netezzou můžu dotaz zadat hned.
Odpověď bude za stejnou dobu
IT se může věnovat něčemu jinému
• MPP architektura– Koncept “Shared Nothing”– Rozdělení práce na několik menších úloh
• Velká úloha je rozdělena vertikálně do série menších úloh• Menší úlohy běží paralelně / naprosto nezávisle• Pro každou menší úlohu je přiděleno stejné množství fyzických zdrojů• Komunikace mezi jednotlivými úlohami je jen na začátku a konci
• Přínosy– Obrovské úlohy jsou vykonány ve významně kratším čase– Maximální využitelnost zdrojů
Masivní paralelní architektura“Rozděl a panuj”
Massively Parallel Intelligent Storage
1
2
3
920
ŸŸŸ
Network FabricSMP Host
Front End
Netezza TwinFin Appliance
High-Speed Loader/Unloader
ODBC 3.XJDBC Type 4
OLE-DBSQL/92
Execution Engine
SQL Compiler
Query Plan
Optimize
Admin
Source Systems
Client
High Performance
Loader
3rd PartyApps
DBA CLI
ETL Server
SOLARIS
LINUX
HP-UX
AIX
WINDOWS
TRU64
High-PerformanceDatabase EngineStreaming joins,
aggregations, sorts
S-Blade
Processor &
streaming DB logic
S-Blade
Processor &
streaming DB logic
S-Blade
Processor &
streaming DB logic
S-Blade
Processor &
streaming DB logic
High-PerformanceDatabase EngineStreaming joins,
aggregations, sorts
S-Blade
Processor &
streaming DB logic
S-Blade
Processor &
streaming DB logic
S-Blade
Processor &
streaming DB logic
S-Blade
Processor &
streaming DB logic
Execution Engine
Massively Parallel Intelligent Storage
1
2
3
920
ŸŸŸ
Network FabricSMP Host
Front End
Netezza TwinFin Appliance
High-Speed Loader/Unloader
SQL Compiler
Query Plan
Optimize
Admin
SQL
1 2 3
1 2 3
1 2 3
1 2 3
Snippets
1 2 31 2 3
SQL
Source Systems
Client
High Performance
Loader
3rd PartyApps
DBA CLI
ETL Server
SOLARIS
LINUX
HP-UX
AIX
WINDOWS
TRU64
Zpracování toku dat jednotkou S-BladeJádro (Core) FPGA Jádro CPU
Dekomprese dat
Projekce Selekce,Autorizace
Komplexní ∑Joiny, Aggr, atd.
DatováCache
Select sex, age, count(*)From MultiBillionRowTable
Where BirthDate < ’01/01/1967’ And PostCode like ’SW%’
Group by sex, age;
Každý S-Blade obsahuje 8 n-tic s vlastním:• Diskem• Datovou cache• Jádrem FPGA jednotky• Jádrem CPU
High-PerformanceDatabase EngineStreaming joins,
aggregations, sorts, etc.
S-Blade
Processor &
streaming DB logic
S-Blade
Processor &
streaming DB logic
S-Blade
Processor &
streaming DB logic
S-Blade
Processor &
streaming DB logic
Asymmetric Massively Parallel Processing™
Massively Parallel Intelligent Storage
1
2
3
920
ŸŸŸ
Network FabricSMP Host
Front End
Netezza TwinFin Appliance
High-Speed Loader/Unloader
SQL Compiler
Query Plan
Optimize
Admin
1 2 3
1 2 3
1 2 3
1 2 3
Consolidate
Execution Engine
ODBC 3.XJDBC Type 4
OLE-DBSQL/92
Source Systems
Client
High Performance
Loader
3rd PartyApps
DBA CLI
ETL Server
SOLARIS
LINUX
HP-UX
AIX
WINDOWS
TRU64
18
The Netezza TwinFin™ Appliance
SQL CompilerQuery Plan
OptimalizátorAdministrace
Každý disk je rozdělen na 3 oblasti:Uživatelská data„Swap“ „Mirror“
SMP Servery
Jednotky S-Blade™ (s databázovým
akcelerátorem FPGA)
Disky
19
Produkty rodiny Netezza
Skimmer TwinFinVětšinou jako:• systém pro vývoj• systém pro testování
• Datový sklad• Náročné analytické úlohy
1 TB to 10 TB 1 TB to 1.5 PB
20
Základní přínosy řešení NETEZZA
Konkurenční technologie mají obrovské množství parametrů a databázových objektů, které pomáhají výrazně zlepšovat výkonnost systémů.
Musejí být tedy lepší.
Netezza má celou řadu z nich taky, ale jejich hodnoty si spravuje sama a nezatěžuje tím uživatele.
Používá tedy vlastně jakési implicitní hodnoty parametrů
Jenže v případě Netezzy platí:
Výkonnost systému s implicitními parametry je dostatečnáVýkonnost systému s implicitními parametry je dostatečná
Tak takhle nějak jsem se na to tvářil poprvé, podruhé, ... a ještě mockrát, ...
Těším se na Vaše dotazy
Martin Pavlík+420 731 435 691