adattarhazak oracle bcs · descent, backpropagationés genetikus algoritmus neurális hálózatok...

Fekete ZoltánBI&W termékmenedzserOracle Hungary

Adattárházak

Adattárházak

?Bevezetés

?Oracle infrastruktúra

?A betöltési oldal - ETL

?Jelentések

?OLAP

?Adatbányászat

Üzleti környezetA kihívások...

TechnológiailehetoségekTechnológiailehetoségek GlobalizációGlobalizáció

VersenyVerseny

Rövid ideig fennállóversenyelonyök

Rövid ideig fennállóversenyelonyök Ügyfél lojalitás

változásaÜgyfél lojalitás

változása

DeregulációDereguláció

Piac ismeretAz üzletmenet megértése

Adattárház

?Az ‘üzlet’ a vállalat versenyképességének növeléséhez kéri az informatika hozzájárulását

?Több információt igényel az ügyfelekrol,piacokról és ugyanakkor a belso muködésrol is

?Integráltságot követel meg, egy alapvetoen funcionalitás és üzletágak szerint széttagolt informatikai környezetben

Rakjuk össze az adatokatAdat és tudás

INTEGRÁCIÓ

• sok adat

• egy forrás mindenkinek

• Ido!

• Infrastruktúra

• BI alap

Adattárházelemzésre optimalizált, nem tranzakciókra

?Terület orientált – témákra koncentrál

?Integrált – sok forrás, konzisztens formátum

?Nem változékony – ami bekerült, nem változik

?Idoben változó – hosszú idon át gyujtött adatok

Adattárház, elemzésre optimalizált

Kevés

OLTPKomplex adatstr., 3NF

AdattárházTöbbdimenziós adatstr.

Indexek

Join-ok

Duplikált adat

Származtatott,aggregált adat

Sok

Sok Néhány

Normalizált Denormalizált

Ritka Gyakori

Normalizált

OLTP Adattárház

Séma

Muveletek

Történeti adatok

Bevitel, kis keresések

Hetek, hónapok

Nagy keresések

Idosorok, trendek

TerhelésAd-hoc, rugalmasJól tervezheto

Adat módosítás

Betöltés ütem.Felh. nem mód.

Gyakori módosítás

Nem / részbennormalizált

Csillag séma

Az Oracle infrastruktúra

CWM Metadata

E-Business Intelligencia csomagE-Business Intelligencia csomag

WebWebadatadat

Külso Külso adatadat

OperatívOperatívadatadat

WarehouseBuilder

WarehouseBuilder

Új üzleti intelligencia irányvonalOracle 9i az E-üzleti intelligencia alapja

9iApplication

Server

9iApplication

Server BI BeansBI Beans

DiscovererDiscoverer

ReportsReports

PortalPortal

Oracle9i

ETL Infrastructureand

OLAP Services and

Data Mining

Oracle9i

ETL Infrastructureand

OLAP Services and

Data Mining

Oracle9i az e-üzleti intelligencia platformja

Oracle9i Databaseegyetlen üzleti intelligencia adatszerver

Metadata

Relációs

ETL

OLAP

Adatbányászat

Oracle9i Alkalmazás szerverFuttatja az összes üzleti intelligencia lakalmazást

Portál

BI komponensek

Webhely elemzés

Metadata

Lekérdezés és Jelentéskészítés

ETL

Extraction, Transformation,

Load

Oracle Warehouse Builder

1 Forrás Forrás defdef..

A cél DW tervezéseA cél DW tervezése22

Forrás és cél Forrás és cél összekapcsolásaösszekapcsolása3

Kód generálásKód generálás4

WarehouseWarehouse létrehozásalétrehozása5

Adatkinyerés és transzformációAdatkinyerés és transzformációAdatkinyerés és transzformáció66

Oracle9i

• Relational• Files• Legacy• Applications

Tervezés és alkalmazás automatizálás

Oracle Warehouse Builder 3iKiterjesztett tervezési környezet

? Fejlesztett mappelés– Többlépcsos

– Több cél tábla

? Kifejezés építo (Expression Builder)

Transzformációs elemkészlet? Komplex text források

feldolgozása ? PL/SQL visszafejtés

ETL Infrastruktúra9i egy eroteljes transzformációs motorrá válik

?Adat változás érzékelés?Külso táblák?Tábla függvények?Multi-tábla insert?Upsert?Felfüggesztett

parancsvégrehajtás?Párhuzamos adat pipeline

Oracle9iOracle9i

ETLInfrastruktúra

Külso táblák

?Külso adatok mint adatbázis táblák jelennekmeg

– metaadat definiálás DDL utasításokkal– adatbázisból közvetlenül elérheto SQL, PL/SQL,

Java nyelveken– nincs szükség ideiglenes tárolásra (staging)– állományok párhuzamos feldolgozása

szükségtelenné teszi az állományok felszabdalását

?Csak olvasásra alkalmasak, nem indexelhetok

Tábla függvények

stage 1 T 1 T 2stage 2

forrás célTranszformáció köztes tárolókkal

T 1 T 2

T 1

T 1

T 2

T 2

célforrás

Adatcsövezett, párhuzamos transzformáció

… Helyette ...

Lekérdezési teljesítményLekérdezési teljesítmény

Materialized ViewsMaterialized ViewsMaterialized Views

Index & Join MethodsIndex &Index & Join MethodsJoin Methods

Parallel OperationsParallelParallel OperationsOperations

PartitioningPartitioningPartitioning

QueryOptimizer

QueryOptimizer

• The best approach for every query• integrált• átfogó

•• The best approach for The best approach for everyevery queryquery•• integráltintegrált•• átfogóátfogó

Mi a ParticionálásMi a Particionálás

CREATE TABLECREATE TABLE salessales((salessales__idid NUMBER,NUMBER,timetime__idid DATE,DATE,customercustomer__idid NUMBER,NUMBER,productproduct__idid NUMBER,NUMBER,salessales__amountamount NUMBER)NUMBER)

PARTITION BY RANGE (PARTITION BY RANGE (timetime__idid))(PARTITION jan00 VALUES (PARTITION jan00 VALUES

LESS THAN '01LESS THAN '01--FEBFEB--2000',2000',PARTITION feb00 VALUES PARTITION feb00 VALUES

LESS THAN LESS THAN ‘‘0101--MARMAR--2000',2000',PARTITION mar00 VALUES PARTITION mar00 VALUES

LESS THAN '01LESS THAN '01--APRAPR--2000');2000');

Application

SQLSQL

MarJanFeb

SalesTulajdonságok …Tulajdonságok …

Haszon …Haszon …

• Táblák és indexek kisebb, jobban menedzselheto részekre bonthatóak.

• Táblák és indexek kisebb, jobban menedzselheto részekre bonthatóak.

• Menedzselhetoség: ‘oszd meg és uralkodj’ technika a nagy objektumok kezeléséhez

• Teljesítmény: partíció kihagyás

• Elérhetoség: partíció függetlenség

• Transzparens az alkalmazásoknak

•• MenedzselhetoségMenedzselhetoség: : ‘‘oszd meg oszd meg és uralkodjés uralkodj’’ techntechnikaika a nagy a nagy objektumok kezeléséhezobjektumok kezeléséhez

•• TeljesítményTeljesítmény: part: partíció íció kihagyáskihagyás

•• ElérhetoségElérhetoség: part: partíció íció függetlenségfüggetlenség

•• TransTranszzparenparens az s az alkalmazásoknakalkalmazásoknak

Jelentések, adatelemzés

Eltolódás a magasabb hozzáadott érték felé

Kivételkeresés

Jelentéskészítés

Ad Hoc lekérdezés

Üzleti intelligenciaStratégiai

Reaktív

Menedzselt

Az adattárház felhasználása

Elemzés

ExpressExpressDiscoverer

ReportsReports

Önkiszolgáló adatpublikálás Lekérdezett adatok átadása az

Expressnek

Lefúrás a Discovererbe

Lekérdezés definiciókátadása a

Reportsnak

Jelentések készitése az

Express adataiból

AdatbányászatAdatbAdatbáánynyáászatszat

Standard és ad-hoc jelentések

?Melyik a 10 legnyereségesebb vásárlónk 2001. szeptemberben?

?Melyek azok a területek, ahol a legmagasabb a terv-tény eltérés?

?Mi volt az értékesítés megoszlása csatornákszerint?

?Kik azok a szállítók, akik idoben szállítottak és nem merült fel minoségi probléma?

?Hogyan alakultak a mérési veszteségek az elmúlt évben és mi volt a megoszlásuk?

?...

Oracle 9i AS Üzleti IntelligenciaLekérdezés és jelentéskészítés

Portál

BI komponensek

Jelentéskészítés és lekérdezés

Web Lap elemzés

Oracle9Oracle9i i ASAS

DiscovererEgyszeruenhasználható lekérdezoés elemzo eszköz nagyteljesítmény igényekre

ReportsHatékony vállalati jelentéskészíto megoldás internetes és hagyományos adatpublikálásra

EngineEngineEngine Engine

9iAS Reports

Web Listener

Multi TieredServer

Oracle9iAS Reports Alkalmazás szerver alapú jelentéskészítés

?Kiterjedt információ publikálás

– Browser– Email– Wireless

?A jelentések dinamikusan készülnek a szerveren ?Batch idozítés ?Kimeneti cache ?Futásideju tesreszabás

(XML)

Discoverer Ad-hoc lekérdezés és elemzés az IAS-ban

? 9iAS Internetes kliensek:– Discoverer Viewer:

?HTML kliens támogatás?Szélesköru felhasználásra

– Discoverer Plus: ?Pure Java, Firewall támogatás?Power User számára

? Admininisztrátor– EUL metaadat elokészítés – az IDS része

Discoverer PlusDiscoverer Plus

Discoverer ViewerDiscoverer Viewer

On-line Analytical Processing

OLAP

OLAP követelmények

?Hagyományos elemzo alkalmazások– Komplex analitikus lekérdezések és tervezés– „Azonnali válaszok” – Nagy számú konkurens felhasználó

?On-line üzleti intelligencia követelmények– Nagymértékben skálázható– Nyílt elérés– Menedzselhetoség

Többdimenziós adatbázis

- Az adatelemzési és tervezési szempontok, azazdimenziók: projektek,termékek, alapanyagok,

szervezeti felépítés, kategória (fokönyvi sorok), ido- A dimenziók elemei hierarchiákba csoportosíthatók (pl. év-negyedév-hónap).

- A dimenziókra adatkockák és üzleti modellek épülnek.

- Származtatott értékek.- Riport, grafikon, munkalap.

Idoszak

SzervezetTermék

termelési

tervTermék

Multidimenziós tárolás A végfelhasználók saját logikai nézete

ügyintézo nézete Pénzügyi igazgató nézete

Termék manager nézete

IdoszakQ1 Q2 Q3 Q4

Termék

Termék1

Termék2

Termék3

Termék4

...

Telep 1Telep 2

Telep 3Szervezet

Telephely igazgató nézete

Az adatok egyszeru lépésekkel választhatók ki

?Több hierarchia

?Lefúrási lehetoség

?Kiválasztás szint, tulajdonság, család alapján

?Kivételkeresés

?Legjobb n, legrosszabb n

?Egyezéses kiválasztás

Felhasználói infrastruktúra

?Biztonság?Elérési jogok?Adatelosztás

?Elore definiált jelentések?Ad-hoc elemzések

?Web, adatbevitel is

Oracle Financial Analyzer

Oracle Financial Analyzer:szélesköru kontrolling funkciók• Elemzés

– Döntési forgatókönyvek (‘Mi lenne ha elemzés’)– Idosoros elemzés, trend felállítás, mutatók

• Tervezés– Null és bázis tervezés– Fentrol le, lentrol fel tervezés– Gördülo tervezés– Terv változatok, összehasonlítás

• Ellenorzés– Egyszeru terv-tény-elorejelzés összehasonlítás– Kivétel keresés

• OFA-Fokönyv kapcsolat

Az

OLAP alap:

Express Server

Express Server

Az Oracle Express a világ legskálázhatóbb és leggyorsabb OLAP szervere.

Az Express APB-1 OLAP világcsúcsot megsem közelítik más szállítók.

Lekérdezés, számítás, aggregálás...

OLAP hátrányok ma

Relációs adatbázisRelációs adatbázis Részbeni OLAP megoldás

Multidimenziós adatbázisMultidimenziós adatbázis

Replikált adat Többlet adminisztráció

Elérhetetlen az SQL kliensek számára

Korlátozott skálázhatóság

OLAP ServicesMi ez, és mit csinál?

? Elemzo függvényeket és kalkulációkat ad az adatbázishoz

– Multimenzionális moldell biztosít

– Túlmutat az SQL lehetoségein

? Fejlesztési platformot biztosít az elemzo alkalmazások számára

– Adat kezelést, API felületet és fejleszto eszközöket biztosít

– Nem csak egy back end adatbázis szolgáltatás

Analitikus alkalmazás platform

Oracle9iOracle9i

Skálázható adattárIntegrált meta adatokSummary managementSQL elemzo függvények

Oracle9i OLAP Oracle9i OLAP ServicesServicesJava OLAP APIPredictive analysis functions

Oracle Oracle Business Intelligence Business Intelligence BeansBeans

Gyors alkalmazás fejlesztésElemzésre kész

Oracle9i OLAP Services

Forecasts · Models · AllocationsConsolidations · Scenarios · Custom Functions

Oracle Oracle Relational Database Relational Database

OLAP OLAP ServicesServices

MetadataMetadata

Java OLAP APIJava OLAP API

Business Intelligence BeansBusiness Intelligence Beans

Query Query ProcessorProcessor

DataData

Metadata Metadata ProviderProvider

Analytic Workspace Analytic Workspace

SQL SQL GeneratorGenerator

DataData

MultidimensionalMultidimensional

EngineEngine

MetadataMetadata

Metadata Metadata ProviderProvider

Data Warehouse - Query and Reporting

Adatbányászat

Mi az adatbányászat?

“Röviden, az adatbányászat

rejtett minták és kapcsolatok feltárása

az adattömegben, a jobb üzleti döntések

elosegítésére”

-- Robert Small, Two Crows

Adatbányászati feladatok

?Az ügyfél viselkedés megértése

?Sok adat gyors vizsgálata

?Jobb modellek építése

?BI létrehozás

?CRM adatok elemzése

?Az ügyfél kapcsolatok javítása

Adatbányászattal integrált megoldások

?Az adatokban rejtett információ gyors felszínre hozása

?Az Oracle adatbányászat prediktív és klasztering komponensei a részletes adatokból adnak információt

?Teljessé teszi az adattárház megoldásokat

?Növeli az IT infrastruktúra értékét és csökkenti a megtérülés idejét

Egy példa - tanuljunk a múltból?Az adattárházból:

– válogassuk le az összes (leíró és viselkedési) részletadatot az elozo évben elvándorolt ügyfelekrol

?Használjunk adatbányászatot:– milyen közös jellemzokkel rendelkeznek ezek az

(volt) ügyfelek és súlyozzuk az egyes jellemzoket az elvándorlás szempontjából

?Használjunk kampány menedzsmenteszközöket:

– válogassuk le jelenlegi ügyfeleink közül azokat, akik megfelelnek a felismert (elvándorló) tulajdonsághalmaznak - hiszen ok esélyesek az elvándorlásra - és indítsunk akciót ezen ügyfelek lojalitásának növelésére

Döntési fák

? Fák (gráf) az adatösszefüggéseket szemléltetik

? Statisztikai módszerek alapján épülnek fel

? Tipikus alkalmazások– Vásárlók / válaszolók

– Hibázók / csalók / elvándorlók

Jövedelem > 80 ,000 Ft /h ó

A k t . m u n k a h e l y > 5 év M a g a s tartozás

Nem

Nem Nem

Alacsony k.

Igen

N a g y k.

Igen

Alacsony k.N a g y k.

Igen

Hiteligénylési kockázat becsléseHiteligénylési kockázat becslése

Neurális hálózatok

?Az idegrendszer biológiai komplexitását az idegsejtek kapcsolatait hivatott modellezni

? “Fekete doboz”, A modellek nehezen szemléltethetoek

? Lineáris és nem lineáris problémákat is képes modellezni

?Kezelni kell a túltanulást

1

2

3

4

5

6

W14

W25

W36

W56

W46W15

W13W23

W24

Modell típusok?Klasszifikációs és regressziós fák

(C&RT)– Klasszifikáció és predikció bináris, többosztályú és folytonos változókra– Csökkenés függvények: gini és entropy– Nyeso függvények: cost és gini– Maximum csúcs szám és suruség függvények a fa méret szabályozáshoz– Eloszlás és költség opciók

?Neurális hálózatok– Egyszeru tanítás, tanítás és tesztelés, kereszt -validálás– Tanítás és teszteléshez automatikus megállás– Klasszifikáció és predikció bináris, többosztályú és folytonos változókra– Aktivációs függvények: sigmoid, hypertangent és linear– Tanítási algoritmusok: conjugate gradient, modified Newton, steepest

descent, backpropagation és genetikus algoritmus neurális hálózatok optimizálásához– Cost függvények: square, pnorm és information divergence

?k-legközelebbi szomszédok (Memória alapú dönt.)– Tanítható k-legközelebbi szonszédok– Klasszifikáció és predikció bináris, többosztályú és folytonos változókra– Szomszédok száma és bias opciók

?Klasztering– k-közép módszer, centroidok– Input mezokre felhasználó által definiált súlyok– Interaktív grafikus elemzés– Szabályok

++

+

+

+ +

++

---

-

- -

--

Induction TreeTree

?

++

+

+

+ +

++

---

-

- -

--

Neural NetsNet

?

++

+

+

+ +

++

---

-

- -

--

k-Nearest NeighborsMatch

?

ClusteringCluster

?? ?

???

? ??

?? ?

??? ??

OMO Data Mining eredmények - Lift ábra

LIFTLIFT

Data Mining az Oracle9i Database-be ágyazva

?Több algoritmus– Naïve Bayes (osztályozás) - supervised

– Association Rules (asszociáció) - unsupervised

– Fejlodés: C&RT, neurális hálózatok, SOM...

?Alapértelmezett és részletes paraméterezés

?Több féle predikció– Adott esemény valószínusége

– A legvalószínubb esemény Data Mining

Predikció és klasszifikáció

Korábban rejtett információk a hívóközpont kezelonek.

Predikció és valószínuség.

Oracle9i Perszonalizáció“Valós ideju ajánlási motor”

?Valós ideju ajánlási motor, 1:1 marketing kapcsolatok eléréséhez az Interneten

– Cross-selling és up-selling

– Web lap tartalom testreszabás, pl. hirdetések

Tradicionális adatbányászat

Valós idejuSession

környezet+

Oracle9i Personalizationarchitektúra

Historikus adatok

Web Application

Web Application

Mobile Application

Mobile Application

Call Center ApplicationCall Center Application

Campaign ManagementCampaign

Management

Javaslat kérés

Predictívmodellek

Recommendation Engine Farms

RecommendationsHello! We have recommendations for you.

Ismét a rejtett összefüggések...... az elemzok szerepe

Integráció a BI Portál segítségével

Sokoldalú elemzésSokoldalú elemzés

VállalatiVállalatijelentéskészítésjelentéskészítés

WeblapWeblapelemzéselemzés

AdAd--Hoc Hoc LekérdezésLekérdezésés elemzésés elemzés