andmeladu ja mitmemõõtmeline vaade andmetele

Andmeladu ja Mitmemõõtmeline vaade

andmetele

SEMINAR POLITSEIAMETIS11.09.2006HENN SARV

WWW.SARV.EE/FTP/HENN/POLAMET

Ariprotsess versus analüüs

Andmed tekivad äriportsessis

Neid talletatakseAndmeid

analüüsitakse otsustusprotsessis

Otsused mõjutavad äriprotsessi

Infosüsteemi ootused

Äriprotsessis – Business Support Systems Hõlbutsada äriprotsess Kiiresti leida üksikuid Kiiresti talletada toiminguid Täpsus ja kiirus andmete muutmisel Reaalajas toimingud - OLTP

Otsustusprotsessis – Desicion Support Systems Hõlbutsada otsustusprotsessi Kiiresti leida seoseid, hulki Kiiresti teha üldistusi Reaalajas analüüs - OLAP

OLAP versus OLTP

OLTPOLTP OLAPOLAP

Äriprotsess Palju tabeleid Normaliseeritud Jooksvad andmed Muutuvad andmed Mõõdukalt indekseid

Analüüs Vähe tabeleid Denormaliseeritud Andmed ajas Staatilised andmed Palju indekseid

Normaliseerimine

3-normaalkuju3-normaalkuju denormaliseerituddenormaliseeritud

Kiired muudatused Väike andmemaht Optimeeritud

kindlatele muudatustele (toimingutele)

Kiired päringud Suur andmemaht Optimeeritud

“suvalistele” päringutele

Andmelao komponendid

Data Warehouse

Andmete poole pöördumine (vaade)

Kasutaja rakendusLähteandmed

Andmete liikumine (ülekanne)

AndmehoidlaAndmeaidad

DW terminid

Lähteandmed (OLTP-süsteemid)Andmeladu (andmete kogumiskoht, ka kogu

DW)Andmeait (spetsiaalselt korrastatud

analüütilised andmed)

Andmekaevandus – kogutud andmete baasil uue info loomine

Andmeülekanne

Andmete reorganiseerimineAndmete teisendusedAndmete vääristamineAndmete valideerimine

Andmekaevamise võtted

Kruvimine, puurimine, drill Down – sisse, detailiseerimine Up – välja, üldistamine Läbi – cross, kõrvutamine Üle – through, lähteandmete lappamine

Statistilised meetodid Klastrid Otsustusteed

Andmelao ülesehitus

Dimensioonid Kirjeldavad tabelid andmete mingi aspekti kohta Palju veerge (tunnuseid) Keskmiselt või palju kirjeid

Faktitabelid Andmetabelid ühe või mitme äriportsessi tegelike

andmetega Vähe veerge (võtmed ja faktid) Väga palju ridu

Tähtskeem

Fact TableDimension Table

Employee_DimEmployee_DimEmployee_DimEmployee_Dim

EmployeeKeyEmployeeKey

EmployeeID...

EmployeeID...

Time_DimTime_DimTime_DimTime_Dim

TimeKeyTimeKey

TheDate...

TheDate...

Product_DimProduct_DimProduct_DimProduct_Dim

ProductKeyProductKey

ProductID...

ProductID...

Customer_DimCustomer_DimCustomer_DimCustomer_Dim

CustomerKeyCustomerKey

CustomerID...

CustomerID...

Shipper_DimShipper_DimShipper_DimShipper_Dim

ShipperKeyShipperKey

ShipperID...

ShipperID...

Sales_FactSales_Fact

TimeKeyEmployeeKeyProductKeyCustomerKeyShipperKey

TimeKeyEmployeeKeyProductKeyCustomerKeyShipperKey

Sales AmountUnit Sales ...

Sales AmountUnit Sales ...

Dimensioonid

LiikmedTasemedHierarhiad

Dimensioonid, tasemed, liikmed

Product DimensionNeli taset: All,

Category, Sub-Category, Product

Category taseme liikmed: Bread, Dairy, Meat

Faktitabel

Suur, kitsas ja lameVälisvõtmed

Naturaalvõti versus surrogaatvõti

Faktid Liidetavad Loendatavad Osaliselt liidetavad

Degenereeritud dimensioonid

Q4Q1 Q2 Q3Time Dimension

Produ

cts D

imen

sionDallas

Denver

Chicago

Mar

kets

Dim

ensi

on

Apples

CherriesGrapes

AtlantaSales Fact

Melons

Mitmedimensiooniline vaade andmetele

Mõned tüüpilised dimensioonid

Aeg Võti Erinevad kalendrid Erinevad skaalad Erinevad tunnused

Isik Võti Isikukood Nimed Muud jaotused