Download - Andmeladu ja Mitmemõõtmeline vaade andmetele
Andmeladu ja Mitmemõõtmeline vaade
andmetele
SEMINAR POLITSEIAMETIS11.09.2006HENN SARV
WWW.SARV.EE/FTP/HENN/POLAMET
Ariprotsess versus analüüs
Andmed tekivad äriportsessis
Neid talletatakseAndmeid
analüüsitakse otsustusprotsessis
Otsused mõjutavad äriprotsessi
Infosüsteemi ootused
Äriprotsessis – Business Support Systems Hõlbutsada äriprotsess Kiiresti leida üksikuid Kiiresti talletada toiminguid Täpsus ja kiirus andmete muutmisel Reaalajas toimingud - OLTP
Otsustusprotsessis – Desicion Support Systems Hõlbutsada otsustusprotsessi Kiiresti leida seoseid, hulki Kiiresti teha üldistusi Reaalajas analüüs - OLAP
OLAP versus OLTP
OLTPOLTP OLAPOLAP
Äriprotsess Palju tabeleid Normaliseeritud Jooksvad andmed Muutuvad andmed Mõõdukalt indekseid
Analüüs Vähe tabeleid Denormaliseeritud Andmed ajas Staatilised andmed Palju indekseid
Normaliseerimine
3-normaalkuju3-normaalkuju denormaliseerituddenormaliseeritud
Kiired muudatused Väike andmemaht Optimeeritud
kindlatele muudatustele (toimingutele)
Kiired päringud Suur andmemaht Optimeeritud
“suvalistele” päringutele
Andmelao komponendid
Data Warehouse
Andmete poole pöördumine (vaade)
Kasutaja rakendusLähteandmed
Andmete liikumine (ülekanne)
AndmehoidlaAndmeaidad
DW terminid
Lähteandmed (OLTP-süsteemid)Andmeladu (andmete kogumiskoht, ka kogu
DW)Andmeait (spetsiaalselt korrastatud
analüütilised andmed)
Andmekaevandus – kogutud andmete baasil uue info loomine
Andmeülekanne
Andmete reorganiseerimineAndmete teisendusedAndmete vääristamineAndmete valideerimine
Andmekaevamise võtted
Kruvimine, puurimine, drill Down – sisse, detailiseerimine Up – välja, üldistamine Läbi – cross, kõrvutamine Üle – through, lähteandmete lappamine
Statistilised meetodid Klastrid Otsustusteed
Andmelao ülesehitus
Dimensioonid Kirjeldavad tabelid andmete mingi aspekti kohta Palju veerge (tunnuseid) Keskmiselt või palju kirjeid
Faktitabelid Andmetabelid ühe või mitme äriportsessi tegelike
andmetega Vähe veerge (võtmed ja faktid) Väga palju ridu
Tähtskeem
Fact TableDimension Table
Employee_DimEmployee_DimEmployee_DimEmployee_Dim
EmployeeKeyEmployeeKey
EmployeeID...
EmployeeID...
Time_DimTime_DimTime_DimTime_Dim
TimeKeyTimeKey
TheDate...
TheDate...
Product_DimProduct_DimProduct_DimProduct_Dim
ProductKeyProductKey
ProductID...
ProductID...
Customer_DimCustomer_DimCustomer_DimCustomer_Dim
CustomerKeyCustomerKey
CustomerID...
CustomerID...
Shipper_DimShipper_DimShipper_DimShipper_Dim
ShipperKeyShipperKey
ShipperID...
ShipperID...
Sales_FactSales_Fact
TimeKeyEmployeeKeyProductKeyCustomerKeyShipperKey
TimeKeyEmployeeKeyProductKeyCustomerKeyShipperKey
Sales AmountUnit Sales ...
Sales AmountUnit Sales ...
Dimensioonid
LiikmedTasemedHierarhiad
Dimensioonid, tasemed, liikmed
Product DimensionNeli taset: All,
Category, Sub-Category, Product
Category taseme liikmed: Bread, Dairy, Meat
Faktitabel
Suur, kitsas ja lameVälisvõtmed
Naturaalvõti versus surrogaatvõti
Faktid Liidetavad Loendatavad Osaliselt liidetavad
Degenereeritud dimensioonid
Q4Q1 Q2 Q3Time Dimension
Produ
cts D
imen
sionDallas
Denver
Chicago
Mar
kets
Dim
ensi
on
Apples
CherriesGrapes
AtlantaSales Fact
Melons
Mitmedimensiooniline vaade andmetele
Mõned tüüpilised dimensioonid
Aeg Võti Erinevad kalendrid Erinevad skaalad Erinevad tunnused
Isik Võti Isikukood Nimed Muud jaotused