bdm_21012014_5
DESCRIPTION
upp slajdovi 8TRANSCRIPT
-
SKLADITE PODATAKA 2.0
PROF. DR.SC. DRAENA GAPAR21.01.2014.
UPRAVLJANJE POSLOVNIM PODACIMA
-
TEST 20 MINUTA
-
PITANJA ZA DISKUSIJU
| Prva generacija skladita podataka otvorena pitanja
| DW 2.0
| Osnovne znaajke DW 2.0
| DW 2.0 komponente
-
PRVA DW GENERACIJA OTVORENA PITANJA
| Naglasak na izgradnji DW i pohranjivanju podataka, danas na odravanju
| Integriranje podataka se dominatno odnosilo na numerike, transakcijske podatke
| Nije bilo razmiljanja o ivotnom ciklusu podataka
| Upravljanje meta i matinim podacima | U poetku je DW bilo novitet, danas je osnovica
za potporu odluivanju| U poetku je DW vieno kao podatkovna osnovica
za statistike analize, danas je to istraivako (exploration) DW
-
DW 2.0. GENERACIJA
| Nova paradigma se fokusira na:y Osnovne tipove podatakay Podatkovne strukturey Kako povezati podatke i formirati mono skladite
podataka koje ispunjava potrebe organizacije za informacijama
-
DW 2.0. GENERACIJA| Trokovi DW infrastrukture se ne poveavaju
kontinuirano | Infrastruktura se dri na okupu pomou meta
podataka, meta podaci su kimeni stup DW 2.0 | Podaci su brzo dostupni. Podaci se smjetaju
prema vjerojatnosti pristupa| Prepoznata je potreba za arhiviranjem | DW privlai ogromne koliine podataka. Ali, u
DW 2.0 podaci su smjeteni po sektorima, tako da krajnji korisnik ima posla sa znaajno manje podataka
-
Inmon, Strauss, Neushloss DW 2.0 The Architecture for the Next Generation of Data Warehousing.2008.
-
DW 2.0. OSNOVNE ZNAAJKE
| ivotni ciklus podataka| Meta podaci| Pristup podacima | Strukturirani / nestrukturirani podaci| Tekstualna analitika| Tehnoloka osnovica | Promjene poslovnih zahtjeva| Tok podataka unutar DW 2.0| Koliine podataka| Korisne aplikacije
-
DW 2.0. OSNOVNE ZNAAJKEIVOTNI CIKLUS PODATAKA
| DW 1.0 nije prepoznavalo potrebu za praenjem ivotnog ciklusa podataka
| DW 2.0 prepoznaje ivotni ciklus podataka ukljuuje razliite sektore:1. podaci brzo ulaze u Interaktivni (Interactive) sektor 2. podaci se integriraju i prosljeuju u Integrirani (Integrated ) sektor i ostaju tu dok se ne smanji vjerojatnost pristupa (3-4 godine)3. Iz Inegriranog sektora podaci se mogu prebaciti u jedan od dva sektora. Jedan je Blizu linije (Near line) sektor (opcionalan), kao proirenje Integriranog sektora u situaciji kada postoji iznimno velika koliina podataka i gdje se vjerojatnost pristupa znaajno razlikuje4. Posljednji sektor arhivski (archival) sektor
-
DW 2.0. OSNOVNE ZNAAJKEIVOTNI CIKLUS PODATAKA
OnLine obrada
Dozvoljenoauriranje
-
DW 2.0. MAIN CHARACTERISTICSTHE LIFE CYCLE OF DATA
No update
Podaci se agregiraju,
zbrajaju, rekonstruiraju
Nema auriranjaPohrana kao
serija snapshota
-
DW 2.0. MAIN CHARACTERISTICSTHE LIFE CYCLE OF DATA
Metapodaci
Kriteriji:-Starost
-Vjerojatnost pristupa
-
DW 2.0. MAIN CHARACTERISTICSTHE LIFE CYCLE OF DATA
Povezanost s vremenom,
Rijetko kada pohrana na
diskove,Matapodaci
-
DW 2.0. OSNOVNE ZNAAJKEMETA PODACI
Tehniki i Poslovni
-
DW 2.0. OSNOVNE ZNAAJKEMETA PODACI
-
DW 2.0. OSNOVNE ZNAAJKEMETA PODACI
-
DW 2.0. OSNOVNE ZNAAJKEPRISTUP PODACIMA
-
DW 2.0. OSNOVNE ZNAAJKESTRUKTURIRANI / NESTRUKTURIRANI PODACI
Strukturirani podaci dolaze ponavljajui se u istom formatu i alatu (DBMS)
Nestrukturirani podaci dolaze u dva nazina oblika:- tekstualni (e-mailovi, telefonski razgovori, PPT prezentacije, ...)- ne-tekstualni grafike i slike (fotografije, diijagrani, ilustracije, X-zrake, MRIs, ...)
Poboljanje rada s tekstualnim podacimaNetekstualni podaci jo uvijek veliko pitanje
-
DW 2.0. OSNOVNE ZNAAJKETEKSTUALNA ANALITIKA
-
DW 2.0. OSNOVNE ZNAAJKETEKSTUALNA ANALITIKA
Data that has nomeaning to the business of the organization
One of the challenges of managing unstructured data especially email is that of separating blather from meaningful communications. This is accomplished by matching external categories with unstructured communications. Any email that does not have a hit as it passes through external category qualification is considered to be blather.
-
DW 2.0. OSNOVNE ZNAAJKEKOLIINE PODATAKA
-
DW 2.0. OSNOVNE ZNAAJKEKORISNE APLIKACIJE
Integriranje stukturiranih i nestrukturiranih podataka u
DW 2.0 Rezultira novim aplikacijama
Istinski 360 stupnjeva pogled na kupca (integriranje e-maila i demografskih podataka)
Integriranje doktorskih biljeki s rezultatima laboratorijskih testova
-
DW 2.0. KOMPONENTE
4 razliita sektora:
| Interaktivni (Interactive) sektor| Integrirani (Integrated) sektor| Blizu linije (Near line) sektor| Arhivski (Archival) sektor
-
Inmon, Strauss, Neushloss DW 2.0 The Architecture for the Next Generation of Data Warehousing.2008.
-
DW 2.0. KOMPONENTE INTERACTIVE SEKTOR
-
DW 2.0. KOMPONENTE INTERACTIVE SEKTOR
-
DW 2.0. KOMPONENTE INTERACTIVE SEKTOR
-
DW 2.0. KOMPONENTE INTEGRATED SEKTOR
-
DW 2.0. KOMPONENTE INTEGRATED SEKTOR
Captured text comes from the unstructured environment. Captured text may exist in the form of emails, documents, transcripts of telephone conversations, or other textual information. As a rule captured text is in the same unedited state in which it exists in the unstructured environment. However the unstructured text has been selected for relevancy to the business environment. It would make no sense to put massive amounts of unstructured text in the DW2.0 environment unless the unstructured text is important to the business represented by DW2.0.
LINKAGE TEXT TO SUBJECTFig DW2.0.5 shows the linkage to text data found in the DW2.0 environment.
Fig DW2.0.5 shows that there is linkage data. When unstructured data is brought over to the data warehouse environment even when it has been edited and screened the textual data still can be more useful if it is linked to classical transaction and structured data found in DW2.0. Typical links can be formed across email address and telephone numbers. Still other links can be formed across names and mutations of names. This data is normally created after the textual data has been brought across to the data warehouse environment. Note that some textual data will have no linkage but will be relevant to the business of the corporation.
TEXTUAL SUBJECTSTextual subjects are depicted by Fig DW2.0.8.
-
DW 2.0. KOMPONENTE INTEGRATED SEKTOR
-
UPRAVLJANJE PODACIMA I KVALITETA PODATAKA
-
32/27
ZATO UPRAVLJATI PODACIMA?
| Podaci imaju kljunu vrijednost za organizaciju| Problem vlasnitva podataka tko je vlasnik tj.
tko je odgovoran za koje podatke?| Problem formaliziranja procesa donoenja odluka| Problem povezivanja podataka s aplikacijama
(silosi informacija)| Problem poboljanja kvalitete podataka| Problem jedinstvenog definiranja
kupava/dobavljaa| Problem vie verzija istine
-
IZAZOVI U UPRAVLJANJU PODACIMA ?| Eksplozivan rast podatakay Vrijednost i koliina podataka je enormnay Sve je vie kritinih podatakay Godinja stopa rasta preko 50%
| Usklaenost / potivanjey Usklaenost/potivanje sve stroih regulatornih i
revizijskih zahtjeva| Fragmentirana pohranay Nepostojanje strategije i discipline u pogledu
hardverske i softverske pohrane podataka | Prorauniy Zamrznuti ili smanjeni
-
OTVORENA PITANJA UPRAVLJANJA PODACIMA
| 52% korisnika nema povjerenje u svoje podatke| 59% menadera propusti informaciju koju bi trebali
koristiti| 42% menadera koristi pogrene informacije
najmanje jedanput tjedno| 75% CIOs (Chief Information Officer) vjeruje da
mogu poveati kompetitivne prednosti boljim koritenjem i upravljanjem podacima organizacije
| 78% CIOs eli poboljati nain kako koriste i upravljaju svojim podacima
| Samo 15% CIOs vjeruje da se njihovim podacima trenutno sveobuhvatno i dobro upravlja.
-
TO JE KVALITETA?
-
36
TO JE KVALITETA?
4-tokaPouzdanJeftinBrza isporuka
Odgovarajua veliina!Brzo ubrzanjeSustav zabave Radio, DVD?Reputacija proizvoDaStar manje od tri godine
Komforaneetiri sjedalaSiguran (EuroNCAP)Nizak porez & osiguranjeJeftin
-
37DEFINICIJA KVALITE
| Paradoks kvlitete: iako mislite da ne moete definirati
kvalitetu, znate to je kvaliteta (Pirsig 1974)
ljudi prosuuju na temelju svojih pojedinanih potreba ili perspektiva, da je neto na to su naili ili prouili dobre ili
loe kvalitete (Dromey 1996)
Znate kad neto nije kvalitetno
-
38
DEFINICIJE KVALITETE
| Sposobnpost proizvoda/usluge da ispuni svoju funkciju| Postie se kroz sposobnost/osobine proizvoda ili servisa| Zadovoljavajue performanse za svaki atribut
| Usklaenost: prikladnost za uporabu & prikladnost za svrhu (Juran 1999)y Implicira ovisnost o uporabi
| Primjenjivo za podatke, software, auta, satove,
Ukupnost sposobnosti ili karakteristika proizvoda ili usluge koja se temelji na sposobnosti zadovoljavanja specifinih ili podrazumijevanih potreba. (ISO 1986)
-
KVALITETA PODATAKA
| to je to KVALITETAN podatak?
| Zato je bitna kvaliteta podataka ?
-
KVALITETA PODATAKA| Loa kvaliteta ima svoju realnu cijenu u novcu| Loa kvaliteta podataka negativno utjee na
efikasnost poslovnih procesa| Zbog loe kvalitete podataka ne mogu se
realizirati sve potencijalne koristi od novih sustava
| Loa kvaliteta podataka negativno utjee na donoenje odluka
-
ZATO SU BITNI I POSLOVNI PROCESI I PODACI
2011 2012
Process
Stalne korekcije i popravke podataka
Internal
Poslovni procesi
-
42
27 DIMENZIJA KVALITETE PODATAKAKonceptualni pogled
Sadraj Znaaj Dostupnost Jasnoa definicije
Opseg Sveobuhvatnost Bitnost
Razina detalja Detaljnost atributa Preciznost domene
Sastav Prirodnost Identitet utvren
Homogenost Minimum bespotrebne redudancije
Konzistentnost Semantika konzistentn. Strukturna konzistentost
Reakcija na promjene Robusnost Fleksibilnost
VrijednostiTonost Potpunost (entiteta i atributa)
Konzistentnost Vremenski tok
PredstavljanjeFormati Primjerenost Precizmost formata Efikasna uporaba prostora
Interpretativnsot Fleksibilnost formata
Portabilnost Mogunost predstavljanja null vrijednosti
Fizike instance Predstavljanje konzistentnosti (Redman 1997)
-
43
RICHARD T WATSON
Tonost PotpunostKonzistentnost predstavljanja Organizacijska konzistentnostKonzistentnost retka Vremenska dimenzijaStewardship upaviteljstvo DijeljenjePrikladnost InterpretacijaFleksibilnost PreciznostMeunarodnost DostupnostSigurnost i privatnost KontinuitetUsitnjenost Metapodaci
(Watson 1997)
-
44
DIMENZIJE KVALITETE PODATAKA
KP Kategorija KP DimenzijeIntrinsic DQ Accuracy Objectivity
Believability ReputationContextual DQ Relevancy Value-Added
Timeliness CompletenessAmount of Data
Representational DQ InterpretabilityEase of UnderstandingRepresentational ConsistencyConciseness of Representation
Accessibility DQ Accessibility Security(Wang & Strong 1996)
-
45VELIKA KVALITETA PODATAKA = VELIKA PO SVIM DIMENZIJAMA?
|Konkurentni podaciy Planiranje po niim
cijenamay Kada? koliko?
Kada znaajan podatak koji je toan i kompletan moe biti beskorisan?
Npr.
Vremenski podaci to-ako analize Razvoj strategija
Toni & Potpuni Prekasno Nisu vie korisni
-
46VIESTRUKE PERSPEKTIVE KVALITETE PODATAKA
Creator Custodian Consumer
CollectorCustomer data, Researcher,Satisfaction surveys,
CreatorDocument creation,Project/Development team,Data analysis,
ExamplesLibrary,Data warehouse,
DataMaintenance,Storage,Distribution,
ExamplesManagers, Policy makers, Decision makers,Researchers, Anyone who needs data.
DataData utilisationRestricted to available data
-
47
MULTIPLE PERSPECTIVES ON DQ
Creator Custodian Consumer
Control No Control
Quality Control Continuum
Collecting customer data Storing customer data
Analysing customer data
eg, CRM
High Quality Data = Data that is fit for purposeFit for purpose today Fit for purpose tomorrow
-
48
MULTIPLE PERSPECTIVES ON DQ
Creator Custodian Consumer
CONTEXT
IndividualSame data different taskSame data different time/day
Changing purposeChanging context
Industry SectorsFinance, Telecoms, Government,
Same concept of what constitutes good quality data?Same concept within each sector/context?
-
49/27
DIMENZIJE KVALITETA PODATAKA
-
| DATA MANAGEMENT ??
| MENADMENT PODATAKA ??
-
ZAHTJEVI ZA SUSTAVE MENADMENT KVALITETE PODATAKA
Procedure dobre prakse u menadmentu podacima:
y Uspostavljanje Politike upravljanja podacima|Postavljanje ciljeva|Definiranje odgovornosti|Osiguranje resursa
y Uspostavljanje radnih procesay Uspostavljanje infrastrukture baze podatakay Uspostavljanje IT infrastrukturey Interne komunikacije
-
OTVORENA PITANJA MENADMENTA PODACIMA
| Otkrivanje ne moe se pronai prava informacija| Integriranje ne moe se manipulirati i
kombinirati informacije| Uvid ne moe se ekstrahirati vrijednost i znanje iz
informacije| irenje informacija se ne moe upotrebljavati| Menadment ne moe se upravljati i kontrolirati
rast i koliina informacija
-
OTVORENA PITANJA MENADMENTA PODACIMAKORISNIKA PERSPEKTIVA
| Upravljanje opremom za pohranu| Oporavak / Backup smjetaj| Upravljanje dobavljaima| Upravljanje energijom| Usklaenost s regulativom| Nedostatak integriranih alata| Problemi performansi| Mobilnost podataka| Arhiviranje i upravljanje arhivom| Upravljanje kompleksnou| Upravljanje trokovima
-
CILJEVI MENADMENTA PODACIMA
| Primarni ciljevi:y Razumijevanje informacijskih potreba organizacije i
svih uesnikay Pronalaenje, pohrana, zatita i osiguranje
integriteta podatakay Stalno unapreenje kvalitete podataka i informacija,
ukljuukui tonost, integritet, integriranje, znaajnost i korisnost podataka
y Osiguranje privatnosti, sprjeavanje neautoriziranog pristupa i uporabe podataka i informacija
y Maksimiziranje efektivne uporabe i vrijednosti podataka i informacija
-
CILJEVI MENADMENTA PODACIMA
| Sekundarni ciljevi:
y Kontrola trokova upravljanja podacimay Promoviranje ireg i dubljeg razumijevanja
vrijednosti podatakay Upravljanje konzistentnou podataka u organizacijiy Povezivanje upravljanja podacima i tehnologije s
poslovnim potrebama
-
PRINCIPI MENADMENTA PODACIMA
| Podaci i informacije su iznimno vrijedna imovina organizacije
| Paljivo upravljanje podacima i informacijama, kao svakom imovinom, osiguravajui odgovarajuu kvalitetu, sigurnost, integritet, zatitu, raspoloivost, razumijevanje i efektivnu uporabu
| Podjela odgovornosti za upravljanje podacima izmeu poslovnih vlasnika podataka i IT profesionalaca
| Upravljanje podacima je poslovna funkcija i skup povezanih disciplina
-
ORGANIZIRANJE FUNKCIJE MENADMENTAPODATAKA
| Poslovna funkcija za planiranje, kontrolu i isporuku podataka i informacija
| Razvoj, izvravanje, nadgledanje planova, politika, programa, projekata, procesa, praksi i procedura koje kontroliraju, tite, isporuuju i uveavaju vrijednost podatkovne imovine
| Opseg funkcije upravljanja podacima i razina njene implementacije varira zbog veliine, sredstava i iskustva organizacija
| Uloga upravljanja podacima ostaje ista u razliitim organizacijama iako se implementacija moe znaajno razlikovati.
-
DATA GOVERNANCE ???
UPRAVLJANJE PODACIMA ???
-
UPRAVLJANJE PODACIMA| Kljuna funkcija menadmenta podataka| U interakciji sa i utjee na svaku od 10 funkcija
menadmenta podataka| Upravljanje podacima je uspostavljanje
autoriteta i kontrole (planiranje, monitoring i provoenje) nad menadmentom podataka
| Upravljanje podacima predstavlja vodi kako e se izvravati sve ostale funkcije menadmenta podataka
| Visoka razina, izvrno upravljanje podacima| Nije isto to i IT upravljanje| Fokusirano iskuljuivo na menadment podataka
-
Questions..