az adattarhaz technologia elonyei es hatranyai
TRANSCRIPT
-
7/28/2019 Az Adattarhaz Technologia Elonyei Es Hatranyai
1/10
Az adattarhaz-technologia elonyei es
hatranyai gyakorlati szempontok
figyelembe ve televel
Positive and negative sides of data warehousing technology with
pra ct ic al vie wpo in ts
Abstract
Sooner or later, but every enterprise will face the idea of creating an enterprise-scaledata warehouse. Just like before every IT / development / introductory project, in these cases
it is important to examine, that who may be involved in producing such a system, and what
positive and negative additional benefits may be brought by the introduction.
A decade ago, the existence of a data warehouse could only be afforded by the largest
companies now this fortunately changes. In the last few years many of the greater software
houses have the initiative to produce a data warehousing software, which could serve the
needs of small and midsized companies. This is worth monitoring, since the situation(breaking into the small and midsized company sector) was the same with business
intelligence a few years ago and as known, data warehouse technology serves as a good
ground for business intelligence initiatives / business intelligence enrichment.
The article primarily focuses on collecting the positive and negative sides of the
technology.
Keywords: data warehouse, data warehousing technology, decision support, enterprise
information system, reporting, management information system, datamart, data procedures
Forrs: http://www.doksi.hu
-
7/28/2019 Az Adattarhaz Technologia Elonyei Es Hatranyai
2/10
Absztrakt
Minden nagyobb vllalatnl elbb utbb felmerl a vllalati adattrht ltrehozsnak
tlete. Mint minden informatikai / fejlesztsi / bevezetsi projekt eltt, ilyen esetben is fontos
megvizsglni, hogy kik lehetnek rintettek egy ilyen rendszer kialaktsban, illetve milyenpozitv, illetve negatv hozadkai lehetnek a bevezetsnek.
Egy vtizeddel ezeltt az adattrhzak megltt csak a legnagyobb cgek tudtk
megengedni maguknak mra ez szerencssen vltozban van. Az utbbi nhny v
technolgiai fejlesztsei kztt tbb szoftvercgnl ott a kezdemnyezs, mi szerint ltre kell
hozni egy kis- s kzepes vllalatok ltal hasznlhat s elrhet adattrhz technolgit
megvalst szoftvert. Erre rdemes lesz figyelni mg vekig, mivel az zleti intelligencia
megoldsok ugyangy kezdtek betrni nhny ve a kisebb cgek szektorba az adattrhz
technolgia pedig nagyon j tptalajknt funkcionl zleti intelligencia megoldsokhoz s
azok tkletestshez.
A cikk elssorban az adattrhzak pozitv s negatv oldalainak sszegyjtsre
fokuszl.
Kulcsszavak: adattrhz, adattrhz technolgia, dntstmogats, vllalati
informcis rendszer, jelentskszts, vezeti informcis rendszer, adatpiac, adat-mveletek
Forrs: http://www.doksi.hu
-
7/28/2019 Az Adattarhaz Technologia Elonyei Es Hatranyai
3/10
Bevezets
Az EDW (Enterprise Data Warehouse) magyar megnevezse vllalati adattrhz.
Ebben az informciktegben megtallhat minden adat: trtneti s kurrens egyarnt [1].
Br a felhalmozott adatmennyisg gyakran tl sok lehet egyes elemzk szmra, megltnekclja mgis az, hogy egy helyen lehetessen elrni minden a cget rint informcit.
Azaz, az adattrhz gyjti ssze a vllalat minden rszlegnek sszes adatt [2]. A
kzponti kezelsnek tbb elnye van: egyszerbb vlik az adatkezels (a centralizlt
hozzfrs-jogosultsg kioszts javt a biztonsgon, a centralizlt trols pedig olcsbb s
knnyebb teszi az archivlst s a biztonsgi msolatok ksztst s kezelst), s jelentsen
egyszersdik az adatok beszerzsnek kltsge (id takart meg).
Az adattrhz ltrehozsa hatalmas projekt. ssze kell szedni, hogy az egsz
vllalatnl milyen adatok vannak, milyen termszetek, hol s milyen formban keletkeznek,
s ksbb hol lehetnek felhasznlva [1]. A tny pozitv oldala az, hogy szmos mdszertan [3]
s ajnls foglalkozik adattrhzak ptsvel. Ettl fggetlenl persze lpcszetesen clszer
vgrehajtani valamint itt is igaz az ltalnos mrnki igazsg, mi szerint az alapos s
tgondolt tervezs nagyban kpes hozzjrulni a termk (itt adattrhz) elkszlthez s
magas minsghez, j hasznlhatsghoz [4][5][6].
Ha egy adattrhz mr zemben van, nagyon j lehetsget ad a vllalatnak arra, hogy
a meglv adathalmazt elemezve, segtse a dntsi folyamatot. Az elemzsek sorn gyakran
adatbnyszati eszkzk kerlnek hasznlatra, melyek eredmnyei riportokban jelennek meg.
Ezek a riportok aztn fknt taktikai s stratgiai dntsek meghozatalban segtenek.
Felmerl a krds persze, hogy operatv dntsek sorn lehet-e hasznlni a technolgit, de
megllapthat egyrszt, hogy rendkvli erforrsignye miatt csak nehezen s kltsgesen
valsthat meg, msrszt az ilyen elemzsek szmts- s adatignyk miatt nagyon hosszranylnak gy egy operatv dnts esetn nem lehetsges a legtbb esetben az eredmnyek
kivrsa. (Ez az elemzs mra olyan munkakrk megszletst tette lehetv, mint a
riportkszt elemz vagy adatbnyszati elemz.)
Nagy (s fknt rgta zemel) adattrhzak esetn a legnagyobb problmt a
megfelel teljestmny nyjtsa adja [5]. Nem ritka, hogy az adattrhzban tallhat
adatbzisok sszmrete tbb 10 terabjtos rtket r el. Egy ekkora adatmennyisget persze
clszer elosztani, hogy egy rsze httrtron, egy (aktulisabb rsz) a memriban trolhat
Forrs: http://www.doksi.hu
-
7/28/2019 Az Adattarhaz Technologia Elonyei Es Hatranyai
4/10
ekkor a friss adatok kezelse s lekrdezse gyors lesz ugyan, de a rgebbi adatok elrse
lassv vlik, s ez klnsen akkor nyjtja nagyon hosszra az adatok elemzst, ha az sok
adatot rint [7].
Az olyan elemzsek gyorsthatak fel, melyek kifejezetten a vllalat egy terletrlszrmaz adatokkal foglalkozik ebben nyjt segtsget az adatpiacok alkalmazsa.
(Elengedhetetlen persze az adatpiacok s az adattrhz kztti megfelel svszlessg
hlzati kapcsolat.)
Tnyek s nzpontok
Minden nagyobb vllalatnl elbb utbb felmerl a vllalati adattrht ltrehozsnak
tlete. Mint minden informatikai / fejlesztsi / bevezetsi projekt eltt, ilyen esetben is fontos
megvizsglni, hogy kik lehetnek rintettek egy ilyen rendszer kialaktsban, illetve milyen
pozitv, illetve negatv hozadkai lehetnek a bevezetsnek [12][18][21].
Egy vtizeddel ezeltt az adattrhzak megltt csak a legnagyobb cgek tudtk
megengedni maguknak mra ez szerencssen vltozban van. Az utbbi nhny v
technolgiai fejlesztsei kztt tbb szoftvercgnl ott a kezdemnyezs, mi szerint ltre kell
hozni egy kis- s kzepes vllalatok ltal hasznlhat s elrhet adattrhz technolgitmegvalst szoftvert. Erre rdemes lesz figyelni mg vekig, mivel az zleti intelligencia
megoldsok ugyangy kezdtek betrni nhny ve a kisebb cgek szektorba az adattrhz
technolgia pedig nagyon j tptalajknt funkcionl zleti intelligencia megoldsokhoz s
azok tkletestshez.
A cikkben elssorban az adattrhzak bevezetsnek / ltrehozsnak elnyei s
htrnyai fogalmazdnak meg.
A vitathatatlan elnyk
Az zleti vilgban szoktk mondani: az id pnz mra kiegsztve azzal, hogy az
informci ugyancsak pnz. Minden j zleti intelligencia rendszer szmra elnys, ha
adatait egy adattrhzbl nyeri gy biztosthat, hogy j minsg adatokbl j minsg
elemzsek s jelentsek szletnek, gyorsabban s megbzhatbban. ppen ezrt, mindenkinek,
aki a vllalaton bell a BI kezdemnyezsek hatsugarba kerl, fontos rtenie, hogy igenis
olyan informcikat kell gyjteni, ami ksbb a vllalat mkdst jobb teheti [8].
Forrs: http://www.doksi.hu
-
7/28/2019 Az Adattarhaz Technologia Elonyei Es Hatranyai
5/10
Az informcik hatkony gyjtse, feldolgozsa s rtkelse nem egyszer feladat.
Mint ahogyan az absztrakcis piramis is rmutat, a rendelkezsre ll adatok mennyisgtl
fgg a megszerezhet informcik s megszerezhet tuds mennyisge, de minden adag gy
elrhetv tett tudshoz rengeteg adatra van szksg [18][21].
Adat
Informci
A
bsztrakciszintje
Adatmennyisg
Tuds sintelligencia
1. bra: Absztrakcis piramis
Az absztrakcis piramis [1. bra] rtelmezshez [9] tisztzni kell nhny alapvetfogalmat:
Az adat lehet brmilyen mrsi eredmny, szlels, ismrv, hr vagy kzlemny [10].
Az informci az adatok rtelmezsbl addik. Megfogalmazhat gy is, hogy az
adatok gyjtsnek s oly md rendezsnek eredmnye, mely az adatok kzti kapcsolatokra
fnyt dert, azokat tartalommal s rtelmezssel elltva.
A tuds valamilyen trgykr ismerett jelenti, belertve az informcikat, tnyeket s
lersokat. A tuds megszerzse persze trtnhet oktats vagy tapasztalat ltal jelen esetben
a tapasztalat ltal megszerezhet tudsra kell koncentrlni. A tuds meglte annyit tesz, hogy
a trgykrt elmleti s gyakorlati oldalrl egyarnt rtjk. Tuds tovbb az informcik
megrtsn s azokban mintk felismersn alapul elv, mely mly beleltst biztost az
informcikba.
A folyamat vgeredmnyeknt elll tuds [2. bra] hasznostsnak mdja az, ha
akcitervet kszt a vllalat, majd meg is valstja azt.
Forrs: http://www.doksi.hu
-
7/28/2019 Az Adattarhaz Technologia Elonyei Es Hatranyai
6/10
Adat Informci Tuds Akciterv
2. bra: Az zleti intelligencia folyamata
Az a folyamatrsz, mely sorn az adatokbl informcikat kpeznk,
megfogalmazhat gy is, hogy meg kell hatrozni, melyik adatot, milyen sszefggsben kell
gyjteni, illetve kezelni. A krnyezetbl kiemelve (vagy krnyezet nlkl) az adatok kevss
rtkesek (ilyen lehet egy vsrli nvhalmaz), m megfelel krnyezetben gyjtve, azokat
rtelmezssel elltva sokkal nagyobb rtket nyernek (vsrli adatok sszegyjtve: nevek,
hozzjuk kapcsold vsrlsok, egyb rtkek) [11].
Elmondhat, hogy a BI-folyamatok kzl fknt az adatok kezelsrl smegjelentsrl van sz, mely fizikai megjelensket tekintve fknt hardverplatformokat,
relcis adatbzisokat s azokat kezel szoftvereket jelentenek funkcijuk tekintetben
lekrdezsek futtatsra s jelentsek ksztsre van szksg. Ehhez a fzishoz az emberigny
elssorban adatkezelsben, adatintegrciban s koordinciban jrtas szakemberekben merl
ki [13][14].
Ha a vllalat odig eljutott, hogy rengeteg informcival rendelkezik, akkor azokat
tbbfle mdon kell elemezni, hogy abbl tuds nyerhet legyen. A nyert tuds
felhasznlhat arra, hogy akcitervek kszljenek belle, majd azokat megvalstva
megoldst nyjtsanak valamilyen problmra.
Itt elmondhat, hogy a BI-folyamatok kzl itt fknt az elemzst tmogat
komponensekre van szksg [3. bra], mint amilyenek az adattrhzak, az analitikai
feldolgozs (OLAP), az adatbnyszat, az zleti szablyok elemzse, az adatok krvonalazsa
s minstse. Itt a szakemberigny elssorban olyan szakemberekben nyilvnul meg, akik
ezeket az informatikai eszkzket hatkonyan tudjk kezelni, hogy kell a megfelel
eredmnyeket kinyerni e nlkl semmit sem rnek a drga szoftverek [16][17].
Forrs: http://www.doksi.hu
-
7/28/2019 Az Adattarhaz Technologia Elonyei Es Hatranyai
7/10
Adat Informci Tuds Akciterv
Szakemberigny:- Adatbzisok ksztsben,menedzselsben,- Adatkezelsben,- Adatintegrciban,- Koordinciban jrtas szakemberek
Technikai igny:
-Hardver platformok-Adatbzisok-Adatbziskezelszoftverek
Szakemberigny:
- Elemzk
Technikai igny:
-OLAP,-Adatbnyszat,-zelti szablyok elemzse
3. bra: zleti intelligencia ignyei
Valsznleg az utols fzis a legfontosabb lps, itt keletkezik a valdi, kzzel
foghat s altmaszthat tartalom (tudsbl akciterv), valamint ez az amire a vezets is
vgyik. Az egsz zleti intelligencira alapozott vllalati stratgia kulcspontja a reagls
kpessge. Ezen keresztl lesz megllapthat az informcitechnolgira fordtott beruhzs
megtrlse is. Az akcik segtsgvel nvelhet lesz az zleti hatkonysg, az eladsok,
javthat a vsrlk megclzsa, cskkenthetek a szolgltatsok kltsgei, felismerhetek a
csalsok s sszessgben a kltsgek cskkentsvel nhet a profit.
A megfogalmazhat htrnyok
Az adattrhzakkal kapcsolatban minden forrsbl szinte kizrlag az elnyket
kaphatjuk meg. A technolgia alkalmazsnak htrnyai azonban bizonyos id utn
szembetnek ezek a megfogalmazhat htrnyok alapveten hrom csoportba sorolhatak:
Sok esetben nincs tnyleges szksg egy adattrhzra az gymenet gyorstsa
szempontjbl,
Az adattrhzhoz val alkalmazkods jelentsen meg tud bonyoltani zleti
folyamatokat, illetve
A magas fejlesztsi s fenntartsi kltsgek, valamint a lass megtrlsbl
szrmaz htrnyok.
Az tny, hogy az adattrhz technolgia npszer, s emiatt kelend is. m nem
minden cg szmra elengedhetetlen egy adattrhz lte. Olyan helyeken, ahol nem fontosak
a trtneti adatok, nem kell azokat elemezni (nem alkalmaznak semmifle zleti
Forrs: http://www.doksi.hu
-
7/28/2019 Az Adattarhaz Technologia Elonyei Es Hatranyai
8/10
intelligencit), s nem fontos, hogy azok azonnal rendelkezsre lljanak, ott nem szksges az
adattrhz kiptse.
Ahol mgis kiptsre kerl egy adattrhz (mert igazolhat, hogy szksges, megtrl
s segt az gymenet gyorsabb s hatkonyabb ttelben), ott is szmolni kell azzal, hogylesznek olyan zleti folyamatok, melyek bonyolultabb vlnak azltal, hogy a napi rutin
rszv vlik az adattrhz. Itt elssorban az adatok beszerzst s frisstst rint
folyamatokra kell gondolni hozzfrs, engedlyezs. Ezen fell az sem mindegy, hogy az
adattrhz milyen mdon trolja az adatokat: a tervezsi fzis legelejn kell eldnteni, hogy
dimenzis vagy normlforms technika kerl alkalmazsra. Mg az elbbi knnyebb
adatelrst s knnyebb kezelhetsget biztost olyan emberek szmra is, akik nem
elssorban informatikai vgzettsgek cserbe az adatok hozzadsa bonyolultabb lesz,addig az utbbi esetben az adatok hozzadsa knnyebb, m lekrdezsek / riportok
ksztse lesz bonyolultabb sok esetben informatikai tudst ignyelve.
Az adattrhzak fejlesztse (vagyis ignyek s kvetelmnyek felmrse, tervezs s
prototpuskszts az j verzibl, annak bevezetse s zemeltetse / fenntartsa)
fggetlenl attl, hogy egy iteratv folyamat s ebbl kifolylag relatve gyorsan jelentkezik
hasznlhat eredmny hossz s bonyolult, sok embert ignybe vev folyamat: Nem ritkk
fl vnl hosszabb adattrhz projektek, amelyekben (valamilyen mrtkben) a cg
munkatrsainak tbb mint harmada rszt kell vegyen (a hossz s sokemberes fejlesztsek
pedig mindig drgk). Az ETL folyamatok tervezse sorn radsul a fejlesztknek kt
irnyba kell figyelnik: egyfell meg kell hatrozni, hogy melyik adat, honnt (melyik
forrsrendszerbl), milyen formban (tiszttssal s szrssel) s hov kerljn az
adattrhzba, milyen rendszeressggel; msfell vizsglni kell a kialakul adatfggseket,
azaz, ha valamin vltoztatni kell (az adaton, tpusn vagy akr a betlts folyamatn), akkor
az milyen hatsokkal jrhat. A fenntartsi kltsgek ugyancsak magasak lesznek (msrendszerekkel sszehasonltva), radsul sok adattrhz projekt folytonos fejlds alatt ll,
azaz a fejlesztsi munkk folyamatosan jelen vannak, igaz, csak nhny szemlyt rint
mrtkben. Vgl pedig: a hossz fejlesztsek miatt s a sok esetben vrl vre nvekv
rfordtsigny miatt nehz feladat megtrlst szmolni, illetve ha mgis sikerl, akkor
kijelenthet: egy adattrhz beruhzs nagyon lassan trl meg [12][20].
Forrs: http://www.doksi.hu
-
7/28/2019 Az Adattarhaz Technologia Elonyei Es Hatranyai
9/10
Konklzi
Az persze vitathatatlan, hogy a felsorolt elnyk messze fellmljk az emltett
htrnyokat, m fontos kiemelni mivel a legtbb kudarcba fulladt projekt ennek ksznheti
bukst hogy a megfelel igazols s business case hinyban feleltlen dolog adattrhzfejlesztsbe kezdeni.
Ugyancsak kiemelend, hogy a tapasztalatok azt mutatjk, hogy az adattrhz meglte
s hasznlata nerst folyamat: idvel egyre tbb rszleg fog az adattrhzhoz fordulni
informci-krssel, riport-ignnyel, gy az egyre inkbb rszv vlik majd a vllalatnak.
Irodalomjegyzk
[1] Dych, Jill: e-Data: turning data into information with data warehousing. Addison-Wesley, 2000.
[2] Hammergren, Thomas C. Simon, Alan R.: Data Warehousing for Dummies. ForDummies, 2009.
[3] Moss, Larissa Terpeluk Atre Shaku: Business intelligence roadmap: the completeproject lifecycle for decision-support applications. Addison-Wesley, 2003.
[4] Jarke, Matthias: Fundamentals of data warehouses. Springer, 2003.
[5] Khan, Arshad: SAP and BW Data Warehousing: How to Plan and Implement:iUniverse, 2005.
[6] Galli Richard Pter: Software technology: Specialized development / launch methodfor BI applications, XX. SZMOKT 2010- Szmtstechnika s oktatsKonferencia, Romnia, Szatmrnmeti, 2010.
[7] Westerman, Paul: Data warehousing: using the Wal-Mart model. Morgan Kaufmann,2001.
[8] Hosni, Yasser A. Khalil, Tarek M.: Management of technology: opportunities andchallenges for developed and developing regions of the world : selected papersfrom the Eleventh International Conference on Management of Technology.
Emerald Group Publishing, 2004.[9] Kovcs Lszl Dr.: Adatbzisok tervezsnek s kezelsnek mdszertana,
Computerbooks Kiad , 2004.
[10] Raffai Mria: Informcirendszerek fejlesztse s menedzselse. Novadat, 2003.
[11] Davenport, Thomas Prusak, Laurence: Working knowledge: how organizationsmanage what they know. Harvard Business Press, 2000.
[12] Reeves, Laura L.: A Managers Guide to Data Warehousing. Wiley, 2010.
[13] Inmon, W. H.: Building the data warehouse. Wiley, 2002.
[14] Hoberman, Steve: Data Modelers Workbench. Wiley, 2002.[15] Ponniah, Paulraj: Data warehousing fundamentals A Comprehensive Guide for IT
Forrs: http://www.doksi.hu
-
7/28/2019 Az Adattarhaz Technologia Elonyei Es Hatranyai
10/10
professionals. Wiley, 2001.
[16] Chan, Yupo Talburt, John Talley, Terry M.: Data Engineering Mining,Information and Intelligence. Springer, 2010.
[17] Wang, John: Encyclopedia of Data Warehousing and Mining. Idea Group, 2006.
[18] Schlukbier, Alan: Implementing Enterprise Data Warehousing A Guide forExecutives. Lulu.com, 2007.
[19] Ullrey, Bruce Russel: Implementing a Data Warehose A Methodology That Worked.AuthourHouse, 2007.
[20] Prabhu, C. S. R.: Data Warehousing: Concepts, Techniques, Products andApplications. PHI Learning, 2004.
[21] SCN Education B.V.: Data Warehousing: The Ultimate Guide to Building CorporateBusiness Intelligence. BirkHauser, 2001.
Forrs: http://www.doksi.hu