az adattarhaz technologia elonyei es hatranyai

Upload: viko13

Post on 03-Apr-2018

215 views

Category:

Documents


0 download

TRANSCRIPT

  • 7/28/2019 Az Adattarhaz Technologia Elonyei Es Hatranyai

    1/10

    Az adattarhaz-technologia elonyei es

    hatranyai gyakorlati szempontok

    figyelembe ve televel

    Positive and negative sides of data warehousing technology with

    pra ct ic al vie wpo in ts

    Abstract

    Sooner or later, but every enterprise will face the idea of creating an enterprise-scaledata warehouse. Just like before every IT / development / introductory project, in these cases

    it is important to examine, that who may be involved in producing such a system, and what

    positive and negative additional benefits may be brought by the introduction.

    A decade ago, the existence of a data warehouse could only be afforded by the largest

    companies now this fortunately changes. In the last few years many of the greater software

    houses have the initiative to produce a data warehousing software, which could serve the

    needs of small and midsized companies. This is worth monitoring, since the situation(breaking into the small and midsized company sector) was the same with business

    intelligence a few years ago and as known, data warehouse technology serves as a good

    ground for business intelligence initiatives / business intelligence enrichment.

    The article primarily focuses on collecting the positive and negative sides of the

    technology.

    Keywords: data warehouse, data warehousing technology, decision support, enterprise

    information system, reporting, management information system, datamart, data procedures

    Forrs: http://www.doksi.hu

  • 7/28/2019 Az Adattarhaz Technologia Elonyei Es Hatranyai

    2/10

    Absztrakt

    Minden nagyobb vllalatnl elbb utbb felmerl a vllalati adattrht ltrehozsnak

    tlete. Mint minden informatikai / fejlesztsi / bevezetsi projekt eltt, ilyen esetben is fontos

    megvizsglni, hogy kik lehetnek rintettek egy ilyen rendszer kialaktsban, illetve milyenpozitv, illetve negatv hozadkai lehetnek a bevezetsnek.

    Egy vtizeddel ezeltt az adattrhzak megltt csak a legnagyobb cgek tudtk

    megengedni maguknak mra ez szerencssen vltozban van. Az utbbi nhny v

    technolgiai fejlesztsei kztt tbb szoftvercgnl ott a kezdemnyezs, mi szerint ltre kell

    hozni egy kis- s kzepes vllalatok ltal hasznlhat s elrhet adattrhz technolgit

    megvalst szoftvert. Erre rdemes lesz figyelni mg vekig, mivel az zleti intelligencia

    megoldsok ugyangy kezdtek betrni nhny ve a kisebb cgek szektorba az adattrhz

    technolgia pedig nagyon j tptalajknt funkcionl zleti intelligencia megoldsokhoz s

    azok tkletestshez.

    A cikk elssorban az adattrhzak pozitv s negatv oldalainak sszegyjtsre

    fokuszl.

    Kulcsszavak: adattrhz, adattrhz technolgia, dntstmogats, vllalati

    informcis rendszer, jelentskszts, vezeti informcis rendszer, adatpiac, adat-mveletek

    Forrs: http://www.doksi.hu

  • 7/28/2019 Az Adattarhaz Technologia Elonyei Es Hatranyai

    3/10

    Bevezets

    Az EDW (Enterprise Data Warehouse) magyar megnevezse vllalati adattrhz.

    Ebben az informciktegben megtallhat minden adat: trtneti s kurrens egyarnt [1].

    Br a felhalmozott adatmennyisg gyakran tl sok lehet egyes elemzk szmra, megltnekclja mgis az, hogy egy helyen lehetessen elrni minden a cget rint informcit.

    Azaz, az adattrhz gyjti ssze a vllalat minden rszlegnek sszes adatt [2]. A

    kzponti kezelsnek tbb elnye van: egyszerbb vlik az adatkezels (a centralizlt

    hozzfrs-jogosultsg kioszts javt a biztonsgon, a centralizlt trols pedig olcsbb s

    knnyebb teszi az archivlst s a biztonsgi msolatok ksztst s kezelst), s jelentsen

    egyszersdik az adatok beszerzsnek kltsge (id takart meg).

    Az adattrhz ltrehozsa hatalmas projekt. ssze kell szedni, hogy az egsz

    vllalatnl milyen adatok vannak, milyen termszetek, hol s milyen formban keletkeznek,

    s ksbb hol lehetnek felhasznlva [1]. A tny pozitv oldala az, hogy szmos mdszertan [3]

    s ajnls foglalkozik adattrhzak ptsvel. Ettl fggetlenl persze lpcszetesen clszer

    vgrehajtani valamint itt is igaz az ltalnos mrnki igazsg, mi szerint az alapos s

    tgondolt tervezs nagyban kpes hozzjrulni a termk (itt adattrhz) elkszlthez s

    magas minsghez, j hasznlhatsghoz [4][5][6].

    Ha egy adattrhz mr zemben van, nagyon j lehetsget ad a vllalatnak arra, hogy

    a meglv adathalmazt elemezve, segtse a dntsi folyamatot. Az elemzsek sorn gyakran

    adatbnyszati eszkzk kerlnek hasznlatra, melyek eredmnyei riportokban jelennek meg.

    Ezek a riportok aztn fknt taktikai s stratgiai dntsek meghozatalban segtenek.

    Felmerl a krds persze, hogy operatv dntsek sorn lehet-e hasznlni a technolgit, de

    megllapthat egyrszt, hogy rendkvli erforrsignye miatt csak nehezen s kltsgesen

    valsthat meg, msrszt az ilyen elemzsek szmts- s adatignyk miatt nagyon hosszranylnak gy egy operatv dnts esetn nem lehetsges a legtbb esetben az eredmnyek

    kivrsa. (Ez az elemzs mra olyan munkakrk megszletst tette lehetv, mint a

    riportkszt elemz vagy adatbnyszati elemz.)

    Nagy (s fknt rgta zemel) adattrhzak esetn a legnagyobb problmt a

    megfelel teljestmny nyjtsa adja [5]. Nem ritka, hogy az adattrhzban tallhat

    adatbzisok sszmrete tbb 10 terabjtos rtket r el. Egy ekkora adatmennyisget persze

    clszer elosztani, hogy egy rsze httrtron, egy (aktulisabb rsz) a memriban trolhat

    Forrs: http://www.doksi.hu

  • 7/28/2019 Az Adattarhaz Technologia Elonyei Es Hatranyai

    4/10

    ekkor a friss adatok kezelse s lekrdezse gyors lesz ugyan, de a rgebbi adatok elrse

    lassv vlik, s ez klnsen akkor nyjtja nagyon hosszra az adatok elemzst, ha az sok

    adatot rint [7].

    Az olyan elemzsek gyorsthatak fel, melyek kifejezetten a vllalat egy terletrlszrmaz adatokkal foglalkozik ebben nyjt segtsget az adatpiacok alkalmazsa.

    (Elengedhetetlen persze az adatpiacok s az adattrhz kztti megfelel svszlessg

    hlzati kapcsolat.)

    Tnyek s nzpontok

    Minden nagyobb vllalatnl elbb utbb felmerl a vllalati adattrht ltrehozsnak

    tlete. Mint minden informatikai / fejlesztsi / bevezetsi projekt eltt, ilyen esetben is fontos

    megvizsglni, hogy kik lehetnek rintettek egy ilyen rendszer kialaktsban, illetve milyen

    pozitv, illetve negatv hozadkai lehetnek a bevezetsnek [12][18][21].

    Egy vtizeddel ezeltt az adattrhzak megltt csak a legnagyobb cgek tudtk

    megengedni maguknak mra ez szerencssen vltozban van. Az utbbi nhny v

    technolgiai fejlesztsei kztt tbb szoftvercgnl ott a kezdemnyezs, mi szerint ltre kell

    hozni egy kis- s kzepes vllalatok ltal hasznlhat s elrhet adattrhz technolgitmegvalst szoftvert. Erre rdemes lesz figyelni mg vekig, mivel az zleti intelligencia

    megoldsok ugyangy kezdtek betrni nhny ve a kisebb cgek szektorba az adattrhz

    technolgia pedig nagyon j tptalajknt funkcionl zleti intelligencia megoldsokhoz s

    azok tkletestshez.

    A cikkben elssorban az adattrhzak bevezetsnek / ltrehozsnak elnyei s

    htrnyai fogalmazdnak meg.

    A vitathatatlan elnyk

    Az zleti vilgban szoktk mondani: az id pnz mra kiegsztve azzal, hogy az

    informci ugyancsak pnz. Minden j zleti intelligencia rendszer szmra elnys, ha

    adatait egy adattrhzbl nyeri gy biztosthat, hogy j minsg adatokbl j minsg

    elemzsek s jelentsek szletnek, gyorsabban s megbzhatbban. ppen ezrt, mindenkinek,

    aki a vllalaton bell a BI kezdemnyezsek hatsugarba kerl, fontos rtenie, hogy igenis

    olyan informcikat kell gyjteni, ami ksbb a vllalat mkdst jobb teheti [8].

    Forrs: http://www.doksi.hu

  • 7/28/2019 Az Adattarhaz Technologia Elonyei Es Hatranyai

    5/10

    Az informcik hatkony gyjtse, feldolgozsa s rtkelse nem egyszer feladat.

    Mint ahogyan az absztrakcis piramis is rmutat, a rendelkezsre ll adatok mennyisgtl

    fgg a megszerezhet informcik s megszerezhet tuds mennyisge, de minden adag gy

    elrhetv tett tudshoz rengeteg adatra van szksg [18][21].

    Adat

    Informci

    A

    bsztrakciszintje

    Adatmennyisg

    Tuds sintelligencia

    1. bra: Absztrakcis piramis

    Az absztrakcis piramis [1. bra] rtelmezshez [9] tisztzni kell nhny alapvetfogalmat:

    Az adat lehet brmilyen mrsi eredmny, szlels, ismrv, hr vagy kzlemny [10].

    Az informci az adatok rtelmezsbl addik. Megfogalmazhat gy is, hogy az

    adatok gyjtsnek s oly md rendezsnek eredmnye, mely az adatok kzti kapcsolatokra

    fnyt dert, azokat tartalommal s rtelmezssel elltva.

    A tuds valamilyen trgykr ismerett jelenti, belertve az informcikat, tnyeket s

    lersokat. A tuds megszerzse persze trtnhet oktats vagy tapasztalat ltal jelen esetben

    a tapasztalat ltal megszerezhet tudsra kell koncentrlni. A tuds meglte annyit tesz, hogy

    a trgykrt elmleti s gyakorlati oldalrl egyarnt rtjk. Tuds tovbb az informcik

    megrtsn s azokban mintk felismersn alapul elv, mely mly beleltst biztost az

    informcikba.

    A folyamat vgeredmnyeknt elll tuds [2. bra] hasznostsnak mdja az, ha

    akcitervet kszt a vllalat, majd meg is valstja azt.

    Forrs: http://www.doksi.hu

  • 7/28/2019 Az Adattarhaz Technologia Elonyei Es Hatranyai

    6/10

    Adat Informci Tuds Akciterv

    2. bra: Az zleti intelligencia folyamata

    Az a folyamatrsz, mely sorn az adatokbl informcikat kpeznk,

    megfogalmazhat gy is, hogy meg kell hatrozni, melyik adatot, milyen sszefggsben kell

    gyjteni, illetve kezelni. A krnyezetbl kiemelve (vagy krnyezet nlkl) az adatok kevss

    rtkesek (ilyen lehet egy vsrli nvhalmaz), m megfelel krnyezetben gyjtve, azokat

    rtelmezssel elltva sokkal nagyobb rtket nyernek (vsrli adatok sszegyjtve: nevek,

    hozzjuk kapcsold vsrlsok, egyb rtkek) [11].

    Elmondhat, hogy a BI-folyamatok kzl fknt az adatok kezelsrl smegjelentsrl van sz, mely fizikai megjelensket tekintve fknt hardverplatformokat,

    relcis adatbzisokat s azokat kezel szoftvereket jelentenek funkcijuk tekintetben

    lekrdezsek futtatsra s jelentsek ksztsre van szksg. Ehhez a fzishoz az emberigny

    elssorban adatkezelsben, adatintegrciban s koordinciban jrtas szakemberekben merl

    ki [13][14].

    Ha a vllalat odig eljutott, hogy rengeteg informcival rendelkezik, akkor azokat

    tbbfle mdon kell elemezni, hogy abbl tuds nyerhet legyen. A nyert tuds

    felhasznlhat arra, hogy akcitervek kszljenek belle, majd azokat megvalstva

    megoldst nyjtsanak valamilyen problmra.

    Itt elmondhat, hogy a BI-folyamatok kzl itt fknt az elemzst tmogat

    komponensekre van szksg [3. bra], mint amilyenek az adattrhzak, az analitikai

    feldolgozs (OLAP), az adatbnyszat, az zleti szablyok elemzse, az adatok krvonalazsa

    s minstse. Itt a szakemberigny elssorban olyan szakemberekben nyilvnul meg, akik

    ezeket az informatikai eszkzket hatkonyan tudjk kezelni, hogy kell a megfelel

    eredmnyeket kinyerni e nlkl semmit sem rnek a drga szoftverek [16][17].

    Forrs: http://www.doksi.hu

  • 7/28/2019 Az Adattarhaz Technologia Elonyei Es Hatranyai

    7/10

    Adat Informci Tuds Akciterv

    Szakemberigny:- Adatbzisok ksztsben,menedzselsben,- Adatkezelsben,- Adatintegrciban,- Koordinciban jrtas szakemberek

    Technikai igny:

    -Hardver platformok-Adatbzisok-Adatbziskezelszoftverek

    Szakemberigny:

    - Elemzk

    Technikai igny:

    -OLAP,-Adatbnyszat,-zelti szablyok elemzse

    3. bra: zleti intelligencia ignyei

    Valsznleg az utols fzis a legfontosabb lps, itt keletkezik a valdi, kzzel

    foghat s altmaszthat tartalom (tudsbl akciterv), valamint ez az amire a vezets is

    vgyik. Az egsz zleti intelligencira alapozott vllalati stratgia kulcspontja a reagls

    kpessge. Ezen keresztl lesz megllapthat az informcitechnolgira fordtott beruhzs

    megtrlse is. Az akcik segtsgvel nvelhet lesz az zleti hatkonysg, az eladsok,

    javthat a vsrlk megclzsa, cskkenthetek a szolgltatsok kltsgei, felismerhetek a

    csalsok s sszessgben a kltsgek cskkentsvel nhet a profit.

    A megfogalmazhat htrnyok

    Az adattrhzakkal kapcsolatban minden forrsbl szinte kizrlag az elnyket

    kaphatjuk meg. A technolgia alkalmazsnak htrnyai azonban bizonyos id utn

    szembetnek ezek a megfogalmazhat htrnyok alapveten hrom csoportba sorolhatak:

    Sok esetben nincs tnyleges szksg egy adattrhzra az gymenet gyorstsa

    szempontjbl,

    Az adattrhzhoz val alkalmazkods jelentsen meg tud bonyoltani zleti

    folyamatokat, illetve

    A magas fejlesztsi s fenntartsi kltsgek, valamint a lass megtrlsbl

    szrmaz htrnyok.

    Az tny, hogy az adattrhz technolgia npszer, s emiatt kelend is. m nem

    minden cg szmra elengedhetetlen egy adattrhz lte. Olyan helyeken, ahol nem fontosak

    a trtneti adatok, nem kell azokat elemezni (nem alkalmaznak semmifle zleti

    Forrs: http://www.doksi.hu

  • 7/28/2019 Az Adattarhaz Technologia Elonyei Es Hatranyai

    8/10

    intelligencit), s nem fontos, hogy azok azonnal rendelkezsre lljanak, ott nem szksges az

    adattrhz kiptse.

    Ahol mgis kiptsre kerl egy adattrhz (mert igazolhat, hogy szksges, megtrl

    s segt az gymenet gyorsabb s hatkonyabb ttelben), ott is szmolni kell azzal, hogylesznek olyan zleti folyamatok, melyek bonyolultabb vlnak azltal, hogy a napi rutin

    rszv vlik az adattrhz. Itt elssorban az adatok beszerzst s frisstst rint

    folyamatokra kell gondolni hozzfrs, engedlyezs. Ezen fell az sem mindegy, hogy az

    adattrhz milyen mdon trolja az adatokat: a tervezsi fzis legelejn kell eldnteni, hogy

    dimenzis vagy normlforms technika kerl alkalmazsra. Mg az elbbi knnyebb

    adatelrst s knnyebb kezelhetsget biztost olyan emberek szmra is, akik nem

    elssorban informatikai vgzettsgek cserbe az adatok hozzadsa bonyolultabb lesz,addig az utbbi esetben az adatok hozzadsa knnyebb, m lekrdezsek / riportok

    ksztse lesz bonyolultabb sok esetben informatikai tudst ignyelve.

    Az adattrhzak fejlesztse (vagyis ignyek s kvetelmnyek felmrse, tervezs s

    prototpuskszts az j verzibl, annak bevezetse s zemeltetse / fenntartsa)

    fggetlenl attl, hogy egy iteratv folyamat s ebbl kifolylag relatve gyorsan jelentkezik

    hasznlhat eredmny hossz s bonyolult, sok embert ignybe vev folyamat: Nem ritkk

    fl vnl hosszabb adattrhz projektek, amelyekben (valamilyen mrtkben) a cg

    munkatrsainak tbb mint harmada rszt kell vegyen (a hossz s sokemberes fejlesztsek

    pedig mindig drgk). Az ETL folyamatok tervezse sorn radsul a fejlesztknek kt

    irnyba kell figyelnik: egyfell meg kell hatrozni, hogy melyik adat, honnt (melyik

    forrsrendszerbl), milyen formban (tiszttssal s szrssel) s hov kerljn az

    adattrhzba, milyen rendszeressggel; msfell vizsglni kell a kialakul adatfggseket,

    azaz, ha valamin vltoztatni kell (az adaton, tpusn vagy akr a betlts folyamatn), akkor

    az milyen hatsokkal jrhat. A fenntartsi kltsgek ugyancsak magasak lesznek (msrendszerekkel sszehasonltva), radsul sok adattrhz projekt folytonos fejlds alatt ll,

    azaz a fejlesztsi munkk folyamatosan jelen vannak, igaz, csak nhny szemlyt rint

    mrtkben. Vgl pedig: a hossz fejlesztsek miatt s a sok esetben vrl vre nvekv

    rfordtsigny miatt nehz feladat megtrlst szmolni, illetve ha mgis sikerl, akkor

    kijelenthet: egy adattrhz beruhzs nagyon lassan trl meg [12][20].

    Forrs: http://www.doksi.hu

  • 7/28/2019 Az Adattarhaz Technologia Elonyei Es Hatranyai

    9/10

    Konklzi

    Az persze vitathatatlan, hogy a felsorolt elnyk messze fellmljk az emltett

    htrnyokat, m fontos kiemelni mivel a legtbb kudarcba fulladt projekt ennek ksznheti

    bukst hogy a megfelel igazols s business case hinyban feleltlen dolog adattrhzfejlesztsbe kezdeni.

    Ugyancsak kiemelend, hogy a tapasztalatok azt mutatjk, hogy az adattrhz meglte

    s hasznlata nerst folyamat: idvel egyre tbb rszleg fog az adattrhzhoz fordulni

    informci-krssel, riport-ignnyel, gy az egyre inkbb rszv vlik majd a vllalatnak.

    Irodalomjegyzk

    [1] Dych, Jill: e-Data: turning data into information with data warehousing. Addison-Wesley, 2000.

    [2] Hammergren, Thomas C. Simon, Alan R.: Data Warehousing for Dummies. ForDummies, 2009.

    [3] Moss, Larissa Terpeluk Atre Shaku: Business intelligence roadmap: the completeproject lifecycle for decision-support applications. Addison-Wesley, 2003.

    [4] Jarke, Matthias: Fundamentals of data warehouses. Springer, 2003.

    [5] Khan, Arshad: SAP and BW Data Warehousing: How to Plan and Implement:iUniverse, 2005.

    [6] Galli Richard Pter: Software technology: Specialized development / launch methodfor BI applications, XX. SZMOKT 2010- Szmtstechnika s oktatsKonferencia, Romnia, Szatmrnmeti, 2010.

    [7] Westerman, Paul: Data warehousing: using the Wal-Mart model. Morgan Kaufmann,2001.

    [8] Hosni, Yasser A. Khalil, Tarek M.: Management of technology: opportunities andchallenges for developed and developing regions of the world : selected papersfrom the Eleventh International Conference on Management of Technology.

    Emerald Group Publishing, 2004.[9] Kovcs Lszl Dr.: Adatbzisok tervezsnek s kezelsnek mdszertana,

    Computerbooks Kiad , 2004.

    [10] Raffai Mria: Informcirendszerek fejlesztse s menedzselse. Novadat, 2003.

    [11] Davenport, Thomas Prusak, Laurence: Working knowledge: how organizationsmanage what they know. Harvard Business Press, 2000.

    [12] Reeves, Laura L.: A Managers Guide to Data Warehousing. Wiley, 2010.

    [13] Inmon, W. H.: Building the data warehouse. Wiley, 2002.

    [14] Hoberman, Steve: Data Modelers Workbench. Wiley, 2002.[15] Ponniah, Paulraj: Data warehousing fundamentals A Comprehensive Guide for IT

    Forrs: http://www.doksi.hu

  • 7/28/2019 Az Adattarhaz Technologia Elonyei Es Hatranyai

    10/10

    professionals. Wiley, 2001.

    [16] Chan, Yupo Talburt, John Talley, Terry M.: Data Engineering Mining,Information and Intelligence. Springer, 2010.

    [17] Wang, John: Encyclopedia of Data Warehousing and Mining. Idea Group, 2006.

    [18] Schlukbier, Alan: Implementing Enterprise Data Warehousing A Guide forExecutives. Lulu.com, 2007.

    [19] Ullrey, Bruce Russel: Implementing a Data Warehose A Methodology That Worked.AuthourHouse, 2007.

    [20] Prabhu, C. S. R.: Data Warehousing: Concepts, Techniques, Products andApplications. PHI Learning, 2004.

    [21] SCN Education B.V.: Data Warehousing: The Ultimate Guide to Building CorporateBusiness Intelligence. BirkHauser, 2001.

    Forrs: http://www.doksi.hu