adattárházak és bi rendszerek megvalósítása

Adattárházak és BI rendszerek megvalósítása

DW/BI projektek gyakorlati aspektusai

Csillag Péter

Ügyvezető

csillagp@starschema.net

www.starschema.net2

Bemutatkozás

A Starschema KFT adattárházakhoz és üzleti intelligencia rendszerekhez kapcsolódó konzultációs és fejlesztési tevékenységeket végez.

Konzultációs területek• Üzleti igények felmérése, üzleti specifikációk készítése

• Eszköz kiválasztási konzultáció

• Tender dokumentációk elkészítése

• POC / Pilot projektek megvalósítása

• Technikai, költség, projekt tervek elkészítése

• Projektvezetés

• Üzleti és technikai felhasználók oktatása

www.starschema.net3

Bemutatkozás

Fejlesztési területek

• Adattárházas / BI rendszerek bevezetése, integrációja, üzemeltetése

• Adattárházas / BI alkalmazások fejlesztése az üzleti igények alapján, komplett

tervezési, elemzési megoldások megvalósítása

• Adattárházas / BI rendszerek és alkalmazások 1-2-3rd level supportja

• Meglévő adattárházas / BI rendszerek felmérése, elemzése, auditálása, source-

to-target mapping és adatfelhasználási információk kigyűjtése saját fejlesztésű

szoftveres megoldásunkkal (Business ObjectsTM és OracleTM rendszerekből)

• Adattárházas / BI rendszerek és alkalmazások ügyfél igények szerinti

customizációja, testre szabása, egyedi funkciók, kiterjesztések integrációja

(főleg Business Objects Xi Java és VB API használatával)

www.starschema.net4

Bemutatkozás

Technológiák• "Hagyományos" Business Objects reporting termékvonal• Crystal reports • Crystal Xcelsius• BO rendszerek (BO 6.5 - Xi) ügyfél igények szerinti testre szabása,

egyedi funkciók, kiterjesztések integrációja Java és VisualBasic API használatával

• Business Objects Data Integrator, ETL folyamatok megvalósítása, • BO DI rendszerek üzemeltetése, tuningolása, automatikus

monitoringja és customizációja• Oracle adatbázis és adattárház megoldások, DBMS, OWB,

Discoverer fejlesztése, üzemeltetése• Oracle adatbázisok adattöltési és adatelérési, -felhasználási

információinak kigyűjtése és elemzése• Opensource DW / BI• Adatbázistervezés • Adatvizualizáció és adatbeviteli (manuális és batch ) rendszerek

megvalósítása

www.starschema.net5

Preambulum

A prezentációban szereplő, illetve az előadás közben elhangzó termék vagy technológia nevek, az azokkal kapcsolatban megfogalmazott vélemények a szerző tapasztalataiból származnak.

Ezek a vélemények nem támaszthatóak alá sem tényekkel, sem statisztikai adatokkal, sem mérésekkel, így nem képezhetik semmilyen komoly döntés alapját.

Aki mégis messzemenő következtetéseket vonna le a prezentációban szereplő információk alapján, az azt csak a saját felelősségére teheti.

A prezentációban szereplő csoportosítások, kategóriák a szerző véleményét tükrözik, nem illeszkednek semmilyen hivatalos információhoz, tartalmazhatnak hibákat, elírásokat.

www.starschema.net6

Tartalom

Kérdések / válaszok

A Business Objects termékek ismertetése

A DW / BI technológiák csoportosítása

A DW / BI projektek jellemző feladatai

A DW / BI projektek csoportosítása és tipizálása

www.starschema.net7

Tipikus adattárház projekt típusok

Információ igény miatt• Éles verseny miatt, pl marketing adattárházak (dinamikusan

változó igények)

• Törvényi kötelezettségek (canned reporting)

• Hatékonyság növelés, VIR (sok forrás, stabil struktúrák)

• Egyéb vállalati információ igény, pl bónusz-számítás, szatellit rendszerek

Tranzakciós rendszerek tehermentesítése miatt Vezetői ambíciók miatt Ezek keveréke

www.starschema.net8

Projekt típusok jellemzői

Marketing adattárházak• Dinamikusan változó igények, adat struktúrák• What if elemzések, idősorok• Külső adatforrások (pl közvéleménykutatások) integrációja• MOLAP + fejlett BI technológiát igényel

Canned reporting• Beszámolók, heti sales riportok, jelentések, stb• Elvileg statikus riport igények (Magyarországon ez nem

triviális)• Speciális (pl meghatározott formátumú, csatornájú)

disztribúciót igényel• Hibamentesség elvárt (sem a folyamatban, sem az adatban

nem lehet hiba)

www.starschema.net9

Projekt típusok jellemzői

VIR• A vállalaton belüli sok rendszerből használ adatot, bonyolult

adatintegráció és ETL folyamatok• Vannak állandó és változó riport igények is – de az adatstruktúrák

általában nem változnak.• A cégen belüli adatok konszolidációja miatt igényli a céges

funkciók / adatszótárak konszolidációját is.• Olyan bonyolult, amilyen a vállalat maga

Egyéb• Ha már van adattárház – az egyéb adat igényeket is szolgáljuk ki

innen (pl. Bónusz számítás, adat feladások más rendszerek felé, stb)

www.starschema.net10

Projekt fázisok / feladatok

Udvarlási fázis: Megkeresés informálódás RFP (Logikai design)

Ajánlatadás / Proposal Mézes hetek:

Követelmények véglegesítése

Technikai design projekt terv erőforrás terv fejlesztési sztenderdek

Együttélés / megvalósítás

Infrastruktúra kialakítása DW adatstruktúrák design-ja Dimenziók feldolgozása

Forrásrendszeri mapping Áttöltés Transzformációk,

konszolidációs szabályok kialakítása

Validációs riportok Tény adatok feldolgozása

Forrásrendszeri mapping Áttöltés Transzformációk,

aggregátumok kialakítása Validációs riportok

Adatfelhasználás / Reporting

www.starschema.net11

Projekt fázisok / feladatokUdvarlási fázis:

•Megkeresés •informálódás •RFP (Logikai design)

Ajánlatadás / Proposal

Mézes hetek:•Követelmények véglegesítése •Technikai design (adatstruktúrák, folyamatok, )•projekt terv •erőforrás terv •fejlesztési sztenderdek

•Infrastruktúra kialakítása (Dev/Teszt/Prod)

Dimenziók feldolgozása•Forrásrendszeri mapping •Áttöltés •Transzformációk, konszolidációs szabályok kialakítása•Validációs riportok

Tény adatok feldolgozása

•Forrásrendszeri mapping•Áttöltés •Transzformációk, aggregátumok kialakítása•Validációs riportok

•Adatfelhasználás / reporting

•Performancia Tesztelés•Integrációs / Üzleti tesztek

Együttélés / Megvalósítás

•Élesbe állás•Pre- / Post GoLive Support•Dokumentáció•Integráció

www.starschema.net12

DW / BI technológiák csoportosítása

Saját növekedéssel fejlődő technológiák• Példák: SASTM, InformaticaTM, MicrostrategyTM, TeradataTM, SAPTM,

stb• Tulajdonságok

– Drágák– Stabilak– Fókuszáltak

Akvizíciókkal növekvő technológiák• Példák: Oracle, MSTM, IBMTM, SAP, Business Objects• Tulajdonságok

– Drágák– Nem stabilak (R2 előtt kifejezetten kockázatos a bevezetésük)– Az adat felhasználás széles körét lefedik

www.starschema.net13

Business Objects

Tények• 1990-ben alakították, Párizsban• Önmagában is a vezető BI szállítók közé sorolják

– IDC és Gartner elemzések szerint a vezetők között van, bizonyos szempontok szerint piacvezető

– Több mint 43 000 ügyfél, a Fortune 500 cégeknek 50% használja

– 6200 alkalmazott, több mint 3000 partnercég• 2007-ben felvásárolja az SAP• 2008 januárjában jelennek meg az első „közös” csomagok

www.starschema.net14

Business Objects rendszerek

Intelligence Platform• Integrálja a BO funkciókat, elemeket, technológiákat

Riportoló technológiák• Reporting

– Crystal reports

• AdHoc Reporting– Hagyományos BO vonal, WebIntelligence, DeskI– Standard, Interaktív és analitikus riportok készítésére is alkalmas

• Analytic Reporting– Voyager, SetAnalysis, TextAnalysis, MetadataManagementSystem, ...

www.starschema.net15

Business Objects rendszerek

Information Delivery• Dashboard and Visualization

– Xcelsius– Dashboard Builder– Stb.

• Mobile• LiveOffice

Information Discovery• Search and Navigation• Search Engine Integration

www.starschema.net16

Business Objects rendszerek

Information Management• Data Integration (ETL)• Data Quality• Data Federator (virtual integration)• TextAnalysis • Rapid Marts• BO Integration

www.starschema.net17

Business Objects rendszerek

Enterprise performance Management• Strategy Management• Business Planning and Consolidation• Financial Consolidation• Profitability and Cost Management• Spend Analytics

SAP / Business Objects Packages• BO reporting on SAP• DW on SAP

www.starschema.net18

Business Objects rendszerek testreszabása

Hagyományos BO vonal (riporting)• Szemantikus réteg használata (főleg relációs adatokra)

• Full kliens technológia• WebIntelligence

Crystal• Hagyományos és beágyazott riportok• Xcelsius

www.starschema.net19

Business Objects rendszerek testreszabása

Igények, amik fölmerültek a BO (és más BI) rendszerekkel kapcsolatban

• Xi verziókban a repository kódolt bináris állományban van, csak API-n keresztül érhető el. A metaadatok könnyen olvashatóvá (írhatóvá) tétele lehetővé teszi:

– Security könyebb nyilvántartását– Source-to-Target Mapping generálást– Impact analízist– Hibakeresést

• Tömeges riport módosítás. • Automatikus Univerzum módosítás.• Monitorozás• BackUp megoldások

www.starschema.net20

Befejezés, általános tanácsok

A módszertanok, szabványok „csak” segítséget adnak A józan ész és tapasztalat az, aminek korlátoznia kell a

kreativitást Minden ügyfél / projekt / igény egyedi Ne féljünk áthágni a módszertanok szabályrendszerét,

ha indokolt Ne féljünk a sokszínűségtől (az üzemeltetők úgyis

korlátoznak, ha szükségét érzik), keressük meg a probléma megoldásához legjobban illeszkedő technológiát

Ne döntsünk egyedül, egy adattárházas projekt túl komplex hozzá

www.starschema.net21

Most már tényleg befejezem

Kérdések?

Elérhetőségek: csillagp@starschema.net illetve www.starschema.net

Köszönöm a figyelmet!