![Page 1: Adatvagyon és metaadat kezelés...elemezni az összegyűjtött adatainkat és ne költsünk felesleges dolgokra, tudni kell, hogy mink van, minek mi az értéke és mennyibe kerül](https://reader033.vdocuments.pub/reader033/viewer/2022041621/5e3ec8c1412b8617c0237e0d/html5/thumbnails/1.jpg)
1 HOUG Szakmai nap 2015
Gollnhofer Gábor DMS Consulting
Az adatvagyon kezelés és a metaadatok
![Page 2: Adatvagyon és metaadat kezelés...elemezni az összegyűjtött adatainkat és ne költsünk felesleges dolgokra, tudni kell, hogy mink van, minek mi az értéke és mennyibe kerül](https://reader033.vdocuments.pub/reader033/viewer/2022041621/5e3ec8c1412b8617c0237e0d/html5/thumbnails/2.jpg)
2 HOUG Szakmai nap 2015
Nagyon rövid bevezetés az adatvagyon kezelésbe
Big Data és elemzések, adattárház és önkiszolgáló BI - napjaink sláger témái.
Ugyanakkor ahhoz, hogy hatékonyan tudjuk kezelni és elemezni az összegyűjtött adatainkat és ne költsünk felesleges dolgokra, tudni kell, hogy mink van, minek mi az értéke és mennyibe kerül.
Többek között ennek megválaszolását segíti az adatvagyon kezelés (data governance).
![Page 3: Adatvagyon és metaadat kezelés...elemezni az összegyűjtött adatainkat és ne költsünk felesleges dolgokra, tudni kell, hogy mink van, minek mi az értéke és mennyibe kerül](https://reader033.vdocuments.pub/reader033/viewer/2022041621/5e3ec8c1412b8617c0237e0d/html5/thumbnails/3.jpg)
3 HOUG Szakmai nap 2015
Az adatok értéke - Miért adat „vagyon”? Hasonló az egyéb vagyonelemekhez
Költség:
Beszerzési érték, beszerzés költsége
Használattal kapcsolatos költségek
Kicserélés, javítás, pótlás költsége
„Karbantartás” költsége
Haszon:
Használati érték (idő, produktivitás, jó vezetői döntések)
Kockázat csökkentés (bank/biztosító/retail/eü szabályozás, pl. kötelező tartalékképzés)
„Monetizing” (ha lehetséges/szabad)
![Page 4: Adatvagyon és metaadat kezelés...elemezni az összegyűjtött adatainkat és ne költsünk felesleges dolgokra, tudni kell, hogy mink van, minek mi az értéke és mennyibe kerül](https://reader033.vdocuments.pub/reader033/viewer/2022041621/5e3ec8c1412b8617c0237e0d/html5/thumbnails/4.jpg)
4 HOUG Szakmai nap 2015
Mi az adatvagyon kezelés (data governance)?
Az adatvagyon kezelésnek foglalkoznia kell a „kezelt” adatok:
• elérhetőségével,
• felhasználhatóságával,
• integritásával (és minőségével),
• biztonságával.
Ezek nem csak technológiai kérdések!
Hanem üzleti és jogi is (pl. személyes adatok védelme; „Right to be forgotten”)
![Page 5: Adatvagyon és metaadat kezelés...elemezni az összegyűjtött adatainkat és ne költsünk felesleges dolgokra, tudni kell, hogy mink van, minek mi az értéke és mennyibe kerül](https://reader033.vdocuments.pub/reader033/viewer/2022041621/5e3ec8c1412b8617c0237e0d/html5/thumbnails/5.jpg)
5 HOUG Szakmai nap 2015
Az adatvagyon kezelés elemei
Folyamatok (Process)
IT (Technology)
Emberek (People)
![Page 6: Adatvagyon és metaadat kezelés...elemezni az összegyűjtött adatainkat és ne költsünk felesleges dolgokra, tudni kell, hogy mink van, minek mi az értéke és mennyibe kerül](https://reader033.vdocuments.pub/reader033/viewer/2022041621/5e3ec8c1412b8617c0237e0d/html5/thumbnails/6.jpg)
6 HOUG Szakmai nap 2015
Az adatvagyon adatelemei
Metaadatok
Törzsadatok Operatív adatok
![Page 7: Adatvagyon és metaadat kezelés...elemezni az összegyűjtött adatainkat és ne költsünk felesleges dolgokra, tudni kell, hogy mink van, minek mi az értéke és mennyibe kerül](https://reader033.vdocuments.pub/reader033/viewer/2022041621/5e3ec8c1412b8617c0237e0d/html5/thumbnails/7.jpg)
7 HOUG Szakmai nap 2015
Eszközei
„Soft” eszközök Üzleti fogalomtár(ak), definíciók és ontológiák
Folyamat leírások, szabályzatok (üzleti és IT), dokumentációk
Oktatás
„Hard” eszközök Törzsadatkezelés (Master Data Management – MDM és/vagy
Customer Data Integration – CDI; Product Data Mgmt - PDM)
Metaadat kezelés (üzleti és technológiai)
Hozzáférés kezelés (jogosultságok és naplózás)
Archiválási eszközök és eljárások (pl. anonimizálás)
Katalógusok (pl. rendszertérkép)
Adatminőség biztosítás (Data Quality Management)
![Page 8: Adatvagyon és metaadat kezelés...elemezni az összegyűjtött adatainkat és ne költsünk felesleges dolgokra, tudni kell, hogy mink van, minek mi az értéke és mennyibe kerül](https://reader033.vdocuments.pub/reader033/viewer/2022041621/5e3ec8c1412b8617c0237e0d/html5/thumbnails/8.jpg)
8 HOUG Szakmai nap 2015
A metaadat definíciója
A metaadat „adat az adatokról“
Komplett információcsomag, amely pontosan definiálja a szervezet működéséhez szükséges adatokat
A szervezeten, vállalaton belül
közös nyelvet határoz meg,
a munkatársak és rendszerek könnyen kommunikálhatnak
A metaadat beazonosítja a rendszerekben levő adatokat és menedzselésük/irányításuk módját
Üzleti kontextusban mutatja be az adatokat
Specifikálja a rendszer(ek)en belüli helyét
Adatkinyeréseket, betöltéseket, frissítéseket indíthat el
![Page 9: Adatvagyon és metaadat kezelés...elemezni az összegyűjtött adatainkat és ne költsünk felesleges dolgokra, tudni kell, hogy mink van, minek mi az értéke és mennyibe kerül](https://reader033.vdocuments.pub/reader033/viewer/2022041621/5e3ec8c1412b8617c0237e0d/html5/thumbnails/9.jpg)
9 HOUG Szakmai nap 2015
A metaadatok feladatai
Feladat #1: Adatdefiníció
Hány ügyfelünk van? A „Vevő” az „A” rendszerben ugyanaz, mint az „Ügyfél” a „B” rendszerben?
Mit jelent az UGYFEL_ERT? „Ügyfél értéke” vagy „Ügyfél értesítés dátuma”? Kitől kell megkérdezni?
Ezen a riporton a „Bevétel” a termékeket és szolgáltatásokat is tartalmazza vagy csak a termékeket?
A cél: hogy almát almához hasonlítsunk
![Page 10: Adatvagyon és metaadat kezelés...elemezni az összegyűjtött adatainkat és ne költsünk felesleges dolgokra, tudni kell, hogy mink van, minek mi az értéke és mennyibe kerül](https://reader033.vdocuments.pub/reader033/viewer/2022041621/5e3ec8c1412b8617c0237e0d/html5/thumbnails/10.jpg)
10 HOUG Szakmai nap 2015
A metaadatok feladatai
Feladat #2:
az adatok forrásának, transzformációinak leírása
Hogy tudjuk, honnan jön az adat és hová megy:
Mely számokat kombinálják a havi adat előállításához?
Ha ezt megváltoztatom, mire lesz hatással?
Ez az adat rossznak tűnik, honnan jött?
Milyen gyakran frissítik a jelentéseket?
Ez vajon hogyan jött ki?
Kitől kell ezeket megkérdeznem?
![Page 11: Adatvagyon és metaadat kezelés...elemezni az összegyűjtött adatainkat és ne költsünk felesleges dolgokra, tudni kell, hogy mink van, minek mi az értéke és mennyibe kerül](https://reader033.vdocuments.pub/reader033/viewer/2022041621/5e3ec8c1412b8617c0237e0d/html5/thumbnails/11.jpg)
11 HOUG Szakmai nap 2015
Metaadatok értéke Az üzleti és technikai felhasználók különböző kérdéseire adott
válaszokban rejlik
Forrás: Oracle – Big Data Governance
![Page 12: Adatvagyon és metaadat kezelés...elemezni az összegyűjtött adatainkat és ne költsünk felesleges dolgokra, tudni kell, hogy mink van, minek mi az értéke és mennyibe kerül](https://reader033.vdocuments.pub/reader033/viewer/2022041621/5e3ec8c1412b8617c0237e0d/html5/thumbnails/12.jpg)
12 HOUG Szakmai nap 2015
Hol a helye az architektúrában?
Forrás: Oracle Information Management & Big Data Reference Architecture
![Page 13: Adatvagyon és metaadat kezelés...elemezni az összegyűjtött adatainkat és ne költsünk felesleges dolgokra, tudni kell, hogy mink van, minek mi az értéke és mennyibe kerül](https://reader033.vdocuments.pub/reader033/viewer/2022041621/5e3ec8c1412b8617c0237e0d/html5/thumbnails/13.jpg)
13 HOUG Szakmai nap 2015
Kapcsolódó Oracle eszközök
Data Governance
Metadata Management
Business Glossary
Data Profiling
Data Cleansing
Data Archiving
Data Privacy
Oracle Enterprise Metadata Management (OEMM)
Oracle Enterprise Data Quality
![Page 14: Adatvagyon és metaadat kezelés...elemezni az összegyűjtött adatainkat és ne költsünk felesleges dolgokra, tudni kell, hogy mink van, minek mi az értéke és mennyibe kerül](https://reader033.vdocuments.pub/reader033/viewer/2022041621/5e3ec8c1412b8617c0237e0d/html5/thumbnails/14.jpg)
14 HOUG Szakmai nap 2015
Oracle Enterprise Metadata Management (OEMM)
Metaadat kezelés
Vízszintes és szemantikai függőség (lineage) kezelés
Üzleti fogalomtár
Az üzleti fogalmak együttműködő és egyszerű definiálása és kapcsolataik nyilvántartása
Tulajdonságok
Üzleti adat/fogalom katalógus
Riport Forrás (Lineage)
Hatáselemzés (Impact)
Auditálás, verziókezelés
Kollaboráció lehetőségek
Annotációk, tag-ek
Nyílt, más gyártók eszközeit is ismeri
![Page 15: Adatvagyon és metaadat kezelés...elemezni az összegyűjtött adatainkat és ne költsünk felesleges dolgokra, tudni kell, hogy mink van, minek mi az értéke és mennyibe kerül](https://reader033.vdocuments.pub/reader033/viewer/2022041621/5e3ec8c1412b8617c0237e0d/html5/thumbnails/15.jpg)
15 HOUG Szakmai nap 2015
Oracle Enterprise Metadata Management
A metaadat kezelés két „nézete”
![Page 16: Adatvagyon és metaadat kezelés...elemezni az összegyűjtött adatainkat és ne költsünk felesleges dolgokra, tudni kell, hogy mink van, minek mi az értéke és mennyibe kerül](https://reader033.vdocuments.pub/reader033/viewer/2022041621/5e3ec8c1412b8617c0237e0d/html5/thumbnails/16.jpg)
16 HOUG Szakmai nap 2015
Oracle Enterprise Metadata Management
Bevezetés, történet
Vállalati metaadat kezelő megoldás
ISO/IEC 11179 szabvány kompatibilis „Information Technology -- Metadata registries (MDR)”
Eredeti gyártó:
Meta Integration Technology, Inc. (MITI)
1997 óta „csak” metaadat kezeléssel foglalkoznak
többen is OEM-ben beépítették („MITI bridge”)
Oracle verzió
Oracle (OEM) branding és módosított webes felület (Oracle Enterprise Metadata Management 12cR1 (12.1.3.0.2))
A legújabb 8.0-ás verzió alapján
![Page 17: Adatvagyon és metaadat kezelés...elemezni az összegyűjtött adatainkat és ne költsünk felesleges dolgokra, tudni kell, hogy mink van, minek mi az értéke és mennyibe kerül](https://reader033.vdocuments.pub/reader033/viewer/2022041621/5e3ec8c1412b8617c0237e0d/html5/thumbnails/17.jpg)
17 HOUG Szakmai nap 2015
Oracle Enterprise Metadata Management
Fontosabb funkciói
Glossary (fogalomtár)
Metaadatok importálása és indexelése
Kézzel és ütemezetten is indítható
Keresés és metaadatok böngészése
Szöveges leírások
Diagramok (adatmodell, ETL folyamat, stb.)
Függőség és hatáselemzés (impact & lineage)
Szöveges formában
Grafikus ábrázolás
Verziókezelés
![Page 18: Adatvagyon és metaadat kezelés...elemezni az összegyűjtött adatainkat és ne költsünk felesleges dolgokra, tudni kell, hogy mink van, minek mi az értéke és mennyibe kerül](https://reader033.vdocuments.pub/reader033/viewer/2022041621/5e3ec8c1412b8617c0237e0d/html5/thumbnails/18.jpg)
18 HOUG Szakmai nap 2015
Oracle Enterprise Metadata Management
Felépítése, elemei
Felhasználói felület
Böngésző alapú (Chrome, Explorer, Firefox, Safari)
Metadata Manager és Metadata Explorer „alkalmazás”
Web alkalmazás server
Tomcat vagy Oracle Weblogic (esetleg Websphere)
Repository
Relációs adatbázisban (pl. Oracle 12c, MSSQL, stb.)
Meta modell „bridge”-ek
A különböző metaadat források kezeléséhez (import)
Kézi és ütemezett „begyűjtés” („harvesting”)
![Page 19: Adatvagyon és metaadat kezelés...elemezni az összegyűjtött adatainkat és ne költsünk felesleges dolgokra, tudni kell, hogy mink van, minek mi az értéke és mennyibe kerül](https://reader033.vdocuments.pub/reader033/viewer/2022041621/5e3ec8c1412b8617c0237e0d/html5/thumbnails/19.jpg)
19 HOUG Szakmai nap 2015
Kapcsolódási lehetőségek, támogatott eszközök Kb. „a világ összes komolyabb eszközét ismeri”
Adaptive
Altova
Apache Hcatalog
Apache Hive/HQL
Borland
CA ERwin
Cloudera Impala
COBOL Copybook
DataStax
Embarcadero
EMC ProActivity
GentleWare
Google BigQuery
Grandite
Hadapt Hive
Hortonworks Hive
IBM Cognos
IBM DB2
IBM DataStage
IBM Discovery
IBM Federation Server
IBM Lotus Notes
IBM Netezza
IBM Rational Rose
IBM Rational Architect
Informatica Metadata Mgr.
Informatica PowerCenter
CoSORT
ISO SQL Standard (DDL)
MapR Hadoop Hive
MicroFocus
Microsoft Access
Microsoft Office Excel
Microsoft Visio
Microsoft SQL Server
Microsoft SSIS
Microsoft Visual Studio
Microstrategy
Magic Draw
OMG CWM Standard
OMG UML Standard
Oracle BI Answers
Oracle BI Enterprise Edition
Oracle BI Server
Oracle DAC
Oracle Data Integrator
Oracle Data Modeler
Oracle Database
Oracle Designer
Oracle Hyperion Applications
Oracle Hyperion Essbase
Oracle Warehouse Builder
Pivotal Greenplum
PostgreSQL
QlikView
SAP BO Crystal Reports
SAP BO Designer
SAP BO Desktop Intelligence
SAP BO Repository
SAP BO Data Integrator
SAP BO Data Steward
SAP Master Data Management
SAP Sybase PowerDesigner
SAP Sybase ASE Database
SAS Data Integration Studio
SAS BI Server
SAS Information Map
SAS Metadata Management
SAS OLAP Server
Select
Sparx Architect
Syncsort
Tableau
Talend
Teradata
Tigris
Visible
W3C DTD & XSD Schema
![Page 20: Adatvagyon és metaadat kezelés...elemezni az összegyűjtött adatainkat és ne költsünk felesleges dolgokra, tudni kell, hogy mink van, minek mi az értéke és mennyibe kerül](https://reader033.vdocuments.pub/reader033/viewer/2022041621/5e3ec8c1412b8617c0237e0d/html5/thumbnails/20.jpg)
20 HOUG Szakmai nap 2015
Oracle Enterprise Metadata Management
Demo
Képernyők
Fogalomtár (Glossary)
Metaadat importálás (Excel, SDDM, PDM)
Metaadat keresés, böngészés
Hatás és előzmény elemzés (Impact & lineage analysis)
Adatfolyam diagram
![Page 21: Adatvagyon és metaadat kezelés...elemezni az összegyűjtött adatainkat és ne költsünk felesleges dolgokra, tudni kell, hogy mink van, minek mi az értéke és mennyibe kerül](https://reader033.vdocuments.pub/reader033/viewer/2022041621/5e3ec8c1412b8617c0237e0d/html5/thumbnails/21.jpg)
21 HOUG Szakmai nap 2015
Demo
Fogalomtár - Glossary
![Page 22: Adatvagyon és metaadat kezelés...elemezni az összegyűjtött adatainkat és ne költsünk felesleges dolgokra, tudni kell, hogy mink van, minek mi az értéke és mennyibe kerül](https://reader033.vdocuments.pub/reader033/viewer/2022041621/5e3ec8c1412b8617c0237e0d/html5/thumbnails/22.jpg)
22 HOUG Szakmai nap 2015
Demo
Adatmodell importálás – Eredeti modell (részlet)
![Page 23: Adatvagyon és metaadat kezelés...elemezni az összegyűjtött adatainkat és ne költsünk felesleges dolgokra, tudni kell, hogy mink van, minek mi az értéke és mennyibe kerül](https://reader033.vdocuments.pub/reader033/viewer/2022041621/5e3ec8c1412b8617c0237e0d/html5/thumbnails/23.jpg)
23 HOUG Szakmai nap 2015
Demo
Adatmodell importálás – OEMM modell (részlet)
![Page 24: Adatvagyon és metaadat kezelés...elemezni az összegyűjtött adatainkat és ne költsünk felesleges dolgokra, tudni kell, hogy mink van, minek mi az értéke és mennyibe kerül](https://reader033.vdocuments.pub/reader033/viewer/2022041621/5e3ec8c1412b8617c0237e0d/html5/thumbnails/24.jpg)
24 HOUG Szakmai nap 2015
Demo
Metaadat keresés, böngészés
![Page 25: Adatvagyon és metaadat kezelés...elemezni az összegyűjtött adatainkat és ne költsünk felesleges dolgokra, tudni kell, hogy mink van, minek mi az értéke és mennyibe kerül](https://reader033.vdocuments.pub/reader033/viewer/2022041621/5e3ec8c1412b8617c0237e0d/html5/thumbnails/25.jpg)
25 HOUG Szakmai nap 2015
Demo
Metaadat keresés, böngészés
![Page 26: Adatvagyon és metaadat kezelés...elemezni az összegyűjtött adatainkat és ne költsünk felesleges dolgokra, tudni kell, hogy mink van, minek mi az értéke és mennyibe kerül](https://reader033.vdocuments.pub/reader033/viewer/2022041621/5e3ec8c1412b8617c0237e0d/html5/thumbnails/26.jpg)
26 HOUG Szakmai nap 2015
Demo
Metaadat keresés, böngészés
![Page 27: Adatvagyon és metaadat kezelés...elemezni az összegyűjtött adatainkat és ne költsünk felesleges dolgokra, tudni kell, hogy mink van, minek mi az értéke és mennyibe kerül](https://reader033.vdocuments.pub/reader033/viewer/2022041621/5e3ec8c1412b8617c0237e0d/html5/thumbnails/27.jpg)
27 HOUG Szakmai nap 2015
Demo
Hatás- és előzmény elemzés (Impact & lineage)
![Page 28: Adatvagyon és metaadat kezelés...elemezni az összegyűjtött adatainkat és ne költsünk felesleges dolgokra, tudni kell, hogy mink van, minek mi az értéke és mennyibe kerül](https://reader033.vdocuments.pub/reader033/viewer/2022041621/5e3ec8c1412b8617c0237e0d/html5/thumbnails/28.jpg)
28 HOUG Szakmai nap 2015
Demo
Adatfolyam (Data Flow Overview)
![Page 29: Adatvagyon és metaadat kezelés...elemezni az összegyűjtött adatainkat és ne költsünk felesleges dolgokra, tudni kell, hogy mink van, minek mi az értéke és mennyibe kerül](https://reader033.vdocuments.pub/reader033/viewer/2022041621/5e3ec8c1412b8617c0237e0d/html5/thumbnails/29.jpg)
29 HOUG Szakmai nap 2015
Oracle Enterprise Metadata Management
Előnyök
Végre van ilyen a termékpalettán
Nyitottság
Támogatott eszközök, platformok széles köre
Elterjedt (más gyártók eszköziben is beépítve)
Kiegészíthető, bővíthető
Funkcionalitás
Böngésző alapú felhasználói felület
Jó keresési lehetőségek
Impact és Lineage elemzés támogatás
Ütemezett frissítés támogatása
![Page 30: Adatvagyon és metaadat kezelés...elemezni az összegyűjtött adatainkat és ne költsünk felesleges dolgokra, tudni kell, hogy mink van, minek mi az értéke és mennyibe kerül](https://reader033.vdocuments.pub/reader033/viewer/2022041621/5e3ec8c1412b8617c0237e0d/html5/thumbnails/30.jpg)
30 HOUG Szakmai nap 2015
Oracle Enterprise Metadata Management
Hátrányok
„Enterprise kategóriájú” árazás
Angol nyelvű felület (üzleti felhasználóknak?)
Viszonylag kevés tapasztalat
![Page 31: Adatvagyon és metaadat kezelés...elemezni az összegyűjtött adatainkat és ne költsünk felesleges dolgokra, tudni kell, hogy mink van, minek mi az értéke és mennyibe kerül](https://reader033.vdocuments.pub/reader033/viewer/2022041621/5e3ec8c1412b8617c0237e0d/html5/thumbnails/31.jpg)
31 HOUG Szakmai nap 2015
Összefoglaló #1
Adatvagyon kezelés
Az adatvagyon kezelés „feljövőben levő” terület, mert:
Sokkal nagyobb mennyiségű és sokrétűbb adatokat kezelünk
Több és összetettebb rendszer (sokszor inkonzisztens)
Bonyolultabb folyamatok mentén
Az adatvagyon kezelés:
Abban segít, hogy „uraljuk a káoszt”
Azt, úgy és addig kezeljük, amennyire szükség van rá (üzleti, technológiai és jogi kérdés is lehet)
Emberek, folyamatok és technológiai megoldások
![Page 32: Adatvagyon és metaadat kezelés...elemezni az összegyűjtött adatainkat és ne költsünk felesleges dolgokra, tudni kell, hogy mink van, minek mi az értéke és mennyibe kerül](https://reader033.vdocuments.pub/reader033/viewer/2022041621/5e3ec8c1412b8617c0237e0d/html5/thumbnails/32.jpg)
32 HOUG Szakmai nap 2015
Összefoglaló #2
Metaadat kezelés
A metaadat kezelés:
Az adatvagyon kezelés kritikus eleme
Business glossary és impact&lineage analysis
Önkiszolgáló BI („Mit, hol találok?”)
Mindenkinek foglalkoznia kell vele!
Főleg, aki elosztott rendszerkörnyezetben dolgozik
Inkább előbb, mint utóbb
Az Oracle-nek (is) van jó megoldása
Oracle Enterprise Metadata Management
Ami heterogén környezetben is jól működik
![Page 33: Adatvagyon és metaadat kezelés...elemezni az összegyűjtött adatainkat és ne költsünk felesleges dolgokra, tudni kell, hogy mink van, minek mi az értéke és mennyibe kerül](https://reader033.vdocuments.pub/reader033/viewer/2022041621/5e3ec8c1412b8617c0237e0d/html5/thumbnails/33.jpg)
33 HOUG Szakmai nap 2015
Kérdések & válaszok