db/m congres 2006 - flexibele data controle
DESCRIPTION
Presentatie gegeven bij deDB/M beurs in 2006 over het conrtoleren van je data tijdens het laad proces. Het laat de kracht van de Kadenza tool Sterna Raven zien.TRANSCRIPT
“Nieuwe invalshoeken leiden tot heldere perspectieven”
Flexibele datacontrole
Alexander van Helm, senior DWH architect2 november 2006
2-11-2006 DB/M Congres 2006 - Flexibele datacontrole 2
Agenda
Wie ben ik en wie is Kadenza Kent u dit? Zo kan het ook Samenvatting
2-11-2006 DB/M Congres 2006 - Flexibele datacontrole 3
Wie ben ik?
Wie is Alexander van Helm– Afgestudeerd in de wiskunde– 35 jaar jong– Getrouwd en 3 kinderen
Business Intelligence & Data Warehouse (BI&DWH)– Informatie is alles
BI&DWH architect en projectmanager– De combinatie van inhoud en verantwoordelijkheid– Weet veel van de praktijk, maar kent ook de theorie
Belangrijkste klanten– KLM, AGIS, Leaseplan, Delta Lloyd, AstraZeneca, Postcode Loterij…
2-11-2006 DB/M Congres 2006 - Flexibele datacontrole 4
Wie is Kadenza ?
100 % specialist op het gebied van Business Intelligence & Data Warehouse (BI&DWH) vraagstukken;
Projecten, Consultancy, Opleidingen en Beheer;
40 medewerkers;
Kadenza specialisten hebben een minimum van 5 jaar gerichte vakervaring;
Steekwoorden professionaliteit, flexibiliteit en betrokkenheid;
Uitstekende referenties.
“Nieuwe invalshoeken leiden tot heldere perspectieven”
Kent u dit?
2-11-2006 DB/M Congres 2006 - Flexibele datacontrole 6
Content vóór Kadenza
Harde werkelijkheid– Rapportages gaven een onvolledig en vertekend beeld– Data vanuit bronsystemen niet volledig of niet tijdig– Vraagtekens bij de beheersbaarheid van het datawarehouse
Gewenste situatie managementrapportages– Tijdig– Volledig– Correct
Behoefte– Verbetering van de controle– Beheersbare omgeving
2-11-2006 DB/M Congres 2006 - Flexibele datacontrole 7
Waar blijft mijn informatie?
Informatie moet altijd sneller
Informatie wordt wijd verspreid
Informatie niet altijd in context
2-11-2006 DB/M Congres 2006 - Flexibele datacontrole 8
Strengere regulatie
Consumenten en klanten eisen juiste informatie
De overheid eist juiste informatie
Er zitten zelfs mensen gevangen voor onjuiste informatie
2-11-2006 DB/M Congres 2006 - Flexibele datacontrole 9
De tweestrijd
KwaliteitSnelheid
2-11-2006 DB/M Congres 2006 - Flexibele datacontrole 10
Stellingen
De business beslist– Voorkom fout geladen informatie of gaat de rapportage voor– Liever oude informatie, dan foute informatie?
Fouten in data veranderen in de tijd
Oppoetsen van foute data gevaarlijk
Auditors willen zien wat er gebeurd is
“Nieuwe invalshoeken leiden tot heldere perspectieven”
Zo kan het ook
2-11-2006 DB/M Congres 2006 - Flexibele datacontrole 12
Content ná Kadenza
Gevoel– De gegevens zijn tijdig en accuraat– Gezamenlijk met de gebruikers een optimaal resultaat– Geen klachten– Awareness bij gebruikers
De business is in charge– Besluitmoment vanuit de business om wel of niet door te laten
lopen– Met een rapportagecyclus van een week zijn gegevens
noodzakelijk, desnoods niet geheel gevuld– Maar dan wel met inzicht
2-11-2006 DB/M Congres 2006 - Flexibele datacontrole 13
RAVEN
Kadenza heeft RAVEN
Reference Architecture Validation Environment
RAVEN is– Non-intrusive (geen keurslijf)– Uitbreidbaar– Onafhankelijk– Rapporteerbaar
2-11-2006 DB/M Congres 2006 - Flexibele datacontrole 14
Het antwoord van Kadenza
Samen met de business – Controles invoeren– Controles aan- en uitzetten
Rapportages over gelukte en foute data controles
Zwaarte van fouten in stellen:– Informatief– Waarschuwing– Fout
2-11-2006 DB/M Congres 2006 - Flexibele datacontrole 15
Het resultaat
Mogelijkheid tot een beheerbaar en beheersbaar datawarehouse
Functioneel en technisch beheerder verantwoordelijk, niet de applicatiebeheerder
Vertrouwen in het datawarehouse
De auditor kan overtuigd worden
Het datawarehouse wordt een gecontroleerde, beheersbare omgeving
Onmisbaar voor Management Accounting
2-11-2006 DB/M Congres 2006 - Flexibele datacontrole 16
Wat doen de vendors
ETL tools incorporeren data kwaliteit
Controles en oppoetsen onderdeel van data proces
Ver weg gestopt in de ETL
Niet toegankelijk voor rapportages
2-11-2006 DB/M Congres 2006 - Flexibele datacontrole 17
Waarom niet voldoende
De IT is leading
Controles elke keer opnieuw maken
Elke controle wijziging betekent nieuwe productie gang
Controles ver weg van de business
Weinig rapportage mogelijkheden over controles
Vendor lock-in
2-11-2006 DB/M Congres 2006 - Flexibele datacontrole 18
Wat kan RAVEN dan wel
De business is in charge
Centraal opgeslagen datacontroles Centrale vastlegging van de uitkomst van controles
Buiten de programmatuur om aan en uit te zetten Buiten de programmatuur om controles instellen en veranderen
Gebruik maken van standaardcontroles:– Uniciteit– Referentiele integriteit– Aantallen– Niet leeg– ….
2-11-2006 DB/M Congres 2006 - Flexibele datacontrole 19
Vragen
2-11-2006 DB/M Congres 2006 - Flexibele datacontrole 20
Samenvatting
Kwaliteit wint de wedstrijd
Vendors stappen in, maar– Controles moeizaam– Weinig informatie– Elke wijziging programmatuur weer naar productie
Kadenza’s antwoord Raven– De business nauw betrokken– Apart in te stellen, dus flexibel– Uitgebreide rapportage mogelijkheden
Kwaliteit controle is hard nodig, maar maak het niet star!
2-11-2006 DB/M Congres 2006 - Flexibele datacontrole 21
Content zelf aan het woord
“Tegenwoordig is er een besluitmoment vanuit de business om dit wel of niet door te laten lopen. Zeker met een rapportagecyclus van slechts een week kunnen zij zich het niet veroorloven om helemaal geen beeld te hebben van omzetten en resultaten, zelfs wanneer bepaalde velden niet gevuld zijn. Wij geven onze afnemers daarbij inzicht in het belang van het volgen van de processtappen en verwachten dat in de toekomst alleen maar verder te verbeteren.”