daten quadrant - die ding · 2014-12-01 · einleitung • quellen • datenquadrant von r.d....
TRANSCRIPT
DATEN
QUADRANT
STRATEGIE UND ORGANISATION IM
ZEITALTER VON AGILEBI, DWH,
AUTOMATION UND BIGDATA
EINLEITUNG
• Quellen
• Datenquadrant von R.D. Damhof Mai 2014 – DWH Automation
• Whitepaper “Building A Data-Centric Strategy and Roadmap” – datablueprint.com, Peter Aiken und Lewis Broome
• Daten als untrennbarer Verbund und/oder Bestandteil von den Produkten und Dienstleistungen die verkauft werden.
• Strategie
• “Your data strategy must align to your organizational business strategy and operating model.”
• Architektur
• “Data Architecture represents the common vocabulary, expressing integrated requirements ensuring that data assets are stored, arranged, managed and used in support of organizational strategy.”
• Governance
• “Data Governance is the exercise of authority and control over the management of your mission- critical data assets.”
• Technical Practices: Qualität, Integration, Plattformen, BI
• Der Datenquadrant als Kommunikationsmittel für Strategie und Technik
DATENSTRATEGIE
Strategie
Ziele und Vorhaben
Datenmanagement
Systeme und Applikationen
Network / Infrastructure
Strategie
Ziele und Vorhaben
Systeme und Applikationen
Network / Infrastructure
Datenmanagement
Date
nge
trie
ben
Applik
atio
nsgetrie
ben
• Datenassets werdendurch die Geschäftsprozesseerstellt, die Ziele und Vorhaben liefern
• DatenmanagementermöglichtGeschäftsprozesse, Zieleund Vorhaben zunehmenddirekt durch eigeneWertbeiträge
• Personen, Organisationund Geschäftsprozesseliefern Kontext für das Datenmanagement
• Datenmanagementinformiert die Personenund Organisation
DATENSTRATEGIE
Personen und
Organisation
Geschäftsprozesse Ziele und
Vorhaben
Technologie
Technology Assets
Datenmanagement
Daten AssetsInformiert
ErstelltKontext
INFORMATIONEN
LIEFERN
Geschäftsprozesse Ziele und VorhabenPersonen und
Organisation
Technologie
Technology Assets
Informationsfluss Anforderungen
Datenmanagement
Strategie Architektur Governance
Qualität Integration Plattformen
BI
I
n
f
o
r
m
Produkt
PROBLEMSTELLUNG
KOMMUNIKATION
BI/IT
CIO/CTO/CDO
Fachabteilung
CEO/COO/CFO
NoSQL
BigData
MPP
Data
Vault
Analytics
???
AgileBI
Self
Service
Predictive
ANALOGIE: LOGISTIK
UND PRODUKTION
WIE KOMMEN PRODUKTE
AUF DEN MARKT
3FolieFolieAWF Arbeitsgemeinschaft “Pull-Systeme” – Dipl.-Ing. O. Völker und Dipl.-Ing. S. Binner
Einleitung „Push“ und „Pull“
In OutBestand in der Fertigung
Ziehlogik (PullZiehlogik (Pull--Prinzip)Prinzip)
Bestand in der FertigungIn Out
Schiebelogik (PushSchiebelogik (Push--Prinzip)Prinzip)
Quelle: Ruhr-Universität Bochum, AWF AG Pull-Systeme, Dipl.Ing. O. Völker und Dipl. Ing. S. Binner
PULL VERSUS PUSH
PRODUKTE
Bekannte Anforderungen
Geringe Personalisierung
Skaleneffekte
Gleichförmige Produktion
GeringeÄnderungskosten
Geringe Vorbereitungszeit
Variable Anforderungen
Hohe Personalisierung
GeringerVerkaufsaufwand
Variabilität in der Produktion
Hohe Anpassungskosten
GrößereVorbereitungszeit
Push
Pull
PULL VERSUS PUSH
DATEN
PUSH/SUPPLY/SOURC
E
• Fakten, historisiert
• Massendeployment
• Kontrolle>Agilität
• Wiederholbare & vorhersagbareProzesse
• Standardisierung
• Automation
• Deklarativ > Prozedural
• Metadaten, Modell getrieben
• IT und Datenexpertiese
PULL/DEMAND/PRODU
CT
• Interpretation & Kontext
• Einzeldeployment
• Agilität > Kontrolle
• Nutzerfreundlichkeit
• Weniger IT-Expertise
• Hohes Fachwissen
• Prozedural > Deklarativ
UNTERSCHEIDUNG
LIEFERMODUS
Systematisch
• Nutzer und Entwickler sind getrennt
• Fokus auf Kontrolle und Compliance
• Fokus auf Non-Functionals
• Zentrale, unternehmensweite Informationsobjekte
• Nutzer und Entwickler sind eng verbunden
• Offensive Governance – Fokus auf Agilität und Anpassbarkeit
• dezentralisierte Informationsobjekte
• Deployment direkt in Produktion
Opportunistisch
Development Style
DER
DATENQUADRANT
I
• Facts
II
• Context
III
• Shadow IT
• Incubation
• Ad-hoc
• Once off
IV
• Research
• Innovation
• Design
Pull / Demand / Product drivenPush / Supply / Source driven
Push/Pull Point
Development
Style
Systematic
Opportunistic
DER
DATENQUADRANT
I
• Facts
II
• Context
III
• Shadow IT
• Incubation
• Ad-hoc
• Once off
IV
• Research
• Innovation
• Design
Pull / Demand / Product drivenPush / Supply / Source driven
Push/Pull Point
Development
Style
Systematic
Opportunistic
EDWH
Star
OLAP
Report
Dashboard
Self-
Service BI
Analytics
Predictive
Machine
Learning
BPMN
KontextEIM
ZENRALISIEREN -
DEZENTRALISIEREN
I
• Facts
II
• Context
III
• Shadow IT
• Incubation
• Ad-hoc
• Once off
IV
• Research
• Innovation
• Design
TRANSITIONEN
I
• Facts
II
• Context
III
• Shadow IT
• Incubation
• Ad-hoc
• Once off
IV
• Research
• Innovation
• Design
Auflösung von Produkten der
Shadow-IT oder aus der
Inkubation
Übergabe von Produkten aus
der eigenverantwotlichen
Produktion in die zentrale
Verantwortung –
Standardisierung von
Entwicklungsmethoden
GOVERNANCE
I
• Facts
II
• Context
III
• Shadow IT
• Incubation
• Ad-hoc
• Once off
IV
• Research
• Innovation
• Design
Verantwortung beim
AnfordererVerantwortung beim Lieferanten
Verantwortung beim Data Scientist / Analyst / Researcher
PRODUKTION
I
• Facts
II
• Context
III
• Shadow IT
• Incubation
• Ad-hoc
• Once off
IV
• Research
• Innovation
• Design
Produktionslinie Data
Product
Information
Product
Data Access
Analytics
Processing
Power
AUTOMATION
I DATA DELIVERY
R.D.Damhof – Prudenza BV - Copyright - 22 mei 2014R.D.Damhof - May 2014 - DWH Automation
How we produce…
II AGILE BI –
AUTOMATED SDLC
R.D.Damhof – Prudenza BV - Copyright - 22 mei 2014R.D.Damhof - May 2014 - DWH Automation
How we do projects…
I
• Facts
II
• Context
IV
• Shadow IT
• Incubation
• Ad-hoc
• Once off
III
• Research
• Innovation
• Design
Bekannte Anforderungen
Geringe Personalisierung
Skaleneffekte
Gleichförmige Produktion
Geringe Änderungskosten
Geringe Vorbereitungszeit
Push
AUTOMATION –
MODELLIERUNG
Strategie und Architektur
Modellierung eines EIM
Fact-Based Modeling
Conecptual -> Logical
Ontology –> Facts -> Relational
Transformation von Datenmodellen (EIM/FCO-IM/ER/DataVault/AnchorModeling)
Integration von BPMN und Datenmodellierung
Metadaten DWH Automation
Datenmanagement
Strategie Architektur Governance
Qualität Integration Plattformen
BI
I
•Ensemble Modeling
II
•Dimensional, hierarchical, flat
III
•Shadow IT
• Incubation
•Ad-hoc
•Once off
IV
•Research
• Innovation
•Design
TECHNOLOGIE
I
• Facts
II
• Context
III
• Shadow IT
• Incubation
• Ad-hoc
• Once off
IV
• Research
• Innovation
• Design
MPP
Big
Data
No
SQ
L
Ble
nd
ing
R-Programming
Map/Reduce
Python
Analytics
“Traditional
BI”Ensemble
Modeling
Self-Service BI
TECHNOLOGIE
I
•Storage: (R)DBMS
•Processing: Automation
•DQ: Validation,Profiling
•Dev: Data Modeling
•Access: Virtualization
II
•Storage: Pattern Based
•Processing: limited ETL
•DQ: Regeln, Dashboards
•Dev: Data Modeling
•Access: BI Tools, Visualisation
III IV
•Storage: Analytical
•Processing: Preptoolsfür Data Analst
•Access: Advanced Analytics, Data Visulisation
TAKE-AWAY
• Kommunikation der Realisierung einer Datenstrategie auf der Basis von verständlichen Kategorien
• Kategorisierung von Anforderungen für Anwendungen und Informationsquellen
• Automatisierung in der Datenversorgung ist eineGrundvoraussetzung
• Sowohl die eigentliche Versorgung
• … als auch die Steuerung der Versorgung
• Für AgileBI
• Metadaten und Modelle sollten die Automatisierung steuern, um die Strategie und die Implementierung zu verbinden
DANKESCHÖN
• Owner, Managing Consultant bei Alligator Company
• 10+ Jahre Erfahrung in BI
• Certified Data Vault 2.0 Practitioner
• Member of the Boulder BI Brain Trust
Torsten Glundemailto:t.glunde(at)alligator-company.de
Weitere Netzwerke:
https://www.xing.com/profile/Torsten_Glunde
https://www.linkedin.com/pub/torsten-glunde/8/aba/97
tglunde