associer mdm et offre d’intégration pour bâtir des ... · la démarche outillée la démarche...
TRANSCRIPT
© 2008 IBM Corporation
Associer MDM et offre d’intégration pour bâtir des référentiels de qualité
© 2008 IBM Corporation
Information Management Software
Agenda
� Introduction
� La démarche Qualité
� La démarche Outillée
� La démarche Appliquée: Méthodologie RDP pour MDM
© 2008 IBM Corporation
Information Management Software
Le R.D.P
• Mettre en place rapidement un référentiel client de qualité.• Initialiser et configurer la solution dans votre S.I.• Accélérer et rationnaliser le déploiement du projet• Gérer la pertinence et la qualité des données à prendre en compte• Bénéficier de l’expertise IBM et de méthodologies éprouvées dans
la mise en œuvre de référentiels clients
• Apporter une valeur au métier de l’entreprise• Proposer une vue unique des clients afin de leur servir une offre
adaptée• Disposer d’une information de qualité pour assurer un service
uniforme et cohérent sur tous les canaux clients• Simplifier l’accès aux informations via des services pré-configuré
© 2008 IBM Corporation
Information Management Software
Vos problématiques de qualité …
Sources of Data Quality Problems
12%
25%
26%
34%
46%
48%
53%
76%
Other
Data entry by customers
System errors
External data
Mixed expectations by users
Data migration or conversion projects
Changes to root/source systems
Data entry by employees
Based on 286 respondents who could select multiple answers.
© 2008 IBM Corporation
Information Management Software
© 2008 IBM Corporation
Information Management Software
Vues Consolidées
Le processus de Nettoyage des données
1. Standardiser2. Rapprocher3. Consolider
Clients
Transactions
Vendeurs / Fournisseurs
Cible
Produits / Matériels
© 2008 IBM Corporation
Information Management Software
Comment identifier et consolider des données quand le nombred’enregistrement s’élève a plusieurs millions/milliard s d’enregiqtrement ?
Un exemple de données “non propres”
90328574 IBM 187 N.Pk. Str. Salem NH 01456 8,494.00
90328575 I.B.M. Inc. 187 N.Pk. St. Salem NH 01456 3,43 2.00
90238495 Int. Bus. Machines 187 No. Park St Salem NH 04156 2,243.00
90233479 International Bus. M. 187 Park Ave Salem N H 04156 5,900.00
90233489 Inter-Nation Consults 15 Main Street Andover MA 02341 6,800.00
90234889 Int. Bus. Consultants PO Box 9 Boston MA 022 10 10,243.00
90345672 I.B. Manufacturing Park Blvd. Bostno MA 041 06 15,999.00
Pas de cléscommunes
Anomalies
Erreurs de traduction
Pas de standard
© 2008 IBM Corporation
Information Management Software
Analyse lexicale:Détermination de la signification métier de chaque composant
Mise en contexte:Identification de la structure variable des données et de leur signification
^ Repetition Street Common +Index Type Word
3 | BIS | RUE | DE | PARIS
melle Morognier Françoise 3 bis, rue de Paris 72000 Le Mans
House Repetition Street StreetNumber Index Type Name
3 | B | RUE | DE PARIS
FRADDR
3 | BIS | RUE | DE | PARISDécomposition:Détermination de la signification métier de chaque composant
Étape 1 : La standardisation (exemple � adresses)
© 2008 IBM Corporation
Information Management Software
Audi A4 TDI Quatro
Audi A4 TDI 130ch
Audi A4 TDI
Audi A4 TDI 115ch
Type Voiture
2.5 2.3
2.2 2.2
2.2 2.2
2.0 2.0
Pression
AV AR
Serie91/Y225/45ZR17
Pneu Pilot Sport
Option91/V205/55R16
Pneu Pilot Exalto
Option91/H205/55R16
Pneu Pilot Primacy
Ssérie91/H195/65R15
Pneu Energy
MonteIC/IVDimensionDescription
Pneu Energy Serie Audi A4 TDI 115ch 2.0 2.0
Pneu Pilot Primacy 205/55R16 Audi A4 91/H
Pneu Exalto Option AudiA4 130ch 2.2
Pneu Pilot Sport Serie Audi A4 TDi quattro 2.5 2.3 91/Y
Étape 1 : La standardisation (exemple � produits)
© 2008 IBM Corporation
Information Management Software
Prénom 2ème Prénom Nom Fonction
ALEXANDRE J DEMARIA DG
ALEXANDRE JEAN DEMARA DG
+7 +1 +10 +5 = 23
Les CUTOFF sont les scores
au dessus et en dessous desquels
un rapprochement est considéré comme bon ou non
0
500
1000
1500
2000
2500
3000
3500
4000
-50 -40 -30 -20 -10 0 10 20 30 40 50 60
Nbr
eP
aire
s
Non rapprochées
Rapprochées
Le score d’un poids est une mesure relative de probabilité de matchLe score d’un poids est une mesure relative de probabilité de match
Étape 2 : Le Rapprochement
© 2008 IBM Corporation
Information Management Software
•Des enregistrements rapprochés correspondent alors :
� à des vrais doublons
15,32 MLE MIREILLE BARBIERA LE PERCHOIR 119 AV DE LA BASTIDE 06130 GRASSE
10,59 MME MIRIELLE BARBIERA 42 CHEMIN DU BAMBOU 06130 GRASSE
� à un historique client (CRM : mariage,déménagement,…)
36,10 C IBM 29 RUE DU CHAMOINE DE MOREL 13000 MARSEILLE
26,85 C I.B.M 29 RUE DU MOINE DE MOREL 16000 MARSEILLE
�ou permet d’identifier la notion de groupe (filiales/corporation, foyer…)
36,36 C IBM SOFTWARE PARIS LA DEFENSE CEDEX
14,09 C IBM SOFTWARE CORP. BOSTON MASSACHUSSET
Étape 2 : Le Rapprochement
© 2008 IBM Corporation
Information Management Software
Détermine la meilleure donnée à garder “Best of Breed”� La plus fraîche� La plus fréquente� Selon la source� La plus complète….
Résoud les conflits de valeur et complète les valeurs ma nquantes
Crée les formats de sortie :� Tables relationnelles avec clés� Transactions pour mettre à jour les bases de données� Fichiers de références croisées, tables de synonymes� Pistes d’audit, rapports divers
555 36,36 MME Isabelle DURAND 3 RUE DE LA BERGERIE 34000 MONTPELLIER 23976
555 14,09 M Robert DURAND 3 RUE DE LA BERGERIE 34000 MONTPELLIER 23830
Groupe Legacy
555 23976
555 23830
Groupe Nom No Type Nom Code VilleRue Rue Postal
555 DURAND 3 RUE DE LA BERGERIE 34000 MONTPELLIER
Étape 3 : La consolidation
© 2008 IBM Corporation
Information Management Software
Operation Work Instructions in a free text field
WNG ASSY DRL 3 HOLE USE HEXBOLT ¼ INCHWING ASSEMBY, HEX BOLT .25” - DRILL FOUR, USE 5J868-AUSE 4 5J868A BOLTS (HEX .25) - DRILL HOLES FOR EACH ON WING ASSEMRUDER, TAP 6 WHOLES, SECURE W/KL2301 RIVETS (10 CM)
Assembly Instruction QTY Type Part Size Unit Measure SKU
WING DRILL 3 HOLES HEXBOLT .25 INCHWING DRILL 4 HEXBOLT .25 INCH 5J868AWING DRILL 4 HOLES HEXBOLT .25 5J868ARUDDER TAP 6 HOLES RIVET 10 CM KL2301
STANDARDISATION
Assembly Instruction QTY Type Part Size Unit Measure SKU
WING DRILL 3 HOLES HEXBOLT .25 INCHWING DRILL 4 HEXBOLT .25 INCH 5J868AWING DRILL 4 HOLES HEXBOLT .25 5J868ARUDDER TAP 6 HOLES RIVET 10 CM KL2301
RAPPROCHEMENT
MATCH
Assembly Instruction QTY Type Part Size Unit Measure SKU
WING DRILL 4 HOLES HEXBOLT .25 INCH 5J868ARUDDER TAP 6 HOLES RIVET 10 CM KL2301
CONSOLIDATION
Un exemple d’harmonisation (produits)DONNEES EN ENTREE
© 2008 IBM Corporation
Information Management Software
Que faire des résultats des enregistrementsrapprochés ?
• Revue des enregistrements“douteux”
• Liens de référencecroisée
• Consolidation
• Mise àjour/correction des sources de données
Référence croisée
? =
© 2008 IBM Corporation
Information Management Software
© 2008 IBM Corporation
Information Management Software
Une méthodologie adaptée à vos enjeux métiers
Time To Value
Est-ce que vos sources de données contiennent l’information que vous pensez y trouver?
Quelles sont les sources àutiliser pour ce projet?
Est-ce que le sens de vos données est celui que vous croyez?
Découvrir
Comment rapprocher les enregistrements de même signification?
Pouvez-vous corriger et améliorer la qualitéde vos données?
Standardiser
Pouvez-vous affecter un sens aux données àdestination des utilisateurs?
Pouvez-vous apporter une synchronisation des données entre les systèmes?
Pouvez-vous délivrer & mettre à jour les données en temps réel?
Vos données peuvent-elles être délivrées sur la base d’évènements ou selon leur contenu?
Transformer& Délivrer
Fédérer
Comment accéder de manière transparente, efficace et simple à des données provenant de sources hétérogènes ?
© 2008 IBM Corporation
Information Management Software
IBM Information ServerDelivering information you can trust
Comprendre Nettoyer Transformer Fédérer
QualityStageInformation Analyzer Federation ServerDataStageBusiness Glossary
Information Services Director
Metadata Server
Exécution parallélisée
Connectivité aux applications, données et contenu
Information Server
Metadata Workbench
© 2008 IBM Corporation
Information Management Software
Nettoyer
Experts Sujets Analystes
Garantir la qualité et la pertinence de vos données• Standardiser vos données …
• Tout type de données : Noms, Titre, Adresses, Description Produits, …
• Algorithmes de Phonétisation
• Ex. Standardisation et Validation postale prédéfinies pour plusieurs pays
• Rapprocher les données similaires ou en doublon• Proposer de nombreux algorithmes de
rapprochements• Comparaison exacte ou floue de chaînes de
caractères• Distance, Pourcentage, Dates
• Aucune limite dans le nombre de critères utilisés pour effectuer le rapprochement
• Entièrement personnalisable
• Consolider les doublons, reformuler la donnée
• Algorithmes prédéfinis et personnalisables
• Gestion des références croisées
Standardisation des données et
mise en correspondance avec
toutes les autres sources afin de
définir une information unique
© 2008 IBM Corporation
Information Management Software
Simplicité de mise en oeuvre : Pas de développement !
• Une interface Simple et intuitive• Les règles de qualité sont inclusent dans une logique de f lux
source àinvestiguer
information Standardisée
Rapprochement
Consolidation
© 2008 IBM Corporation
Information Management Software
L’environnement de développement de règles de rapprochement
Les composants majeurs
Histogramme de résultat
Données
Règles de décision
Séquences de Passe
Affinement des règles de
rapprochement
© 2008 IBM Corporation
Méthodologie RDP* pour MDM
*Rapid Deployment Path: Methodologie de mise en oeuvre accélérée de MDM
© 2008 IBM Corporation
Information Management Software
IBM’s MDM Implementation Roadmap is based off of a series of small, high-value, low risk project phase s
Rapid DeploymentWorkshop & Offering
Adoption
Expansion
�Understand & prepare data� Lay the foundation for Data
Governance and Business Process alignment
�Baseline MDM capability built and value realization begins
�Expand existing MDM capabilities to other dependent business units and geographies
�Deploy additional MDM capabilities supporting other master data entities
�Value realization occurs at an accelerated pace
�Master data is consolidated, standardized, and managed consistently across the enterprise
�MDM capability if fully entrenched and supports/enables business change
�MDM value payoff is realized
ExpansionExpansion
AdoptionAdoption
The first phase of every implementation should be Rapid DeploymentThe first phase of every implementation should be Rapid Deployment
© 2008 IBM Corporation
Information Management Software
Starting with a targeted Rapid Deployment project i s the key to success
• Rapid Deployment focuses on delivering a solution that provides an i nitial 360 degree view of the customer quickly
• Party names, addresses and relationships to accounts, products and / or contracts are targeted to enable select departments such as Customer Service to quickly search for a party and get a snap shot of the complete relationship
• Implement automated identification and collapsing of duplicate parties
• Manual collapsing of parties may or may not be performed, depending if an existing department exists for Party maintenance activities
• Clients overall MDM roadmap builds off of the resul ts of the fast release to cement commitment and accelerate additional benefits
• Rapid Deployment release may result in a Production system or may deliver a “Proof of Concept”that additional projects build off of
• Maximizes the opportunity to provide master data to other projects, reducing their costs
• By focusing on targeted benefits, training can be t argeted as well, which enables customers to minimize their dependency on IBM
© 2008 IBM Corporation
Information Management Software
La méthodologie RDP accélère l’obtention des gains attendus en utilisant la Suite InfoSphere
• Information Analyzer simplifie le processus de desc ription et d’analyse des données et établit une tab le de correspondance en initialisant un dictionnaire m étier• Si les données ne sont pas analysées ni décrites, de nouveaux besoins métiers sont souvent découverts
pendant la phase de test.• Des besoins identifiés pendant les phases de tests rallonge la durée du projet et augmente les coûts dans la
mesure où la conception doit être revue et adaptée
• FastTrack permet d’établir la correspondance entre l e dictionnaire de données métier et le modèle MDM server en utlisant une fonctionalité de type « Drag & Drop »• Information Analyzer intègre les attributs et les définitions lors du processus de description et d’analyse des
données• FastTrack fournit en option la description du modèle de données MDM Server• Les fonctionnalités de mise en correspondance des données et d’auto génération des traitements de
transformation réduisent les besoins en formation, accélèrent les développements ETL et optimisent le sphases de tests
• Des Jobs DataStage sont fournis pour alimenter auto matiquement et directement la base de données de MDM Server en utilisant les fonctionalités de dé doub lonnage (DSP processing)• Des chargements initial et incrémental directement en base de données permettent d’accélérer la phase de
reprise des données et la phase de test associée
• QualityStage est intégrée pour la standardisation d es noms et adresses ainsi que pour la fonction de dédoublonnage de type « probabiliste »• Cette intégration permet d’économiser les coûts d’intégration avec d’autres moteur de gestion de qualité des
données• QualityStage fournit des fonctionnalités de dé doublonnage flexibles et paramétrables plus puissantes que
celles fournit en standard par MDM Server
© 2008 IBM Corporation
Information Management Software
L’offre Service RDP MDM Server
Ateliers de Préparation des données
Conception architecture & Ateliers de définition
des besoins
Profiling des données & analyse de 2 système source
Atelier de mise enCorrespondance des
données
Installation des produits enEnvironnement de dév.
Implementation
ChargementRègles de validation
Dé doublonnageStandardisation
Spécifications techniquesConfiguration MDM
PostImplementation
Assistance pour:Plan de tests
Tests intégrationRecette utilisateur
AdministrationDes données
Offre RDP
© 2008 IBM Corporation
Information Management Software
26
Mapping
Services
Logique dechargement
et qualité
Solution de chargement RDP
Rapid Deployment PackageAteliers – Préparation des données
Découverte &Analyse
SIF
SystèmesSource
Source#1
Source#2
L’approche projet RDP est structurée autour de deux axes:• Un axe conseil visant à analyser les sources de données, à les mapper avec le
référentiel et à constituer les enregistrements de chargement.• Un axe technologique visant à standardiser et rapprocher les données puis les charger
dans le référentiel
© 2008 IBM Corporation
Information Management Software
27
Systèmes Source
Une démarche outillée
MDM Business Services
MDM SERVER
Information Server
� Information Analyzer
� Fast Track
� DataStage
Duplicate Suspect Processing
MDM DatabaseHistorique
Source#N
Source#1
Source#2
Information Server
Processusde chargement
Jobs RDP
QS
SIF
Interfaceutilisateur
&Rapports
© 2008 IBM Corporation
Information Management Software
La couverture fonctionnelle du RDP standard
� Basé sur les domaines Personnes et Organisations
• Données de base tiers & contrats
• Préférences du tiers
• Hiérarchies de tiers
• Valeurs particulières de tiers
• Alertes sur le tiers
� Processus de dédoublonnage standard MDM Server:
• Consolidation activée ou non
• Règles de survie basées sur la date de mise àjour
• Données accessibles via services et interface utilisateur
• Les poids de rapprochement sont calculés par Quality Stage
� Standardisation sur les noms basée sur un dictionnaire et des règles phonétiques
� Standardisation des méthodes de contact n’inclut pas la vérification mais:
• L’identification du pays
• Standardisation des adresses canadiennes
• Standardisation des états canadiens
• Standardisation des adresses américaines
• Standardisation des états américains
• Création d’une clé phonétique sur les adresses
• Standardisation téléphonique
• Standardisation internationale (à adapter)
� Prise en charge du chargement initial batch
� Prise en charge du chargement delta batch
© 2008 IBM Corporation
Information Management Software
© 2008 IBM Corporation
Thank You!