fme wt 2014: (fr) validation et controle qualité des géodonnées
TRANSCRIPT
![Page 1: FME WT 2014: (FR) Validation et controle qualité des géodonnées](https://reader033.vdocuments.pub/reader033/viewer/2022052911/559f696d1a28ab241e8b4603/html5/thumbnails/1.jpg)
CONNECT. TRANSFORM. AUTOMATE.
Validation et Contrôle qualitédes données avec FMEBruno De LatIngenieur Geodata et chef de projet GIS
![Page 2: FME WT 2014: (FR) Validation et controle qualité des géodonnées](https://reader033.vdocuments.pub/reader033/viewer/2022052911/559f696d1a28ab241e8b4603/html5/thumbnails/2.jpg)
CONNECT. TRANSFORM. AUTOMATE.
Contenu
Pourquoi valider et contrôler les données?
Que peut-on contrôler?
Schéma (Modèle de données)
Valeurs des attributs
Géométrie
Workflow de Validation avec FME Desktop et FME Server
Exemples
![Page 3: FME WT 2014: (FR) Validation et controle qualité des géodonnées](https://reader033.vdocuments.pub/reader033/viewer/2022052911/559f696d1a28ab241e8b4603/html5/thumbnails/3.jpg)
CONNECT. TRANSFORM. AUTOMATE.
Pourquoi valider et contrôler les données?
De mauvaises données peuvent avoir des conséquences importantes (financières, humaines, planification)
![Page 4: FME WT 2014: (FR) Validation et controle qualité des géodonnées](https://reader033.vdocuments.pub/reader033/viewer/2022052911/559f696d1a28ab241e8b4603/html5/thumbnails/4.jpg)
CONNECT. TRANSFORM. AUTOMATE.
Pourquoi valider et contrôler les données?
FME Desktop et FME Server sont des outils puissants pour contrôler les données et fournir un feedback.
Beaucoup d’utilisateurs de FME utilisent FME pour la validation et le contrôle qualité des données.
![Page 5: FME WT 2014: (FR) Validation et controle qualité des géodonnées](https://reader033.vdocuments.pub/reader033/viewer/2022052911/559f696d1a28ab241e8b4603/html5/thumbnails/5.jpg)
CONNECT. TRANSFORM. AUTOMATE.
Que peut-on contrôler?
Schéma (Modèle de données)
Valeurs des attributs
Géométrie
![Page 6: FME WT 2014: (FR) Validation et controle qualité des géodonnées](https://reader033.vdocuments.pub/reader033/viewer/2022052911/559f696d1a28ab241e8b4603/html5/thumbnails/6.jpg)
CONNECT. TRANSFORM. AUTOMATE.
Que peut-on contrôler?
Schéma
Type d’entité
Présence d’un attribut
Nom de l’attribut
Type de données attributaires
Système de coordonnées
![Page 7: FME WT 2014: (FR) Validation et controle qualité des géodonnées](https://reader033.vdocuments.pub/reader033/viewer/2022052911/559f696d1a28ab241e8b4603/html5/thumbnails/7.jpg)
CONNECT. TRANSFORM. AUTOMATE.
Que peut-on contrôler? Schéma
Contrôle du Schéma– Principales ressources
Schema (Any Format) Reader
FeatureTypeFilter
StatisticsCalculator
AttributeClassifier
XMLValidator
JSONValidator
![Page 8: FME WT 2014: (FR) Validation et controle qualité des géodonnées](https://reader033.vdocuments.pub/reader033/viewer/2022052911/559f696d1a28ab241e8b4603/html5/thumbnails/8.jpg)
CONNECT. TRANSFORM. AUTOMATE.
Que peut-on contrôler? Schéma
Schema(Any Format) Reader
![Page 9: FME WT 2014: (FR) Validation et controle qualité des géodonnées](https://reader033.vdocuments.pub/reader033/viewer/2022052911/559f696d1a28ab241e8b4603/html5/thumbnails/9.jpg)
CONNECT. TRANSFORM. AUTOMATE.
Que peut-on contrôler? Schéma
FeatureTypeFilter
![Page 10: FME WT 2014: (FR) Validation et controle qualité des géodonnées](https://reader033.vdocuments.pub/reader033/viewer/2022052911/559f696d1a28ab241e8b4603/html5/thumbnails/10.jpg)
CONNECT. TRANSFORM. AUTOMATE.
Que peut-on contrôler? Schéma
StatisticsCalculator
![Page 11: FME WT 2014: (FR) Validation et controle qualité des géodonnées](https://reader033.vdocuments.pub/reader033/viewer/2022052911/559f696d1a28ab241e8b4603/html5/thumbnails/11.jpg)
CONNECT. TRANSFORM. AUTOMATE.
Que peut-on contrôler? Schéma
AttributeClassifier
![Page 12: FME WT 2014: (FR) Validation et controle qualité des géodonnées](https://reader033.vdocuments.pub/reader033/viewer/2022052911/559f696d1a28ab241e8b4603/html5/thumbnails/12.jpg)
CONNECT. TRANSFORM. AUTOMATE.
Que peut-on contrôler? Schéma
XMLValidator
![Page 13: FME WT 2014: (FR) Validation et controle qualité des géodonnées](https://reader033.vdocuments.pub/reader033/viewer/2022052911/559f696d1a28ab241e8b4603/html5/thumbnails/13.jpg)
CONNECT. TRANSFORM. AUTOMATE.
Que peut-on contrôler? Schéma
JSONValidator
![Page 14: FME WT 2014: (FR) Validation et controle qualité des géodonnées](https://reader033.vdocuments.pub/reader033/viewer/2022052911/559f696d1a28ab241e8b4603/html5/thumbnails/14.jpg)
CONNECT. TRANSFORM. AUTOMATE.
Que peut-on contrôler? Valeurs des attributs
Valeurs des attributs
Présence de l’attribut
Type de données (numérique, alpha etc)
Valeur dans une plage ([min – max])
Pas de doublons
![Page 15: FME WT 2014: (FR) Validation et controle qualité des géodonnées](https://reader033.vdocuments.pub/reader033/viewer/2022052911/559f696d1a28ab241e8b4603/html5/thumbnails/15.jpg)
CONNECT. TRANSFORM. AUTOMATE.
Que peut-on contrôler? Valeurs des attributs
Valeurs des attributs – Principales ressources
Tester and TestFilter
AttributeClassifier
AttributeRangeFilter & AttributeFilter
NullAttributeMapper
Matcher
DuplicateRemover
StringSearcher
StatisticsCalculator
![Page 16: FME WT 2014: (FR) Validation et controle qualité des géodonnées](https://reader033.vdocuments.pub/reader033/viewer/2022052911/559f696d1a28ab241e8b4603/html5/thumbnails/16.jpg)
CONNECT. TRANSFORM. AUTOMATE.
Que peut-on contrôler? Valeurs des attributs
Tester
TestFilter
![Page 17: FME WT 2014: (FR) Validation et controle qualité des géodonnées](https://reader033.vdocuments.pub/reader033/viewer/2022052911/559f696d1a28ab241e8b4603/html5/thumbnails/17.jpg)
CONNECT. TRANSFORM. AUTOMATE.
Que peut-on contrôler? Valeurs des attributs
NullAttributeMapper
Lire différents ‘types’ de valeurs NULL
Ecrire différents ‘types’ de valeurs NULL
![Page 18: FME WT 2014: (FR) Validation et controle qualité des géodonnées](https://reader033.vdocuments.pub/reader033/viewer/2022052911/559f696d1a28ab241e8b4603/html5/thumbnails/18.jpg)
CONNECT. TRANSFORM. AUTOMATE.
Que peut-on contrôler?Valeurs des attributs
DuplicateRemover
![Page 19: FME WT 2014: (FR) Validation et controle qualité des géodonnées](https://reader033.vdocuments.pub/reader033/viewer/2022052911/559f696d1a28ab241e8b4603/html5/thumbnails/19.jpg)
CONNECT. TRANSFORM. AUTOMATE.
Que peut-on contrôler?
Géométrie en 2D et 3D
Intersections
Orientation
Sommets (vertex) en double
Géométrie invalide
etc
![Page 20: FME WT 2014: (FR) Validation et controle qualité des géodonnées](https://reader033.vdocuments.pub/reader033/viewer/2022052911/559f696d1a28ab241e8b4603/html5/thumbnails/20.jpg)
CONNECT. TRANSFORM. AUTOMATE.
Que peut-on contrôler? Géométrie
Géométrie – Principales ressources
GeometryValidator
GeometryFilter
Matcher
SpatialFilter
SliverRemover & SpikeRemover
AreaCalculator & LengthCalculator
OrientationExtractor
![Page 21: FME WT 2014: (FR) Validation et controle qualité des géodonnées](https://reader033.vdocuments.pub/reader033/viewer/2022052911/559f696d1a28ab241e8b4603/html5/thumbnails/21.jpg)
CONNECT. TRANSFORM. AUTOMATE.
Que peut-on contrôler? Géométrie
GeometryValidator
12 tests (encore plus de tests dans les prochaines versions)
Intégration d’anciens transformers (SelfIntersector)
Vérifier (Check) et réparer (Repair)
![Page 22: FME WT 2014: (FR) Validation et controle qualité des géodonnées](https://reader033.vdocuments.pub/reader033/viewer/2022052911/559f696d1a28ab241e8b4603/html5/thumbnails/22.jpg)
CONNECT. TRANSFORM. AUTOMATE.
Que peut-on contrôler? Géométrie
GeometryValidator
![Page 23: FME WT 2014: (FR) Validation et controle qualité des géodonnées](https://reader033.vdocuments.pub/reader033/viewer/2022052911/559f696d1a28ab241e8b4603/html5/thumbnails/23.jpg)
CONNECT. TRANSFORM. AUTOMATE.
Que peut-on contrôler? Géométrie
GeometryFilter
Nouveau style dans FME 2014
![Page 24: FME WT 2014: (FR) Validation et controle qualité des géodonnées](https://reader033.vdocuments.pub/reader033/viewer/2022052911/559f696d1a28ab241e8b4603/html5/thumbnails/24.jpg)
CONNECT. TRANSFORM. AUTOMATE.
Que peut-on contrôler? Géométrie
Matcher
Combinaison de la géométrie et des attributs
Y compris avec une tolérance pour les vertex intermédiaires
![Page 25: FME WT 2014: (FR) Validation et controle qualité des géodonnées](https://reader033.vdocuments.pub/reader033/viewer/2022052911/559f696d1a28ab241e8b4603/html5/thumbnails/25.jpg)
CONNECT. TRANSFORM. AUTOMATE.
Que peut-on contrôler? Géométrie
SpatialFilter
Examine toutes les relations spatiales possibles
![Page 26: FME WT 2014: (FR) Validation et controle qualité des géodonnées](https://reader033.vdocuments.pub/reader033/viewer/2022052911/559f696d1a28ab241e8b4603/html5/thumbnails/26.jpg)
CONNECT. TRANSFORM. AUTOMATE.
Que peut-on contrôler? Géométrie
SliverRemover
Identifie et corrige les trous ou les superpositions de données
![Page 27: FME WT 2014: (FR) Validation et controle qualité des géodonnées](https://reader033.vdocuments.pub/reader033/viewer/2022052911/559f696d1a28ab241e8b4603/html5/thumbnails/27.jpg)
CONNECT. TRANSFORM. AUTOMATE.
Que peut-on contrôler? Géométrie
SpikeRemover
Identifie et corrige ‘spikes’ (pic)
Angle maximum des ‘spikes’ (pic)
![Page 28: FME WT 2014: (FR) Validation et controle qualité des géodonnées](https://reader033.vdocuments.pub/reader033/viewer/2022052911/559f696d1a28ab241e8b4603/html5/thumbnails/28.jpg)
CONNECT. TRANSFORM. AUTOMATE.
Workflow de Validation avec FME Desktop et FME Server
FME Workbench:
Règles de validation
Tester sur ou plusieurs problèmes
Corrections
Automatique vs Manuel
Writers
Rapport avec les statistiques des erreurs
Fichier géographique avec la localisation des erreurs et un message détaillé
Desktop = Travail en local
![Page 29: FME WT 2014: (FR) Validation et controle qualité des géodonnées](https://reader033.vdocuments.pub/reader033/viewer/2022052911/559f696d1a28ab241e8b4603/html5/thumbnails/29.jpg)
CONNECT. TRANSFORM. AUTOMATE.
Workflow de validation avec FME Server Input data via
téléchargement
directory watcher (notifie FME Server quand un fichier est ajouté à un dossier)
Taches planifiées
Les résultats et les rapports sont envoyés par email, download, navigateur, FTP…
Totalement automatique
Les utilisateurs ne doivent pas avoir de connaissances, ni de licence FME
![Page 30: FME WT 2014: (FR) Validation et controle qualité des géodonnées](https://reader033.vdocuments.pub/reader033/viewer/2022052911/559f696d1a28ab241e8b4603/html5/thumbnails/30.jpg)
CONNECT. TRANSFORM. AUTOMATE.
Exemples
Statistique des erreurs dans Excel
![Page 31: FME WT 2014: (FR) Validation et controle qualité des géodonnées](https://reader033.vdocuments.pub/reader033/viewer/2022052911/559f696d1a28ab241e8b4603/html5/thumbnails/31.jpg)
CONNECT. TRANSFORM. AUTOMATE.
Exemples
Statistique des erreur en HMTL
![Page 32: FME WT 2014: (FR) Validation et controle qualité des géodonnées](https://reader033.vdocuments.pub/reader033/viewer/2022052911/559f696d1a28ab241e8b4603/html5/thumbnails/32.jpg)
CONNECT. TRANSFORM. AUTOMATE.
Exemples
Location des erreurs
Message
![Page 33: FME WT 2014: (FR) Validation et controle qualité des géodonnées](https://reader033.vdocuments.pub/reader033/viewer/2022052911/559f696d1a28ab241e8b4603/html5/thumbnails/33.jpg)
CONNECT. TRANSFORM. AUTOMATE.
Exemple: Workflow avec FME Server
User/Editor
using ArcGIS
FME Server
Download MyData
Validate MyData
Upload MyData
Extract & Lock
Upload & Unlock
User uses web interface to
interact with FME
Author using FME Desktop to model
Validated
data
Data
being edited
Data editor environment
FME Author environment
Publish Workbench
to FME Server
Data
to be edited
Data ready
for upload
Database Server
PC
Citrix
Network Disk
Query
Server administrator
monitoring FME server
No
Yes
Log file
AWIS
Informix
Spatial Datablade
Productie
AWIS
Informix
Spatial Datablade
Staging
ET
L
Cancel Download
![Page 34: FME WT 2014: (FR) Validation et controle qualité des géodonnées](https://reader033.vdocuments.pub/reader033/viewer/2022052911/559f696d1a28ab241e8b4603/html5/thumbnails/34.jpg)
CONNECT. TRANSFORM. AUTOMATE.
Centre de formation de GIMQualité des géodonnées
Théorie (Matin) Introduction: Aperçu de la qualité des géodonnées
Sources d’erreurs possibles et comment les éviter
Comment construire des géodonnées de qualité
Fixer les normes de qualité
Les techniques de contrôle de la qualité
Pratique (Après-midi) Session A: ArcGIS
Session B: FME
Où et Quand? Mardi 27 mai 2014 en néerlandais (Heverlee)
Mercredi 19 novembre 2014 en néerlandais (Heverlee)
![Page 35: FME WT 2014: (FR) Validation et controle qualité des géodonnées](https://reader033.vdocuments.pub/reader033/viewer/2022052911/559f696d1a28ab241e8b4603/html5/thumbnails/35.jpg)
CONNECT. TRANSFORM. AUTOMATE.
Résumé
La qualité des géodonnées est importante!
FME est idéal pour détecter les erreurs
FME est idéal pour corriger les erreurs
![Page 36: FME WT 2014: (FR) Validation et controle qualité des géodonnées](https://reader033.vdocuments.pub/reader033/viewer/2022052911/559f696d1a28ab241e8b4603/html5/thumbnails/36.jpg)
CONNECT. TRANSFORM. AUTOMATE.
Merci!
Des Questions?
Pour plus d’informations:
Bruno De Lat
GIM
http://www.gim.be