sismer sismer systèmes dinformations scientifiques pour la mer f-cndo centre de données présenté...
TRANSCRIPT
SISMERSISMER Systèmes d’Informations Scientifiques pour la Mer
F-CNDO
Centre de Données
Présenté par Catherine MAILLARD
Brest 2 Fev 2001
L’océanographie opérationnelle crée de nouveaux besoins
Le travail amont fait sur les données “temps différé” est un acquis qui contribue à améliorer la gestion de ces données
Équipe SISMERChef de service : Catherine MAILLARD
Secrétaire (avec ISIB): Béatrice MILOSAVLJEVIC
Données de RéférenceMichel BELLOUIS
Physique-ChimieMichèle FICHAUT
Françoise LE HINGRATGwenaëlle RICOU
GéophysiqueEric MOUSSAT
Chantal CROGUENNEC
Océanographie Opérationnelle
Loic PETIT DE LA VILLEONYvette RAGUENES
Contexte Historique et Missions
• L'archivage et la diffusion des données océanographiques françaises date de 1968 et couvre différents domaines de la physique et de la chimie marines, de la géophysique mesurée en route ainsi que de l'information générale. SISMER (Systèmes d'Informations Scientifiques pour la Mer) a été créé en 1990 pour reprendre ce service dans un contexte de volume de données grandissant, de besoins scientifiques et techniques évoluant rapidement et de l’apparition de nouvelles technologies informatique.
• Il est le Centre National de Données Océanographiques (CNDO) désigné pour la France par la Commission Océanographique Intergouvernementale (COI) de l'UNESCO, dans le cadre du programme International Oceanographic Data and Information Exchange (IODE), la suite de l'ancien Bureau National des Données Océaniques (BNDO).
• Les missions revues lors de la restructuration de la Direction de la Technologie (décision 30/8/99) le chargent du centre de données océanographique de l’IFREMER et réaffirment en les précisant, les missions données lors de la création, en particulier :
– collecte, catalogage, contrôle et sauvegarde et diffusion des données marines acquises par la communauté scientifique nationale
– représentation de l’IFREMER au sein des instances nationales et internationales pour la gestion des données océanographiques
– sur décision de D/IFREMER, participation aux bases de données de programmes nationaux & internationaux
• Ses projets s’inscrivent dans le programme «systèmes d’information pour l’océanographie» (J4) du thème fédérateur «grands équipements pour l’océanographie», comme les navires
Enjeux de la gestion des données
1 - Bases de progrès des connaissances, les besoins de
données scientifiques sont croissants
Valorisation des campagnes: la seconde utilisation des données peut permettre d’économiser du temps navire et/ou améliorer la préparation des nouvelles campagnes
Assistance à la gestion des données des grands programmes scientifiques, en particulier les programmes communautaires; les jeux de données produits sont considérés en eux-mêmes comme des résultats importants des projets et doivent être publiés
Le secteur industriel offshore (prospection pétrolière, télécomunication) et les services publics (meteo, défense) ont des besoins croissants de données marines
La gestion des ressources marines, le suivi de l’environnement et des changements climatiques nécessitent la compilation de longues séries d’observations cohérentes et comparables, en temps réel (alerte et prévision) et en temps différé (études et mises au point technologiques)
L ’amélioration des modèles d ’analyse et prevision de l ’océan nécessite des données de qualité pour assimilation, (re-)analyses, tests de modèles
Enjeux 2 - Fiabilité des données
Un contrôle de qualité est nécessaire qui : filtre les valeurs erronées ou douteuses ne filtre pas les données qui rendent compte d ’une
réelle modification du milieu s’appuie sur les connaissances statistiques du milieu
déjà acquises capable d ’être opérés sur de gros volumes de données
telles celles engendrés par les nouveaux capteurs de l’océanographie opérationnelle et de la géophysique
capable de s ’étendre aux multiples et complexes nouveaux paramètres observés
Enjeux et Perpectives3 - Les Moyens à mettre
en place• Un archivage centralisé et opérationnel est nécessaire pour :
ne pas perdre les données : des études récentes ont montré qu’avant 10 ans, 30% des données non archivées dans un centre de données sont perdues; et que la sécurité des données nécessite un double archivage et des outils adaptés. une fois perdues, les observations collectées dans un environnement variable ne peuvent plus jamais être refaites.
avoir accès aisément à des données de même type : l’effort fourni par un service comme SISMER pour compiler des données dispersées à des format hétérogènes provenant de sources différentes ne doit pas être refait par chaque utilisateur; le service apporté doit également être pérenne;
assurer une certaine cohérence et compatibilité aux jeux de données collectées par différents capteurs et différentes équipes via la normalisation des formats et des QC;
développer et maintenir la capacité de gestion de gros volumes de données fournies par les nouveaux capteurs et la mise en place de l’océanographie opérationnelle;
préparer des produits de synthèse utiles à des utilisateurs non spécialistes
Circulation des données
MICROBIOLOGY
INSTRUMENTSMOORINGS
CTD
SEA CRUISES
• W W W• ftp• cassettes
fichierdonnées
Fichierdonnées
SAUVEGARDE
SERVEUR BDR
NUTRIENTS
INSTRUMENTS
MOORINGSCTD
SEA CRUISES
MICROBIOLOGY
NUTRIENTS
Formulaires
Meta-Données
Collecte
FormatageQC
DIFFUSION
Support Matériel et LogicielStations de travail UNIXPC2 SGBR sous ORACLElogiciels BureautiqueOutils dédiés :
outils de QCInterfaces d’extraction
Interfaces de saisie/chargement
Outils d’édition• Edition de catalogues WWW par liens dynamiques
avec le SGBD (htql)• Edition de catalogues/rapports papier et mailing• Edition de produits sur Cdrom
extraction de données selon divers critères et zones géographiques
Diffusion des Données1998 : Geophysique + Physique/Chimie
113 Demandes
IFREMER36%
FranceSecteur public41%
FranceSecteur privé8%
Etranger15%
Base TOGA/WOCE/CLIVAR : 50 (8 automatiquement en ligne, 42 diffusion manuelle) Cdrom MEDATLAS : 14 gratuits (échange de données) + 30 vendus Base campagnes, données de référence et information générale :
environ 200 connexions par jour sur le web
FORMATS
• Meta-Données : RDBS - ORACLE
• Données - Observations– autodescriptive ASCII (MEDATLAS/CORIOLIS ASCII)– NetCDF incluent le meta-données sous forme de mots-
clé, obligatoire ou optionnels, également copiés dans la BD ORACLE
• Données - données maillées– MODB/MEDMEX
Assurance Qualité• Il est important d’assurer :
• 1) que les données et formats sont suffisamment documentées pour être utilisables
• 2) qu’il ne s’y trouve pas d’anomalie majeure bloquant les traitements nécessaires
• 3) la cohérence et la comparabilité de données issues de différentes sources
• Méthodologie• Toutes les données sont soumises à des contrôles de qualité (QC) automatiques et visuels assistés par systèmes experts
– QC0 : contrôle du format et de la complétude de l’information– QC1 : Contrôle de la position et de la date– QC2 : Contrôle des valeurs d’observation
• Résultat : indicateurs de qualité, action du fournisseur ou élimination• Références - Normes internationales
– CIEM-Marine Data Management working Group (CIEM)
– UNESCO/COI/IODE : International Oceanographic Data & Information Exchange
Banques Nationales et Projets AssociésCatalogues -Meta-databases -EURONODIM/Sea-Search
CAMPAGNES - ROSCOP/CSR (>4700 campanes référencées)
DONNEES - MEDI/EDMED
Banque Nationale de Géophysique + DORSALESBanque Nationale de Physique et Chimie
Marines + MEDAR, MATERBases de Données pour l’océanographie
opérationnelle + GSDC TOGA/WOCE/CLIVAR + CORIOLIS
Données de référence : climatologies, données topographiques, produits publiés par les autres CD
Rôle dans l’IFREMER • SISMER est un service du Département «Informatique et Données Marines» de TMSI
• Les missions revues lors de la restructuration de la Direction de la Technologie (décision 30/8/99) le chargent du centre de données océanographique de l’IFREMER :– définition et administration des bases de données nécessaires– collecte, catalogage, contrôle et sauvegarde et diffusion des données
marines acquises par la communauté scientifique nationale– représentation de l’IFREMER au sein des instances nationales et
internationales pour la gestion des données océanographiques– sur décision de D/IFREMER, participation aux bases de données de
programmes nationaux & internationaux
• Ses projets s’inscrivent dans le programme «systèmes d’information pour l’océanographie» (J4) du thème fédérateur «grands équipements pour l’océanographie», comme les navires
CONCLUSION• La bonne gestion des données collectées est un enjeu
majeur de l’océanographie et l’IFREMER doit le soutenir proportionnellement à l’effort de mesures en mer.
• Des moyens d’incitation, en particulier via l’attribution de temps navire, doivent encourager les scientifiques à accélérer la publication de leurs données au centre de données.
• L’arrivée de nouveaux types de données et de très gros volumes de données issues des nouveaux capteurs et de l’océanographie opérationnelle imposent au SISMER d’améliorer ses outils et ses procédures dans la voie d’une automatisation accrue, mais cet effort seul ne peut suffire à la tâche.
Banque Nationale de Géophysique Marine
Bathymétrie Verticale : 353 Campagnes Bathymétrie Multifaisceaux: 278 Campagnes Gravité : 213 Campagnes Magnétisme : 256 Campagnes Imagerie : 64 Campagnes Campagnes Sismique
– Projets associés : DORSALES-RIDGE, ROBLINKS
DORSALES-RIDGE
Banque Nationale de Physique et Chimie Marines
CTD 16 790 Profils Bouteilles 34 111 Séries temporelles Courantométrie 1853 Séries temporelles Chaînes de Thermistances 126
Related Projects : MEDAR/MEDATLAS, MATER, OCTOPUS, ROBLINKS
0
500
1000
1500
2000
2500
Bouteilles
CTD
CourantosBo
MAST- MEDAR/MEDATLASIIMediterranean Data Archaeology and
Rescue of Temperature, Salinity and Bio-
chemical Parameters
IFREMER/SISMER Brest, France
IEO Madrid, Spain
UL/GHERLiège, Belgium
ICESCopenhaguen, Dk
INRH/DOTMCasablanca, Morocco
ISMALAlger, Algeria
NCMR/HNODCAthens, Hellas
TN/DNHOIstanbul, Turkey
NIMHSofia, Bulgaria
IOCParis, France
UM-POMsida, Malta
RIHMI-WDCObninsk, Russia
MHI/MISTSevastopol, Ukraine
NIOF/ENODCAlexandria,
Egypt
FD-MANRE/CyNODCNicosia, Cyprus
NCSR-NCMSBatroun, Lebanon
IOLRHaifa, Israel
ENEALa Spezia, Italy
OGSTrieste, Italy
CNR/IMGABologne, Italy
Collaborations and Scientific Advisers : GODAR Project - WDC-A, NODC-Croatia, DNA Tunisia, DNA Georgia
EUROGOOS, MEDGOOS, IODE Network
Objectifs de MEDAR/MEDATLAS
• MEDAR vise à compléter les zones vides de données à l’est et au sud par une collaboration internationale étendue en Europe et avec le réseau des centres de données COI/IODE-Mediterranée, pour compiler les paramètres bio-chimiques de base :
– Oxygène, Nitrate, Nitrite, Ammonium, Azote total, Phosphate, Phosphore total, Silicate, H2S, pH, Alkalinité, Chlorophylle-a
• nécessaires à la surveillance et l’exploitation de la mer, et à préparer un produit de synthèse utile pour une large gamme d’utilisateurs : scientifiques, étudiants, industrie.
MTPII-MATERMAss Transfer and
Ecosystem Response(MAS3-CT96-0051)
Physics
VERTICAL PROFILES TIME SERIES
3013 CTD CTD TIME SERIE
572 XBT 21 THERMISTOR STRING
461 ADCP VERTICAL PROFILES 110 CURRENT METER
LAGRANGIAN FLOAT
Biochemistry
VERTICAL PROFILES TIME SERIES
1473 BOTTLES STATIONS 37 SEDIMENT TRAPS
269 BIOLOGICAL STATIONS
Other parameters :
meteorology, biology, model outputs
3 Centres de Données Régionaux et une Animation
105 Campagnes
126 Lignes de Mouillage
Centre International de Données de sub-surface
TOGA/WOCE/CLIVAR 474688 profiless of temperature 1985-1998 (2000) Automatic and Visual QC WWW Interface to access data
Related Projects : CORIOLIS , MFSPP
MFSPPMediterranean Forecasting
Pilot Project(MAS3-CT98-0171)
Model predictions with Assimilation of RT in situ data from VOS, from
multidisciplinary mooring in Aegean Sea, satellite and meteorological data
CORIOLIS provor float cycling
launching reference date reference date + 1 period
cycle 0does not match
the period
cycle 1 cycle 2
cycle period cycle period
argosargosargos
data centre functionsInteroperability with argo
data base (RDBS)catalogue - archive
gts(meteo-france)
mailmailing lists
WWW(full data set)
controldata quality control
technical monitoring of equipments
data collectmailinternetgtscd-rompaper...
disseminationpublic / private
productsgraphics and charts
statisticsanalyses
cd-romor other support
on request
quality insurance for exploitation hardware & software management - backup
models(Mercator, Soprane)
provor profilers
description of a provor
display of a provor profile
provor in pommier area
Assurance Qualité– QC0 : Contrôle du format et de l’information
– QC1 : Contrôle de la position, date et des doublons
– QC2 : Contrôle des points de données– Résultats : Elimination ou Flag de Qualité : Echelle GTSPP
–
– Normes et Réferences– ICES -GETADE Formatting Guidelines for Oceanographic Data Exchange
(http://www.ices.dk/ocean/)
– ICES -MDM QA Guidelines - CTD - Marine Data Management working Group (CIEM) Reports
– UNESCO/COI/IODE : Manual of Quality Control Procedures for validation of Oceanographic Data - Manuals and Guides 26
– UNESCO/IOC/IODE : GF3 A General Formattin System for Geo-Referenced Data - Manual and Guides 17
0 1 2 3 4 5 9
No QC Correct Inconsistent Doubtful Bad Changed Missing
QC1 Control of the location and Date
- Data collected in stationAutomatic Checks Results - Flag
Duplicate data sets EliminationDate Elimination or 5
Ship/Platform velocity Elimination or 5
Location/shoreline Elimination or 5
Bottom sounding (ETOPO5) Elimination or 2
5 = Correction/Interpolation2 = Flag «Inconsistant with statistics» - no correction
QC1 Contrôle de la date et de la position
QC1: Control of the location and Date
- Time series on fixed mooring
QC2 - Control of the Data points
Automatic Checks Results - FlagPressure + one more observation EliminationOut of the regional scale 4 (min & max values)Increasing pressure 4Data below the bottom depth 4Coherence with pre-existing statistics (LEVITUS, REYNAUD, MODB, MEDATLAS) 2No constant profiles 4Spikes 3Vertical stability 4
QC2 - Control of the Data points
Minimum & Maximum - Broad Range Check
QC2 - Control of the Data points
Regional Adjustment for Broad Range Checks
QC2 - Contrôle des Observations
provor temperature map
COASTAL MONITORING - MAREL
SISMERSISMER Systèmes d’Informations Scientifiques pour la Mer
F-NODC
Centre de DonnéesPrésenté par Catherine MAILLARDRéunion MERCATOR/CORIOLIS
Brest 12 Avril 2000