SISMER Systèmes d’Informations Scientifiques pour la Mer

1. SISMER Systèmes d’Informations Scientifiques pour la Mer Centre National de Données Océanographiques

2. Equipe SISMER – les thématiques

3. Activité de SISMER dans les programmes IFREMER • Thème : Grands équipements pour l’océanographie • Programme : Centre de données océanographiques • Portail SISMER & Coopération Nationale et internationale • Développement et maintenance du portail WWW et du serveur SGBD SISMER • Catalogue des Campagnes (ROSCOP/CSR) • Catalogues SEASEARCH, EDIOS • Catalogue EUROSEISMIC • Données de Référence et SIG SEXTANT • Coopération Nationale et Internationale (CIEM-MDM, COI/IODE, JCOMM, POGO, bilateral Coop., Nat. WG) • Banque Nationale de Géologie et Géophysique Marines • Banque Nationale de Physique et Bio-chimie Marines • Développement logiciel (ISI)

4. SISMER dans l’organigramme de l’ IFREMER • créé en 1990, SISMER appartient depuis 1997 au Département “Informatique et Données Marines” (IDM); il remplace, avec évlolutions importantes des missions, outils et projets, le BNDO créé en 1968 • SISMER travaille en étroite collaboration avec le service d’ingénierie ISI et peut ainsi disposer d’outils de traitement et de communication adaptés, innovants et performants. Cette collaboration permet également de gérer et diffuser les données selon les normes de qualité internationalement admises et d’offrir le meilleur service possible d’information et de données à la communauté des utilisateurs.

5. MISSIONS SISMER (Systèmes d'Informations Scientifiques pour la Mer), créé en 1990, est un service de l’IFREMER qui a pour mission: • développer et exploiter des systèmes d’information et des bases de données dans le domaine marin; • établir les normes de qualité à respecter pour l’archivage et la gestion des données marines; • maintenir un inventaire des données marines en France, leurs responsables et les conditions d’accès; • representer l’IFREMER au sein des organisations nationales et internationales impliquées dans la gestion des donées marines; • contribuer à la formation et au transfert de connaissances dans son domaine de compétence. SISMER a été désigné Centre National de Données Océanographiques (CNDO), pour le programme d’échange international d’informations et de données océanographiques (IODE) de la Commission Océanographique Intergouvernementale de l’UNESCO, à la suite du précédent Bureau National des Données Océaniques (BNDO).

6. Présentation Générale des Activités Les programmes d’activité de SISMER: • Opérer la Banque Nationale Océanographique qui couvre les domaines de la géologie, de la géophysique, de la physique et de la bio-chimie marines, ainsi que l’information générale sur les campagnes et les données; • Participer aux structures de gestion de données des programmes de l’IFREMER qui incluent plusieurs projets nationaux, européens et internationaux, en particulier de projets communautaires de l’Union Européenne; • Mettre à disposition de la communauté les produits de données d’intérêt général publiés par divers organismes (climatologies, fond maillé de l’océan, trait de côte, informations adminsitratives et cadastrales etc..);

7. Activité de SISMER dans les programmes IFREMER • Surveillance, Monitoring et Exploitation des Mer côtières • Programme Intégré Méditerranée • Gestion des campagnes et système d’information • Evaluation et exploitation durable des resources halieutiques • Programme Intégré Golfe de Gascogne • Technologie • Gestion des données • Exploration et Exploitation des fonds océaniques • Programme cartographie de l’océan • EXTRAPLAC • Gestion des données • Programme Technologie des observatoires fond de mer • ESONET • Gestion des données • Circulation et ecosystèmes marins, processus, évolution et prédiction • Programme Développement d’outils d’observation • MFSTEP • Gestion des données • Programme sysèmes opérationnels du large à la côte • CORIOLIS • Exploitation du centre et des données MERSEA, GOSUD, GTSPP, GYROSCOPE.. • Données temps réel des navires de recherche

8. Catalogues – Meta-données • Campagnes : 5879 résumés ROSCOP/CSR (Cruise Summary Report) de campagnes et mouillages • Bases/Jeux de données des laboratoires de la communauté françaises ou acquis à titre d'échange : 352fiches descriptives EDMED (European Directory of Marine Environmental Datasets) • (dont 82 au SISMER) • Stations d’observations « Temps Réel » EDIOS, MAMA • EUROSEISMIC

9. Banque Nationale de Géophysique Marine • Navigation: 709 Campagnes • Bathymétrie Verticale : 472 Campagnes • Bathymétrie Multifaisceaux: 341 Campagnes • Gravité : 311 Campagnes • Magnétisme : 276 Campagnes • Imagerie : 141 Campagnes Campagnes • Sismique : en cours Projets associés : DORSALES-RIDGE, EUROSEISMICS, EXTRAPLAC

10. DORSALES-RIDGE

11. Banque Nationale de Physique et Chimie Marines • CTD 26 426 • Profils Bouteilles 39 779 • Séries temporelles Courantométrie 1980 • Séries temporelles Chaînes de Thermistances 117 • Séries de thermosalinographe collectées en route 227 • ADCP – en cours Projects : MEDAR/MEDATLAS, MATER, OCTOPUS, ROBLINKS, ACME

12. MAST- MEDAR/MEDATLASII (MAS3-CT98-0174 & ERBIC20-CT98-0103)Mediterranean Data Archaeology and Rescue of Temperature, Salinity and Bio-chemical Parameters Collaborations and Scientific Advisers : GODAR Project - WDC-A, NODC-Croatia, DNA Tunisia, DNA Georgia EUROGOOS, MEDGOOS, IODE Network DATA TYPE NB OF PROFILES CTD36054 BOTTLE88453 MBT and XBT161890 THERMISTANCE 29

13. MTPII-MATERMAss Transfer and Ecosystem Response(MAS3-CT96-0051) 105 Oceanographic Cruises 126 Moorings 3 Regional Data Centres and an Animation Task

14. CORIOLIS provor float cycling cycle period cycle period launching reference date reference date + 1 period argos argos argos cycle 0 does not match the period cycle 1 cycle 2

15. Base de données océanogrpahie opérationnelle CORIOLISTOGA/WOCE/CLIVAR Global Subsurface Data Centre & Argo September 2003 RT profiles from Argo floats, PIRATA & TAO moorings RT CTD, buoys, Xbt, in blue T only, green TS profiles

16. Données de Référence Dissemination sur Internet ou Intranet selon les droits • Climatologies maillées (Levitus, MODB, MEDATLAS, Reynaud ..) • Données Topographiques (ETOP5, TOPO_2mn, Gravi_2mn, SHOM &IGN trait de côte ..) • Prédictions de marée- SHOM • Information cadastrale, economique etl administrative • produits sur CDroms & disquettes reçus au SISMER

17. fichier données SERVEUR BDR Fichier données MICROBIOLOGY CTD NUTRIENTS MOORINGS INSTRUMENTS SEA CRUISES Gestion des données Collecte des données sur les navires Centre d’archivage COMPILATION FORMATAGE VERIFICATiON (QC) SAUVEGARDE Par des engins autonomes • DIFFUSION • W W W • ftp • media Validation scientifique et documentation des Meta-Données

18. Compilation des données scientifiques Les sources de données sont multiples et variées • Les données temps réel arrivent par des circuits automatiques • Les données temps différés sont acquises au retour des navires ou auprès des laboratoires • 120 laboratoires et services en activité contribuent à la collecte en mer; àces laboratoires français s’ajoutent de nombreux laboratoires européens lors des projets communautaires • les données sont validées par ces laboratoires et sauvegardées sur différents systèmes, avec des organisations et des formats différents • les unités ne sont pas toujours normalisées, et les valeurs erronées pas toujours éliminées (ex: capteur O2 défaillant en cours de mission) • les supports d’archivage ont une durée de vie limitée • Une dernière étape d’archivage est nécessaire si la pérennité, la cohérence et l’accessibilité des données

19. FORMATS • Entrée : toutes sortes de format • Archivage : un format par type de données • Diffusion : un nombre limité de formats possibles en fonction des des projets • Meta-Données et temps réel: RDBS - ORACLE • Données – Observations temps différé: • autodescriptive ASCII • NetCDF •  incluent le meta-données sous forme de mots-clé, obligatoire ou optionnels, également copiés dans la BD ORACLE • Données de référence - données maillées • SIG - Sextant • ISI + NetCDF MODB/MEDMEX ARGO (en évolution)

20. Contrôles de Qualité les données collectées par les laboratoires sont validées par les laboratoires, mais les organisations et les formats des reçues sont en général hétérogènes – dans tous les cas un minimum de contrôles supplémentaires est nécessaire • Objectifs 1) que les données et formats soient suffisamment documentées pour être utilisables 2) qu’il ne se trouve pas d’anomalie majeure bloquant les traitements ultérieurs 3) que les données issues de différentes sourcessoientcohérentes et comparables • Méthodologie : toutes les données sont soumises à des contrôles de qualité (QC) automatiques et visuels assistés par systèmes experts Références- Normes internationales : CIEM, UNESCO/IODE/COI • Résultat : un indicateur de qualité attaché à chaque valeur numérique • En cas d’anomalie : le fournisseur est contacté pour correction ou intervention sur capteurs éventuelles ou élimination de la donnée

21. www/ifremer.fr/sismer www.coriolis.eu.org/coriolis/cdc/ Protocolede Transfer normalisé(XML-ISO19115) Interfacenormalisée Interfacenormalisée Interfacenormalisée EDMED/MEDI catalogue centralisé RT & GSDCBase de Données Coriolis SGBD Serveur SISMER Gestion des Données Campagnes en Mer Système d’archivageFichiers scientifiques ASCII, NetCdfbandes magnétiques DLT, disques .... Portail SISMER & Système de Gestion

22. Le Serveur SISMER - Contenu général • Information (méta-données) océanographique nécessaire à l'archivage et à la diffusion des données : type de données, date, localisation, capteurs utilisés, paramètres mesurés, système d'archivage, responsable, format, niveau de validation, les références méthodologiques et bibliographiques associées • Catalogues thématiques et l'adresse logique des fichiers de données • Logiciels de chargement, d’édition http://www.ifremer.fr/sismer/sismer/serveur.htm

23. Le Serveur SISMER – Principales tables Geosciences Physique/biochimie Biologie

24. Le Serveur SISMER – Logiciels associés • Logiciels commerciaux : • SGBDR ORACLE • Technologie de communication Internet • Logiciels IFREMER/ISI ( avec la collaboration de sociétés d’informatique) • logiciels de chargement • logiciels d’extraction de données • logiciels de publication

26. Diffusion sur CDrom

27. Diffusion des données Diffusions particulieres • Base TOGA/WOCE/CLIVAR GSDC/CORIOLIS • Cdroms MATER, MEDATLAS 2002 • Catalogue des Campagnes et Receuil Annuel

28. Enjeux de la gestion des données Assurer aux donnéessécurité, qualité et accessibilité: • ne pas perdre les données : des études récentes ont montré qu’avant 10 ans, 30% des données non archivées dans un centre de données sont perdues; et que la sécurité des données nécessite un double archivage et des outils adaptés. une fois perdues, les observations collectées dans un environnement variable ne peuvent plus jamais être refaites • assurer une certaine cohérence et compatibilité aux jeux de données collectées par différents capteurs et différentes équipes et époques, via la normalisation des unités, formats et QC; • avoir accès aisément à des données de sources différentes : un portail unique évite à chaque utilisateur de recompiler des données dispersées à des format hétérogènes • préparer des jeux de données intégrées et des produits de synthèse utiles à des utilisateurs spécialistes ou non sous une forme appropriée aux besoins et dans les délais requis en collaboration avec les équipes scientifiques • La gestion des données doit être organisée et méthodique – c’est un travail d’équipe

29. Conclusions et Perspectives • La bonne gestion des données collectées est un enjeu majeur de l’océanographie qui doit être soutenu proportionnellement à l’effort de mesures en mer. • Des moyens d’incitation, en particulier via l’attribution de temps navire, doivent encourager les scientifiques à accélérer la publication de leurs données au centre de données. Un groupe de travail interorganisme, le GTDO (CNRS,IFREMER, METEO-France, CNES, IRD) met en place une politique de diffusion des données pour améliorer leur circulation • Une évolution rapide des procédures est en cours pour faire face à l’arrivée de nouveaux types de données, de gros volumes de données issues des nouveaux capteurs, et de la nécessité d’utiliser les nouvelles techniques de communication • la normalisation des données et l’accès au plus large volume possible de données impose de travailler dans un contexte international et européen – Un réseau d’excellence, Sea-Datanet est en préparation dans cette perspective Visiter notre site : www.ifremer.fr/sismer

30. Enjeux de la gestion des données1 -Bases de progrès des connaissances, les besoins de données scientifiques sont croissants • Valorisation des campagnes: la seconde utilisation des données peut permettre d’économiser du temps navire et/ou améliorer la préparation des nouvelles campagnes • Assistance à la gestion des données des grands programmes scientifiques, en particulier les programmes communautaires; les jeux de données produits sont considérés en eux-mêmes comme des résultats importants des projets et doivent être publiés • Le secteur industriel offshore (prospection pétrolière, télécomunication) et les services publics (meteo, défense) ont des besoins croissants de données marines • La gestion des ressources marines, le suivi de l’environnement et des changements climatiques nécessitent la compilation de longues séries d’observations cohérentes et comparables, en temps réel (alerte et prévision) et en temps différé (études et mises au point technologiques) • L ’amélioration des modèles d ’analyse et prevision de l ’océan nécessite des données de qualité pour assimilation, (re-)analyses, tests de modèles

31. Enjeux de la gestion des données2 - Fiabilité des données • Un contrôle de qualité est nécessaire qui : • filtre les valeurs erronées ou douteuses • ne filtre pas les données qui rendent compte d ’une réelle modification du milieu • s’appuie sur les connaissances statistiques du milieu déjà acquises • capable d ’être opérés sur de gros volumes de données telles celles engendrés par les nouveaux capteurs de l’océanographie opérationnelle et de la géophysique • capable de s ’étendre aux multiples et complexes nouveaux paramètres observés

32. 4 5 2 9 1 3 0 pas fait Correct Inconsistant Douteux mauvais Modifié Manquant Assurance Qualité • Objectifs 1) que les données et formats sont suffisamment documentées pour être utilisables 2) qu’il ne se trouve pas d’anomalie majeure bloquant les traitements ultérieurs 3) cohérence et comparabilité de données issues de différentes sources • Méthodologie 1) toutes les données sont soumises à des contrôles de qualité (QC) automatiques et visuels assistés par systèmes experts • QC0 : contrôle du format et de la complétude de l’information • QC1 : Contrôle de la position et de la date • QC2 : Contrôle des valeurs d’observation 2) en cas d’anomalie, le fournisseur est contacté pour correction éventuelle ou élimination Références- Normes internationales • CIEM-Marine Data Management working Group (CIEM) • UNESCO/COI/IODE : International Oceanographic Data & Information Exchange • Résultat un Indicateur de qualité attaché à chaque valeur numérique

33. QC1- Contrôle Date et PositionDonnées en Station - Tests

34. QC1 Control of the location and Date - Data collected in station

35. QC1 - Contrôle Date et PositionDonnées en séries temporelles

36. QC2 – Contrôle Observations Liste des tests

37. QC2 – Contrôle des points de mesure

38. QC2 – Contrôle Observations Visualisation

39. QC1: Control of the location and Date - Time series on fixed mooring