SITools Système léger d’accès aux données spatiales

1. SIToolsSystème léger d’accès aux données spatiales CCT SIL – OP 24/11/2006

2. Du vocabulaire… • Plan • Du vocabulaire • Le contexte • Le besoin • L’action SITools • Exemple • Technologies • Architecture • Implémentation • Utiliser SITools • + / - • Conclusion • Les données spatiales : • Des documents quelconques • Fichiers de mesures temporelles de champ magnétique, • Prise de vue de la terre, • Annuaires d’étoiles, … • Jeu de donnée : regroupement de données homogènes et cohérentes • Selon la source (capteur, expérience), • Selon le niveau de traitement, … • SVA (Service à Valeur Ajoutée) : application de traitement prenant des données en entrée et accessibles en ligne • Tracé de graphique à la carte, tracé 3D, • Conversion de format, compression, • Extraction temporelle conditionelle, … Présentation SITools – CCT SIL–OP – 24/11/2006

3. Le contexte • Plan • Du vocabulaire • Le contexte • Le besoin • L’action SITools • Exemple • Technologies • Architecture • Implémentation • Utiliser SITools • + / - • Conclusion • SGDS (Service de Gestion des Données Spatiales) : réflexion sur la pérennisation et la dissémination des données, depuis 1990. • Constat sur la gestion des données dans les laboratoires : • Peu de moyens (pas d’outils comme le SIPAD) • Petits volumes de données ayant vocation à rester dans les labos (donc pas au CNES) • Systèmes d’accès spécifiques et hétérogènes, ou données inaccessibles • Services associés non partagés • Comment répondre à ce besoin de mise à disposition ? • Maintenance des systèmes ? • Interopérabilité ? Observatoires virtuels ? Présentation SITools – CCT SIL–OP – 24/11/2006

4. Le besoin • Plan • Du vocabulaire • Le contexte • Le besoin • L’action SITools • Exemple • Technologies • Architecture • Implémentation • Utiliser SITools • + / - • Conclusion • Simplicité d’installation et de maintenance • Possibilité de modifier soit même l’IHM ou le modèle de données • Installable soi-même • Portabilité (plateformes très différentes dans les labos) • Généricité • Adaptation à tous types de données • Modularité des composants • Adaptation à l’existant (remplacement de modules par des services existant)  interface simples et claires • Adaptation à l’architecture système • Interopérabilité • interfaçage avec d’autres systèmes d’accès aux données • Observatoires Virtuels Présentation SITools – CCT SIL–OP – 24/11/2006

5. L’action SITools • Plan • Du vocabulaire • Le contexte • Le besoin • L’action SITools • Exemple • Technologies • Architecture • Implémentation • Utiliser SITools • + / - • Conclusion • Une action de R & T CNES (faisabilité) • Boîte à outil permettant de créer rapidement un système d’accès aux données • Installé, implémenté et administré par les laboratoires utilisateurs (pas une solution clé en main rigide) • Fédère et uniformise un effort de mise à disposition de données scientifiques • Système de données interopérables  unifier l’accès Présentation SITools – CCT SIL–OP – 24/11/2006

6. Exemple • Plan • Du vocabulaire • Le contexte • Le besoin • L’action SITools • Exemple • Technologies • Architecture • Implémentation • Utiliser SITools • + / - • Conclusion • L’instance de démonstration de SITools : • Jeu fruit • Jeu fleur • Jeu légume Présentation SITools – CCT SIL–OP – 24/11/2006

7. Technologies • Plan • Du vocabulaire • Le contexte • Le besoin • L’action SITools • Exemple • Technologies • Architecture • Implémentation • Utiliser SITools • + / - • Conclusion Sitools est constitué : • D’une couche de logiciels « libres » • MySQL / PostgreSQL (tout SGBD accessible via JDBC) • Tomcat 4 / Tomcat 5 (nécessitant une JRE 1.4 ou 1.5) • Apache 2 • D’un ensemble de webapps (modules web) hébergés par Tomcat • Complètement configurables • Interconnectés et dialoguant en SOAP • Accédés par des applications clientes Présentation SITools – CCT SIL–OP – 24/11/2006

8. Architecture (1/6) • Plan • Du vocabulaire • Le contexte • Le besoin • L’action SITools • Exemple • Technologies • Architecture • Implémentation • Utiliser SITools • + / - • Conclusion • Présentation d’un schéma d’architecture de SITools simplifié • Données réparties sur deux sites (avec des bases de données existantes) : A et B • Un site pour le serveur SITools : site C • Schéma simplifié Présentation SITools – CCT SIL–OP – 24/11/2006

9. Schéma d’architecture SITools SITE C Catalogue A SITE A Architecture Application Cliente IHM Repository Jeux de données Super Catalogue Metadonnées • Plan • Du vocabulaire • Le contexte • Le besoin • L’action SITools • Exemple • Technologies • Architecture • Implémentation • Utiliser SITools • + / - • Conclusion • Présentation d’un schéma d’architecture de SITools • Deux sites pour les données : un site A, un site B • Un site pour le serveur SITools : site C Dictionnaire de synonymes catalogue A Catalogue B SITE B Jeux de données Dictionnaire de synonymes catalogue B Metadonnées Présentation SITools – CCT SIL–OP – 24/11/2006

10. Architecture (2/6) • Plan • Du vocabulaire • Le contexte • Le besoin • L’action SITools • Exemple • Technologies • Architecture • Implémentation • Utiliser SITools • + / - • Conclusion • Remplissage des méta données • Pas de modification des tables de données existantes • Possibilité de configurer toute l’application via la base de données • Phase la plus coûteuse et le plus importante de l’instanciation de SITools. • Exemple… Présentation SITools – CCT SIL–OP – 24/11/2006

11. Base de données SITools Table de données: MAG_KSM Table dataset • Plan • Du vocabulaire • Le contexte • Le besoin • L’action SITools • Exemple • Technologies • Architecture • Implémentation • Utiliser SITools • + / - • Conclusion Table attribute Présentation SITools – CCT SIL–OP – 24/11/2006

12. Architecture (3/6) • Plan • Du vocabulaire • Le contexte • Le besoin • L’action SITools • Exemple • Technologies • Architecture • Implémentation • Utiliser SITools • + / - • Conclusion • SITools est un boîte à outil : • Modules nécessaires • Catalogue (au moins 1) • Repository • IHM utilisateur (Instanciation de l’IHM de base) • Modules facultatifs • Commande • Service à valeur ajoutée (autant que nécessaire) Présentation SITools – CCT SIL–OP – 24/11/2006

13. Architecture (4/6) • Plan • Du vocabulaire • Le contexte • Le besoin • L’action SITools • Exemple • Technologies • Architecture • Implémentation • Utiliser SITools • + / - • Conclusion • Modules nécessaires • Module Catalogue : • Permet un accès générique aux données pour les autres modules de SITools. • Autant de catalogue que nécessaire. • Module Repository • Référence les catalogues utilisés et les services associés • Gère les droits des utilisateurs • Gère les synonymes et les convertisseurs • Module IHM • Interface graphique standard pour • l’accès aux données • la recherche par critères • … Présentation SITools – CCT SIL–OP – 24/11/2006

14. Architecture (5/6) • Plan • Du vocabulaire • Le contexte • Le besoin • L’action SITools • Exemple • Technologies • Architecture • Implémentation • Utiliser SITools • + / - • Conclusion • Modules facultatifs • Module commande • Gère le processus de commande de données (gros volumes / traitement batch) • Dépôt de la commande sur un espace utilisateur (DAV) • Gestion de l’espace utilisateur sur le serveur SITools Présentation SITools – CCT SIL–OP – 24/11/2006

15. Architecture (6/6) • Plan • Du vocabulaire • Le contexte • Le besoin • L’action SITools • Exemple • Technologies • Architecture • Implémentation • Utiliser SITools • + / - • Conclusion • Modules facultatifs : • Modules de Services à Valeur Ajoutée • Plusieurs types : • Services interactifs • Externes • Internes • Services Batch (dépôt sur espace utilisateur ou autre). • Un Kit de développement de SVA est fourni • Une interface à implémenter Présentation SITools – CCT SIL–OP – 24/11/2006

16. Architecture détaillée • Plan • Du vocabulaire • Le contexte • Le besoin • L’action SITools • Exemple • Technologies • Architecture • Implémentation • Utiliser SITools • + / - • Conclusion • Schéma détaillé de l’architecture • Tous les modules peuvent être éclatés sur plusieurs machines • Communication SOAP (XML over HTTP – Port 80) Présentation SITools – CCT SIL–OP – 24/11/2006

17. Site A Site A Site A Site A Site A Client Application (Web Server) Repository Added-Value Services 1 Catalog Command Processing Site C Site B Added-Value Services 2 Site N AVS 3 Added-ValueServices N Site C Site B User Space Catalog off-line Site C Description of services Dictionnaires des synonymes Site B Description of services Architecture détaillée Internet browser Site A Description of services • Plan • Du vocabulaire • Le contexte • Le besoin • L’action SITools • Exemple • Technologies • Architecture • Implémentation • Utiliser SITools • + / - • Conclusion • Schéma détaillé de l’architecture • Tous les modules peuvent être éclatés sur plusieurs machines • Communication SOAP (XML over HTTP – Port 80) Connection bus between the various services Catalog 1 Catalog 2 Data 1 Client Service 1 Catalog 1 Catalog 2 Data 1 Existant Présentation SITools – CCT SIL–OP – 24/11/2006

18. Implémentation (1/3) • Plan • Du vocabulaire • Le contexte • Le besoin • L’action SITools • Exemple • Technologies • Architecture • Implémentation • Utiliser SITools • + / - • Conclusion • Laboratoires testeurs : • LAM (Données SOHO / Corot) • IAS (idem) • CESR (Cassini, CDPP) • Projets CNES : • GEIPAN • DATAQTIS • Quelques copies d’écran… Présentation SITools – CCT SIL–OP – 24/11/2006

19. Présentation SITools – CCT SIL–OP – 24/11/2006

20. Présentation SITools – CCT SIL–OP – 24/11/2006

21. Présentation SITools – CCT SIL–OP – 24/11/2006

22. Implémentation (2/3) • Plan • Du vocabulaire • Le contexte • Le besoin • L’action SITools • Exemple • Technologies • Architecture • Implémentation • Utiliser SITools • + / - • Conclusion • Quelques exemples de services à valeur ajoutée Présentation SITools – CCT SIL–OP – 24/11/2006

23. Présentation SITools – CCT SIL–OP – 24/11/2006

24. Présentation SITools – CCT SIL–OP – 24/11/2006

25. Présentation SITools – CCT SIL–OP – 24/11/2006

26. Présentation SITools – CCT SIL–OP – 24/11/2006

27. Présentation SITools – CCT SIL–OP – 24/11/2006

28. Présentation SITools – CCT SIL–OP – 24/11/2006

29. Présentation SITools – CCT SIL–OP – 24/11/2006

30. Implémentation (3/3) • Plan • Du vocabulaire • Le contexte • Le besoin • L’action SITools • Exemple • Technologies • Architecture • Implémentation • Utiliser SITools • + / - • Conclusion • Démonstration sur l’instance DATAQTIS (CNES) : http://pc-dataqtis/dataqtis/index.jsp • Démonstration sur l’instance SOHO (IAS) : http://idoc-medoc.ias.u-psud.fr/ Présentation SITools – CCT SIL–OP – 24/11/2006

31. Utiliser SITools (1/2) • Plan • Du vocabulaire • Le contexte • Le besoin • L’action SITools • Exemple • Technologies • Architecture • Implémentation • Utiliser SITools • + / - • Conclusion • Implémentation de SITools dans le cadre d’un projet • Installation SITools de base V3.2 : 1 à 2 jours • Adaptation de l’IHM (qq jours – dépend compléxité) • Remplissage de la base de données (ordre de la semaine) • Ajout de services (en fonction de la compléxité) • On peut rapidement (env. 1 semaine) avoir une version simple d’un serveur de données : les raffinements viennent après et sont fonctions de la complexité. Présentation SITools – CCT SIL–OP – 24/11/2006

32. Utiliser SITools (2/2) • Plan • Du vocabulaire • Le contexte • Le besoin • L’action SITools • Exemple • Technologies • Architecture • Implémentation • Utiliser SITools • + / - • Conclusion • Support CNES présent • DCT/PS/VDO • Architecture à mettre en œuvre • Aide à la mise en place • Contrat industriel • CAP G. développeur de SITools • Javadoc complète et détaillée pour un industriel ≠ Présentation SITools – CCT SIL–OP – 24/11/2006

33. Avantages / Inconvénients de SITools • Plan • Du vocabulaire • Le contexte • Le besoin • L’action SITools • Exemple • Technologies • Architecture • Implémentation • Utiliser SITools • + / - • Conclusion • Avantages : • Souplesse • modification simple de l’IHM • Modification simple du modèle de données, des critères de sélection • Facilité d’installation • Facilité de développement des SVAs • Beaucoup d’interfaces (convertisseurs, connecteurs, SVAs, etc..) • Portable (plateforme, SGBD, …) • Open source • Inconvénients ( = avantages SIPAD-NG) : • Solution non sécurisée au sens CNES • Pas de vérification stricte des données entrées par rapport à un dictionnaire • Connaissances informatique requises pour l’administration (et l’implémentation), gestion de la base de données • Pas d’interface admin Présentation SITools – CCT SIL–OP – 24/11/2006

34. Conclusion • Plan • Du vocabulaire • Le contexte • Le besoin • L’action SITools • Exemple • Technologies • Architecture • Implémentation • Utiliser SITools • + / - • Conclusion Plus d’informations sur le site web de SITools : http://vds.cnes.fr/sitools/tech.htm Merci de votre attention. Présentation SITools – CCT SIL–OP – 24/11/2006