CCT OPS SIL : Supervision des segments sols, 12 Mai 2011

1. CCT OPS & SIL : Supervision des segments sols, 12 Mai 2011

2. CCT OPS&SIL �Supervision des segments sols � 12/05/2011 2 SOMMAIRE Historique Caract�ristiques principales de centres de traitement Fonctions de la supervision Architecture d�un moteur d�orchestration Le projet PHOEBUS Retour d�exp�rience et recommandations

3. CCT OPS&SIL �Supervision des segments sols � 12/05/2011 3 Historique � Origine : segments sols de traitement d�images optiques 1998 : Sp�cifications du SD SPOT5 Supervision du centre bien adapt� et appr�ci� (nombreux centres en op�ration) D�velopp� par MS&I (�Cassidian) et r�utilis� sur segment sol H�lios => CNES non propri�taire des sources 2004 : Sp�cifications de la chaine image Pl�iades : IPU (Image Processing Unit) Retour exp�rience de la supervision SD SPOT5 Nouvelles technos (e.g. web services) et bas� sur des open sources R�utilisable pour d�autre projets CNES => composant ind�pendant Prise en compte d�exigences Pl�iades : d�fense, niveau urgent + services communs Gestion des droits d�acc�s (PHR_Access Rights) : interfaces LDAP/ Kerberos Echanges entre centres (GIDE) Consultation des journaux de bord (Chainsaw) Dictionnaire commun avec les autres cha�nes Solution d�velopp�e par Thal�s encore plus performante, souple et configurable que les besoins sp�cifi�s Produit �Zeus� rapidement op�rationnel Prototypage avec les utilisateurs : outil appr�ci� pour son ergonomie Outil puissant mais complexe 2006 � 2008 : D�autres specs de centres de traitement de donn�es avec des besoins similaires Venus, GPP Sentinel-2, SMOS Sep 2008 : R�utilisation par Thal�s pour le segment sol scientifique GAIA 2010-2011 Etude Supervision G�n�rique pour les besoins des projets en cours/futurs PDGS Sentinel-2, CFOSAT, CSO-SSU => Produit PHOEBUS ��Processing High Level Orchestration Engine & Business User Services��

4. CCT OPS&SIL �Supervision des segments sols � 12/05/2011 4 Planning de quelques centres d�velopp�s par PS/TIS �

5. CCT OPS&SIL �Supervision des segments sols � 12/05/2011 5 Centres principalement de type ��data-driven�� D�s que la t�l�mesure est acquise par la station, elle doit �tre inventori�e et les donn�es archiv�es et catalogu�es Production auto sur r�ception de fichiers de commandes des utilisateurs Diffusion des produits sur media/r�seau Fortes contraintes de performance (volumes et temps de traitement ) Retour de boucle Programmation / Catalogue PHR en NRT (1h apr�s passage) Traitements Urgents PHR (inventaire + production en moins de 1h apr�s vidage TMI) GAIA : Traitement syst�matique de 100 Millions d�objets tous les 6 mois => Dimensionnement adaptable au centre Traitements automatiques 24h/24, 7j/7 avec op�rateurs en heures ouvr�es et minimisation actions manuelles Forte fiabilit�/disponibilit� (99,2% pour Pl�iades) Centres parfois en plusieurs exemplaires et pas toujours exploit�s au CNES Encha�nements complexes de t�ches d�finies au travers de �workflows� 1 produit image ? 1 workflow Suivi en temps r�el de toutes les t�ches MAIS aussi des traitements manuels : imports/exports, re-traitements, expertises, changements de priorit�s, reconfigurations IHM op�rateurs & experts Pendant la phase de d�veloppement jusqu�� mise en exploitation (3 � 6 ans): Int�gration fr�quente de nouvelles versions de cha�nes de traitement Outils d�expertise et debug indispensables Besoin d�une version de validation du syst�me Besoin de standardiser l�int�gration de cha�nes Caract�ristiques principales des segments sols

6. CCT OPS&SIL �Supervision des segments sols � 12/05/2011 6 Adaptation � des configurations tr�s diff�rentes Le dimensionnement d�un centre est chaque fois sp�cifique mais toujours en forte augmentation / missions pr�c�dentes: Traitement de 2 � 10 passages par jour variant de 1mn � 8mn de TMI Traitement de 8 GO � 300 Go de TMI � traiter /jour => volumes de donn�es de plus en plus cons�quents (*10 tous les 10 ans) D�lais de mise � disposition des produits de plus en plus courts 40mn pour ortho-image, 160mn pour une mosa�que PHR Ex�cution d�une cha�ne peut aller de quelques minutes (inventaire urgent) � plusieurs heures, plusieurs jours pour Gaia Nombre de traitements par jour De 40 � 330 productions /jour (nombre max toujours en augmentation) pour Pl�iades soit 60 000 processus LAI ex�cut�s /jour Pour une cha�ne le nb de processus mis en ex�cution (ie : mosa�que) peut atteindre plusieurs milliers (2000 � 3000), Plateformes cibles compos�es de 7 � 52 n�uds de calcul pour PHR, 150 n�uds pour Gaia => 416 cores (ou 416 traitements ex�cut�s en //) pour PHR => 1200 pour Gaia Archivage STAF / Robotique RIMAGE/ Disque 24 To de stockage en ligne et jusque 560 Go archiv�s au STAF par jour pour PHR => 150To /an (1,5 Po en 10 ans) => parall�lisation indispensable avec optimisation des ressources en dynamique Ind�pendance vis-�-vis de la plateforme cible: tout traitement doit pouvoir s�ex�cuter sur n�importe quel serveur (pas de logiciel install� sur les serveurs mais sur un SAN) Param�trisation importante / difficult� de mettre au point les configurations de chaque centre

7. CCT OPS&SIL �Supervision des segments sols � 12/05/2011 7 Fonctions majeures de la supervision En amont : Description des workflows Installation , administration, Configuration Chef d�orchestre du syst�me ou ��Moteur d�Orchestration�� Gestion des �v�nements d�clencheurs Pilotage et surveillance en temps r�el de tous les traitements Surveillance des ressources mat�rielles G�rer l�ex�cution des traitements => Int�gre un ��moteur de workflow�� Supervision : unique interface des utilisateurs avec le syst�me IHM multiposte S�paration entre Structure d�accueil et traitements d�velopp�s par ailleurs : labos / Algos g�n�riques t.q. LAI Pl�iades

8. CCT OPS&SIL �Supervision des segments sols � 12/05/2011 8

9. CCT OPS&SIL �Supervision des segments sols � 12/05/2011 9

10. CCT OPS&SIL �Supervision des segments sols � 12/05/2011 10 Moyens de description des workflows langage standardis� XML (e.g. BPEL, XPDL) conformit� aux ControlFlow patterns du WfMC (Workflow Management Coalition): s�quence, Parallel split, synchronisation, choice, Simple merge, loop, 3 patterns de multiple instances (parall�lisation d�ex�cution), Cancel Task, Cancel Workflow rajout d�un workflow par configuration

11. CCT OPS&SIL �Supervision des segments sols � 12/05/2011 11 Description de workflow (suite) Une �tape peut �tre impl�ment�e soit�: par un web service, par un/des processus UNIX de traitement, par l�invocation d�une interface propri�taire d�un sous-syst�me externe (ie�: STAF, SEM, SEF, �). Fichiers de configuration pour chaque plan de travail : place disque n�cessaire, priorit� d�ex�cution , infos d�avancement, traitements sur les donn�es g�n�r�es Phoebus orchestre des web services qui impl�mentent des traitements algorithmiques ou des services de gestion de donn�es (i.e. : archive, catalogue,�). Il int�gre un serveur web "g�n�rique" �(Mars) d'ex�cution de traitements algorithmique impl�ment�s par des processus conformes soit aux interfaces CNES ou ESA (JobOrder).

12. CCT OPS&SIL �Supervision des segments sols � 12/05/2011 12

13. CCT OPS&SIL �Supervision des segments sols � 12/05/2011 13 Le moteur de workflow Mise en ex�cution des workflows : automatique (r�ception fichier / p�riodique / web service / plan op�rationnel) manuelle via une IHM gestion de la priorit� (mode super-prioritaire) gestion du load-balancing Adaptation � des architectures centralis�es ou r�parties G�rer la complexit� des enchainements de t�ches d�clencher automatiquement un encha�nement s�quentiel de plans de travail.

14. CCT OPS&SIL �Supervision des segments sols � 12/05/2011 14 Job Management mise en ex�cution des exe sur une ferme / cluster banalis� / h�t�rog�ne en fonction : de la puissance de calcul / RAM n�cessaire de la version de l�OS, du niveau de parall�lisation requis (plusieurs instances en //) Serveur DRM (Distributed Resources Management) => Torque/Maui Gestion de l�ex�cution des processus

15. CCT OPS&SIL �Supervision des segments sols � 12/05/2011 15 Surveiller le bon fonctionnement du syst�me IHM de suivi du d�roulement des traitements automatiques => Avancement au niveau cha�ne et au niveau �tape de traitement (voir slide suivant) IHM de surveillance des ressources mat�rielles Occupation des ressources �tats et param�tres: occupation disque, m�moire, d�tection des indisponibilit�s, d�passement des seuils M&C des sous-syst�mes int�gr�s Arr�t/d�marrage/ suivi �tat

16. CCT OPS&SIL �Supervision des segments sols � 12/05/2011 16

17. CCT OPS&SIL �Supervision des segments sols � 12/05/2011 17 Actions de contr�le sur les traitements IHM op�rateur : D�clenchement de fili�res manuelles de re-traitement de TMI sur une plage de temps pour prendre en compte: une nouvelle version de code corrigeant des anomalies bord ou sol de nouveaux param�tres syst�me Perte de donn�e Production � la demande pour: une commande urgente tester une nouvelle version Importer/exporter des donn�es vers un autre centre Quelques op�rations manuelles � ins�rer comme une �tape: Contr�le d�image finale V�rification et reprise de masque de couverture nuageuse Des actions op�rateur pour des �changes de donn�es Montage/d�montage de m�dia pour imports/exports Chargement de robot m�dia vierges Interventions en cas d�anomalies Contr�le de l�ex�cution des traitements : arr�t, reprise, re-planification, annulation D�clenchement de workflow d�expertise Mode debug pas � pas, points de reprise Outils d�Investigation d�anomalies bord ou sol R�cup�ration de logs ou CR d�ex�cution de traitements termin�s IHM de contr�le pour des utilisateurs �experts� IHM permettant d�alerter l�utilisateur (actions, Logs, Rapports)

18. CCT OPS&SIL �Supervision des segments sols � 12/05/2011 18 Le projet Phoebus Lot A (2010) : Etude Lot A1 (06-07/2010): D�finir une terminologie unique D�terminer les besoins fonctionnels d�un syst�me de Supervision => rapport disponible : exigences d�un Phoebus �complet� Lot A2 (08-09/2010): Etude des Standards => rapport disponible et riche => � analyser Lot A3 (09-10/2010): Evaluation des �volutions de la Supervision R�utilisable IPU => rapport disponible => priorisation LOT B (2011): R�alisation Version Phoebus V1 livr�e mi-juin 2011 Am�liorer, simplifier et automatiser l�installation et la configuration L�outillage : IzPack IHM de configuration => Eclipse/RCP Am�liorer le processus de g�n�ration : Maven Rendre ind�pendant de l�architecture : int�gration de la souche du composant Mars d�velopp� pour le projet GAIA pour �x�cution des processus via le DRM Torque-Maui Int�gration architecture NAS Int�gration de l�interface ESA Task Table et JobOrder

19. CCT OPS&SIL �Supervision des segments sols � 12/05/2011 19 R�alisation Phoebus (Lot B suite) Int�gration de l�interface ESA (cf. IPF Guidelines) Task Table et JobOrder (V1) 1 Task Table correspond � un step de workflow = entit� autonome d�ex�cution R�alisation d�un convertisseur qui transforme le format XPDL/Task Table dans le format des fichiers g�r�s par le Moteur d�Orchestration (graphe, step, dynamic parameters, �.) Int�gration d�une chaine VENUS Evolutions pour V2 fin 2011 encore � d�finir : remplacement Chainsaw ? Standardisation des logs IHM de suivi de lots de traitements sur plusieurs jours ? D�clenchements complexe sur plusieurs conditions ? Autres versions en 2012 r�trofits issus de Gaia : d�but 2012 impl�mentation de plans d�op�rations non g�n�riques pour production par lots) IHM de surveillance Torque/Maui Reprise �tape en erreur lorsque parall�lis�e R�trofits issus du d�v PDGS Sentinel2 IHM Web D�clenchement par socket (traitement flux t�l�mesure) et webservices au standard HMA Outils de test et int�gration d�algos

20. CCT OPS&SIL �Supervision des segments sols � 12/05/2011 20 Retour d�exp�rience et Recommandations Internationalisation : co�te cher si trop tard Prototypage IHM et ergonomie: tout �crire, rien ne peut �tre consid�r� comme standard de fait Besoin d�unifier la terminologie (voir rapport lot A1) Besoin de standardiser le format et le contenu des messages de log et d�un outil de consultation �ergonomique� => N�cessit� de sp�cifier les logs de mani�re d�taill�e dans les STB ou par sessions de prototypage Gain de temps important sur l�int�gration d�algos gr�ce � une standardisation des interfaces (voir ESA IPF Guidelines, interfaces LAI Pl�iades) Sp�cifier un produit r�utilisable n�est pas suffisant et difficult� de sp�cifier un produit g�n�rique. Le produit Phoebus est modulaire, configurable, inter-op�rable, g�n�rique outil prometteur avec des possibilit�s d��volution importantes Pr�t pour des d�mos � partir de juin