G lobalisation des R essources I nformatiques et des D onnées Madeleine - Marcel

1. Projet LogicielRMI Globalisation des Ressources Informatiques et des DonnéesMadeleine - Marcel Olivier AumageRaymond Namyst LIP - ENS Lyon Olivier.Aumage@ens-lyon.fr

2. Introduction Madeleine Marcel

3. Myrinet VTHD VTHD SCI … Architecture du projet Couplage de code de simulation C3D Croissance de plantes ProActivePDC PaCO++ OpenCCM Do! GK MPI DSM Mome Java VM CORBA PadicoTM Madeleine Marcel

4. Myrinet VTHD VTHD SCI … Architecture du projet Couplage de code de simulation C3D Croissance de plantes ProActivePDC PaCO++ OpenCCM Do! GK MPI DSM Mome Java VM CORBA PadicoTM Madeleine Marcel

5. Madeleine, Marcel, PM2 Application Interface PM2 DSM-PM2 • Point d’entrée • Gestion des RPC • Mémoire virtuellement partagée Iso-malloc • Allocation de mémoire iso-adresses Marcel Madeleine Net-Toolbox Toolbox • Listes • Hâchages • Tableaux dyn. • Arguments • Chaînes • Allocateur rapide • Macros • Gestion des threads • Migration • Exploitation des nœuds SMP • Scheduler activations • Synchronisation • Détection d’événements • Gestion des communications • Paradigme de type passage de message • Support pour RPC et migration • Gestion de session • Interface générique • Communication de contrôle • Routines TCP

6. Madeleine, Marcel Application Interface PM2 DSM-PM2 • Point d’entrée • Gestion des RPC • Mémoire virtuellement partagée Iso-malloc • Allocation de mémoire iso-adresses Marcel Madeleine Net-Toolbox Toolbox • Listes • Hâchages • Tableaux dyn. • Arguments • Chaînes • Allocateur rapide • Macros • Gestion des threads • Migration • Exploitation des nœuds SMP • Scheduler activations • Synchronisation • Détection d’événements • Gestion des communications • Paradigme de type passage de message • Support pour RPC et migration • Gestion de session • Interface générique • Communication de contrôle • Routines TCP

7. Madeleine • Interface générique de communication • Support réseau • Gestion de session • Efficacité • Portabilité • Richesse fonctionnelle • Simplicité

8. Caractéristiques Adaptativité • Protocoles multi-paradigmes • VIA message passing, remote DMA • SCI shared memory, DMA • Protocoles à tampons statiques • SBP • Protocoles multi-modes • BIP messages courts/longs Exhaustivité • Support multi-protocole • Support multi-adaptateur

9. Architecture • Approche modulaire • Module de gestion de tampon (MGT) • Module de transmission (MT) Interface MGT MGT Gestion des tampons MT MT MT Gestion de protocole Réseau

10. GRID-RMI: trois axes • Communications • Support des architectures multi-grappes et grilles de grappes • Routage • Multiplexage • Dynamicité • Réactivité • Support au niveau de l’ordonnanceur de threads • Agrégation de requêtes de scrutation • Ajustement de fréquence • Analyse • Gestion de traces et visualisation de chronologies

11. Communications multi-grappes Routage Déploiement

12. Réseauà haut débit Réseau haute performance Réseau haute performance Support multi-grappe • Exploitation des Grappes de grappes • Réseaux intra-grappes rapides • Liens inter-grappes rapides • Hétérogénéité au niveau réseau

13. Virtuel SCI Myrinet Principe • Canaux réels • Liés à un réseau • Ne couvrent pas nécessairement tous les noeuds • Canaux virtuels • Couvrent tous les noeuds • Contiennent plusieurs canaux réels

14. LANai Réseau Myrinet Réseau SCI Mémoire Bus PCI Machine Fonctionnement • Support des retransmissions multi-réseau • Négotiation de MTU • Routes statiques • Gestion multi-threadée • Prise en charge générique

15. Ré-émission Tampon 1 Tampon 2 Réception Préservation du débit • Pipeline • Réception et ré-émission simultanée avec 2 tampons • Une copie • Même tampon pour la réception et la ré-émission LANai

16. Intégration • Module de transmission générique • Limitation du code traversé sur les passerelles Interface MGT MGT Gestion des tampons MT générique MT MT MT Gestion de protocole Réseau

17. Déploiement • Démarrage de session • Une approche modulaire • Flexibilité • Extensibilité • Deux modules • Madeleine • Communications • Léonie • Contrôle de session

18. Léonie • Sessions • Configurations multi-grappes • Lancement unifié • Déploiement en rafale • Support pour lanceurs optimisés • Réseau • Constructions des tables d’information • Répertoire des processus • Tables de routages des canaux virtuels • Ordonnancement • Initialisation des cartes, ouverture des canaux

19. Infrastructure Madeleine Léonie

20. Résumé des problèmes • Multiplexage • Connexion complète des canaux réels inadaptée • Consommation de ressources • Routage • Routes statiques • Pas de dynamicité • Routes uniques • Risques de déséquilibres • Contrôle de flux • Contentions sur les bus des passerelles • Adéquation du déploiement ?

21. Dynamicité Support d’architectures évolutives

22. Points clés Granularité • Niveau processus • Niveau grappes La dynamicité a un coût • Scrutations supplémentaires • Prise en compte du changement de topologie La dynamicité est parfois impossible • Interfaces de communication à lanceur propriétaire • Interfaces sans primitives/potentiel de connexion dynamique

23. Changement de topologie • Propagation à toute la configuration • Serveur Léonie • Processus applicatifs • Deux conséquences • Vraisemblablement une synchronisation globale • Impact fort sur l’exécution • Prise en charge d’événements asynchrones de Léonie sur les nœuds applicatifs • Nécessité d’un thread dédié • Verrouillages délicats

24. Changement de topologie Cas du routage multi-réseau • Nécessité d’un recalcul des routes par Léonie • Opération coûteuse • Problème pour les blocs de données en transit sur les passerelles • Routage dynamique ? • Ordre des messages • Refaire IP ?

25. Conclusion – support dynamicité • Réalisable • pour une dynamicité à gros grain (grappes) • pour une faible dynamicité au niveau processus • Prohibitif • pour une forte dynamicité au niveau processus • Impossible • Interfaces à lanceurs spécifiques • Interfaces sans possibilités de connexions dynamiques • MPI, BIP

26. Réactivité Threads et scrutations

27. Support actuel • Interaction avec l’ordonnanceur de threads Marcel • Agrégation de requêtes • Agrégations par canal • Requêtes de niveau bas • Pas de réentrance • Fréquence de scrutation • Contrôle à très gros grain • Timer, yields, idle • Pas de réglages de la fréquence par rapport au réseau

28. Principe Processus Réseau Noeud Processus LANai Marcel Thread Processus

29. Objectifs • Prise en charge des requêtes • Scrutations multi-niveau • Meilleure prise en charge de la retransmission sur les passerelles • Scrutations vs. interruptions • Solution mixte ? • Fréquence de scrutation • Favoriser la scrutation fréquente des réseaux efficaces • Notion de priorité des requêtes

30. Analyse Enregistrement de traces Visualisation de chronologies

31. Support actuel • Outils • FKT • Fast Kernel Trace • FUT • Fast User Trace • Supertrace • Unification des données FKT/FUT • Sigmund • Analyse des résultats • Status ?

32. Thread Principe Marcel Processus

33. Thread Principe Mode utilisateur Marcel Processus Mode noyau

34. Thread Principe Mode utilisateur Marcel Processus Mode noyau

35. Thread Principe Mode utilisateur FUT Marcel Processus FKT Mode noyau

36. Thread Supertrace Principe Mode utilisateur FUT Marcel Processus FKT Mode noyau

37. Thread Supertrace Principe Mode utilisateur FUT Marcel Sigmund Processus FKT Mode noyau

38. Objectifs • Mise à jour/finalisation des outils existants • Meilleure interface pour les traces applicatives • Evénements de haut niveau • Outil de visualisation « intelligent » • Chronologie multi-thread/multi-lwp • Communications • Traitement sémantique des informations ? • Support générique • Intégration des traces applicatives et middleware • Interface graphique ?

39. Conclusion GRID-RMIMadeleine/Marcel

40. Conclusion Travaux prévus à trois niveaux • Communications multi-grappes/grilles de grappes • Extension des mécanismes de routage • Réactivité et multi-threading • Méthodes de scrutation avancées • Outils d’analyse • Enregistrement de traces • Visualisation d’événements