1 / 41

G lobalisation des R essources I nformatiques et des D onnées Madeleine - Marcel

Projet Logiciel RMI. G lobalisation des R essources I nformatiques et des D onnées Madeleine - Marcel. O livier Aumage Raymond Namyst LIP - ENS Lyon Olivier.Aumage@ ens-lyon.fr. Introduction. Madeleine Marcel. Myrinet. VTHD. VTHD. SCI. …. Architecture du projet.

Télécharger la présentation

G lobalisation des R essources I nformatiques et des D onnées Madeleine - Marcel

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript


  1. Projet LogicielRMI Globalisation des Ressources Informatiques et des DonnéesMadeleine - Marcel Olivier AumageRaymond Namyst LIP - ENS Lyon Olivier.Aumage@ens-lyon.fr

  2. Introduction Madeleine Marcel

  3. Myrinet VTHD VTHD SCI … Architecture du projet Couplage de code de simulation C3D Croissance de plantes ProActivePDC PaCO++ OpenCCM Do! GK MPI DSM Mome Java VM CORBA PadicoTM Madeleine Marcel

  4. Myrinet VTHD VTHD SCI … Architecture du projet Couplage de code de simulation C3D Croissance de plantes ProActivePDC PaCO++ OpenCCM Do! GK MPI DSM Mome Java VM CORBA PadicoTM Madeleine Marcel

  5. Madeleine, Marcel, PM2 Application Interface PM2 DSM-PM2 • Point d’entrée • Gestion des RPC • Mémoire virtuellement partagée Iso-malloc • Allocation de mémoire iso-adresses Marcel Madeleine Net-Toolbox Toolbox • Listes • Hâchages • Tableaux dyn. • Arguments • Chaînes • Allocateur rapide • Macros • Gestion des threads • Migration • Exploitation des nœuds SMP • Scheduler activations • Synchronisation • Détection d’événements • Gestion des communications • Paradigme de type passage de message • Support pour RPC et migration • Gestion de session • Interface générique • Communication de contrôle • Routines TCP

  6. Madeleine, Marcel Application Interface PM2 DSM-PM2 • Point d’entrée • Gestion des RPC • Mémoire virtuellement partagée Iso-malloc • Allocation de mémoire iso-adresses Marcel Madeleine Net-Toolbox Toolbox • Listes • Hâchages • Tableaux dyn. • Arguments • Chaînes • Allocateur rapide • Macros • Gestion des threads • Migration • Exploitation des nœuds SMP • Scheduler activations • Synchronisation • Détection d’événements • Gestion des communications • Paradigme de type passage de message • Support pour RPC et migration • Gestion de session • Interface générique • Communication de contrôle • Routines TCP

  7. Madeleine • Interface générique de communication • Support réseau • Gestion de session • Efficacité • Portabilité • Richesse fonctionnelle • Simplicité

  8. Caractéristiques Adaptativité • Protocoles multi-paradigmes • VIA message passing, remote DMA • SCI shared memory, DMA • Protocoles à tampons statiques • SBP • Protocoles multi-modes • BIP messages courts/longs Exhaustivité • Support multi-protocole • Support multi-adaptateur

  9. Architecture • Approche modulaire • Module de gestion de tampon (MGT) • Module de transmission (MT) Interface MGT MGT Gestion des tampons MT MT MT Gestion de protocole Réseau

  10. GRID-RMI: trois axes • Communications • Support des architectures multi-grappes et grilles de grappes • Routage • Multiplexage • Dynamicité • Réactivité • Support au niveau de l’ordonnanceur de threads • Agrégation de requêtes de scrutation • Ajustement de fréquence • Analyse • Gestion de traces et visualisation de chronologies

  11. Communications multi-grappes Routage Déploiement

  12. Réseauà haut débit Réseau haute performance Réseau haute performance Support multi-grappe • Exploitation des Grappes de grappes • Réseaux intra-grappes rapides • Liens inter-grappes rapides • Hétérogénéité au niveau réseau

  13. Virtuel SCI Myrinet Principe • Canaux réels • Liés à un réseau • Ne couvrent pas nécessairement tous les noeuds • Canaux virtuels • Couvrent tous les noeuds • Contiennent plusieurs canaux réels

  14. LANai Réseau Myrinet Réseau SCI Mémoire Bus PCI Machine Fonctionnement • Support des retransmissions multi-réseau • Négotiation de MTU • Routes statiques • Gestion multi-threadée • Prise en charge générique

  15. Ré-émission Tampon 1 Tampon 2 Réception Préservation du débit • Pipeline • Réception et ré-émission simultanée avec 2 tampons • Une copie • Même tampon pour la réception et la ré-émission LANai

  16. Intégration • Module de transmission générique • Limitation du code traversé sur les passerelles Interface MGT MGT Gestion des tampons MT générique MT MT MT Gestion de protocole Réseau

  17. Déploiement • Démarrage de session • Une approche modulaire • Flexibilité • Extensibilité • Deux modules • Madeleine • Communications • Léonie • Contrôle de session

  18. Léonie • Sessions • Configurations multi-grappes • Lancement unifié • Déploiement en rafale • Support pour lanceurs optimisés • Réseau • Constructions des tables d’information • Répertoire des processus • Tables de routages des canaux virtuels • Ordonnancement • Initialisation des cartes, ouverture des canaux

  19. Infrastructure Madeleine Léonie

  20. Résumé des problèmes • Multiplexage • Connexion complète des canaux réels inadaptée • Consommation de ressources • Routage • Routes statiques • Pas de dynamicité • Routes uniques • Risques de déséquilibres • Contrôle de flux • Contentions sur les bus des passerelles • Adéquation du déploiement ?

  21. Dynamicité Support d’architectures évolutives

  22. Points clés Granularité • Niveau processus • Niveau grappes La dynamicité a un coût • Scrutations supplémentaires • Prise en compte du changement de topologie La dynamicité est parfois impossible • Interfaces de communication à lanceur propriétaire • Interfaces sans primitives/potentiel de connexion dynamique

  23. Changement de topologie • Propagation à toute la configuration • Serveur Léonie • Processus applicatifs • Deux conséquences • Vraisemblablement une synchronisation globale • Impact fort sur l’exécution • Prise en charge d’événements asynchrones de Léonie sur les nœuds applicatifs • Nécessité d’un thread dédié • Verrouillages délicats

  24. Changement de topologie Cas du routage multi-réseau • Nécessité d’un recalcul des routes par Léonie • Opération coûteuse • Problème pour les blocs de données en transit sur les passerelles • Routage dynamique ? • Ordre des messages • Refaire IP ?

  25. Conclusion – support dynamicité • Réalisable • pour une dynamicité à gros grain (grappes) • pour une faible dynamicité au niveau processus • Prohibitif • pour une forte dynamicité au niveau processus • Impossible • Interfaces à lanceurs spécifiques • Interfaces sans possibilités de connexions dynamiques • MPI, BIP

  26. Réactivité Threads et scrutations

  27. Support actuel • Interaction avec l’ordonnanceur de threads Marcel • Agrégation de requêtes • Agrégations par canal • Requêtes de niveau bas • Pas de réentrance • Fréquence de scrutation • Contrôle à très gros grain • Timer, yields, idle • Pas de réglages de la fréquence par rapport au réseau

  28. Principe Processus Réseau Noeud Processus LANai Marcel Thread Processus

  29. Objectifs • Prise en charge des requêtes • Scrutations multi-niveau • Meilleure prise en charge de la retransmission sur les passerelles • Scrutations vs. interruptions • Solution mixte ? • Fréquence de scrutation • Favoriser la scrutation fréquente des réseaux efficaces • Notion de priorité des requêtes

  30. Analyse Enregistrement de traces Visualisation de chronologies

  31. Support actuel • Outils • FKT • Fast Kernel Trace • FUT • Fast User Trace • Supertrace • Unification des données FKT/FUT • Sigmund • Analyse des résultats • Status ?

  32. Thread Principe Marcel Processus

  33. Thread Principe Mode utilisateur Marcel Processus Mode noyau

  34. Thread Principe Mode utilisateur Marcel Processus Mode noyau

  35. Thread Principe Mode utilisateur FUT Marcel Processus FKT Mode noyau

  36. Thread Supertrace Principe Mode utilisateur FUT Marcel Processus FKT Mode noyau

  37. Thread Supertrace Principe Mode utilisateur FUT Marcel Sigmund Processus FKT Mode noyau

  38. Objectifs • Mise à jour/finalisation des outils existants • Meilleure interface pour les traces applicatives • Evénements de haut niveau • Outil de visualisation « intelligent » • Chronologie multi-thread/multi-lwp • Communications • Traitement sémantique des informations ? • Support générique • Intégration des traces applicatives et middleware • Interface graphique ?

  39. Conclusion GRID-RMIMadeleine/Marcel

  40. Conclusion Travaux prévus à trois niveaux • Communications multi-grappes/grilles de grappes • Extension des mécanismes de routage • Réactivité et multi-threading • Méthodes de scrutation avancées • Outils d’analyse • Enregistrement de traces • Visualisation d’événements

More Related