Introduction aux Grilles de Calcul

1. Introduction aux Grilles de Calcul Journées du Parallélisme 2005 UTIC - Heithem ABBES 28-04-2005

2. Plan • Introduction. • Avantages des grilles de calcul. • Applications des grilles de calcul. • Évolution technologique et économique. • Caractéristiques de la grille. • Architecture de la grille. • Problématique de recherche. Introduction aux Grilles de Calcul

3. Introduction (1/2) • Inspiration de la grille d’électricité (power grid) • Disponibilité universelle et économie viable. • Par analogie: • une infrastructure matérielle et logicielle • Accès fiable, cohérent et bon marché à des capacités de stockage et de calcul. Introduction aux Grilles de Calcul

4. Introduction (2/2) • Grille de calcul (Grid Computing) • coordinated resource sharing and problem solving in dynamic, multi-institutionalvirtual organizations (VO). [I.Foster] • VO : • Groupement d’utilisateurs selon leurs différents besoins et intérêts. • Politique. • Offre une grille de calcul pour ses utilisateurs. Introduction aux Grilles de Calcul

5. Avantages des grilles de calcul • Exploiter les ressources sous utilisées • Taux d’utilisation des PC et des stations de travail • 30% (milieux académiques et industriels) • 5% (machines grand public) • Meilleure utilisation de certaines ressources • Partage des ressources spéciales • Équipements spécifiques (microscope, bras robotique…) • Logiciels dont le prix de la licence est élevé. • Fournir une importante capacité de calcul parallèle • Assurer la fiabilité et la disponibilité des services • Dispersion géographique des ressources • Mécanismes de contrôle et de gestion • Fiabilité • Continuité Introduction aux Grilles de Calcul

6. Applications des grilles de calcul (1/6) • Supercalculateur réparti (Distributed supercomputing) • Agréger une importante quantité de ressources • Fournir une puissance de calcul • Calcul haut-débit (High-Throughput Computing) • Exécution parallèle des tâches. • Calcul sur demande (On-Demand Computing) • Utilisation temporaire de ressources • Possession permanente n’est pas rentable. • Capacités de calcul, logiciels, bases de données… Introduction aux Grilles de Calcul

7. Applications des grilles de calcul (2/6) • Calcul Collaboratif (Collaborative Computing) • Interaction entre humains. • Environnements de simulation en temps réel. • Systèmes de réalité virtuelle à objectifs éducatifs. • Génération, traitement et stockage d’énormes quantités de données (Dataintensive Computing) • Stockage d’une quantité importante d’informations générées. Introduction aux Grilles de Calcul

8. Applications des grilles de calcul (3/6) • CERN (European Organization for Nuclear Research) • Large Hardron Collider (LHC) en 2007 • Plus puissant accélérateur des particules qui n’a jamais été construit. • 15 Péta byte chaque année • LHC Computing grid (LCG) • 5200 CPU • 7,5 TB capacité du stockage • 68 sites [ERCIM NEWS, OCTOBER 2004] Introduction aux Grilles de Calcul

9. Applications des grilles de calcul (4/6) • SETI@home • Recherche de l’Intelligence Extraterrestre. • programme qui télécharge et analyse les données du télescope de la radio. Introduction aux Grilles de Calcul

10. Applications des grilles de calcul (5/6) • Prédiction de climat • Simulation pour la prévision du météo à long terme. • 12 semaines pour certaines simulations. Introduction aux Grilles de Calcul

11. Applications des grilles de calcul (6/6) • Bioinformatique • Simulation des molécules et l’analyse de génome et d’ADN. Introduction aux Grilles de Calcul

12. Évolution technologique et économique • Les applications scientifiques demandent: • Rapidité. • Puissance calculatoire. • Grande mémoire. • Machine parallèle • Super-calculateurs • Inconvénients: • Coût !!! • Performance • Évolution des performances • Serveurs de calcul et de stockage • Technologies réseaux et la bande passante Introduction aux Grilles de Calcul

13. Évolution technologique et économique • Réseaux vs. Performance des PC • La vitesse des CPU double tous les 18 mois. • La vitesse de débit double tous les 9 mois. • 1986 - 2000 • PC: x 500 • Réseaux: x 340,000 • 2001 - 2010 • PC: x 60 • Réseaux: x 4000 Moore’s Law vs. storage improvements vs. optical improvements. Graph from Scientific American (Jan-2001) by Cleo Vilett, source Vined Khoslan, Kleiner, Caufield and Perkins. Introduction aux Grilles de Calcul

14. Évolution technologique et économique Autrefois… Super-calculateur Cluster (par Christophe Jacquet) Introduction aux Grilles de Calcul

15. Évolution technologique et économique …Aujourd’hui (par Christophe Jacquet) Modèle informatique réparti : Grid Computing Introduction aux Grilles de Calcul

16. Caractéristiques des grilles de calcul • Les principales caractéristiques des grilles de calcul: • Existence de plusieurs domaines administratifs • Distribution géographique des ressources. • Différentes organisations avec leurs propres politiques. • Respecter les politiques de chaque organisation. • Hétérogénéité des ressources • Matérielles et logicielles • Passage à l’échelle (scalability) • Contraintes sur les applications et les algorithmes de gestion de ressources. • Nature dynamique des ressources • Changement du nombre de ressources (retrait/ajout) • Tolérance aux pannes Introduction aux Grilles de Calcul

17. Caractéristiques d’une grille de calcul Grille de calcul & Grappe de calculateurs • Plusieurs institutions • Plusieurs domaines administratifs • Hétérogénéité des ressources • Passage à l’échelle • Dynamicité • Une seule institution • Un seul domaine administratif Introduction aux Grilles de Calcul

18. Architecture d’une grille • Modèle en couches. • Couches hautes axées sur l'utilisateur. • Couches basses plus orientées vers les ordinateurs et les réseaux. Introduction aux Grilles de Calcul

19. Architecture d’une grille • Couche réseau : • Connectabilité des ressources sur la grille. • Niveau matériel Introduction aux Grilles de Calcul

20. Architecture d’une grille • Couche ressources : • constituée des ressources de la grille, • Ordinateurs, systèmes de mémoire, catalogues de données électroniques, capteurs, télescopes… Introduction aux Grilles de Calcul

21. Architecture d’une grille • Couche intergiciel : • Ensemble de fonctions permettant aux ressources (serveurs, mémoires, réseaux, etc.) de participer à un contexte de grille unifié. • le cerveau de la grille ! • Gestion de ressources • Ordonnancement (scheduling) • Réservation • Services d’information. Introduction aux Grilles de Calcul

22. Architecture d’une grille • Couche application : située au niveau le plus élevé qui comprend: • Types d’applications: scientifiques, techniques, gestion, financières, portails… • C'est la couche des utilisateurs de la grille. Introduction aux Grilles de Calcul

23. CertificateAuthorities UserAccounts Services (1/3) • Service de sécurité et d’authentification • Garantir la confidentialité, l’intégrité et l’authentification • Clé de réussite ou d’échec de la grille • Service de désignation • Grande variété d’objets (ordinateurs, services, données) • Espace de noms uniforme et complet à travers l’environnement distribué. Introduction aux Grilles de Calcul

24. Services (2/3) • Service d’information • Environnement dynamique (endroit et type des ressources) • Nécessité de la disponibilité des ressources indépendamment de l’emplacement de l’utilisateur. • Environnement riche en informations sur la grille • Fournir des moyens pour enregistrer et obtenir des informations sur la structure, les services, statut… Introduction aux Grilles de Calcul

25. Services (3/3) • Service de communication • Protocoles variés prévus pour différents types de trafic • Qualité de service • Garantie de la bande passante. • Gestion des ressources et ordonnancement • Transparence pour l’utilisateur • Optimisation des performances • Service de suivie de l’état de la grille et la tolérance aux pannes. Introduction aux Grilles de Calcul

26. System management Data locality Scheduling and resources allocation Outils pour la gestion de grille Economy Security Uniform access Ressources discovery Network Management Introduction aux Grilles de Calcul

27. Étapes de déploiement d’une grille • Intégration des différents composants matériels et logiciels en une ressource globale à travers le réseau. • L’implémentation d’intergiciels offrant une vue transparente et consistante à cette ressource. • Développement d’outils permettant le contrôle et la gestion de l’infrastructure et des applications. • Développement d’applications exploitant cette infrastructure. Introduction aux Grilles de Calcul

28. Grid Grid Economy Scheduling Economics Problématiques de recherche • Gestion de ressources (Ressources Management) • Ordonnancement  Économique • Gestion des données (Data Management) • Découverte des services et des ressources. Introduction aux Grilles de Calcul

29. Problématiques de recherche • Qualité de service (QOS) • Réservation et co-allocation • Datamining & Grid Computing • Operating System ??? Introduction aux Grilles de Calcul

30. Grid Computing, une nouvelle vague! Introduction aux Grilles de Calcul