D-Grid Grundlage für e-Science in Deutschland Harald Kornmayer Institut für wissenschaftliches Rechnen Forschungszentrum

1. D-Grid Grundlage für e-Science in Deutschland Harald Kornmayer Institut für wissenschaftliches Rechnen Forschungszentrum Karlsruhe

2. Agenda • e-Science • e-Science in Deutschland • D-Grid Initiative • Community Projekte • D-Grid Integration Projekt • Zusammenfassung und Ausblick

3. e-Science – ein Beispiel • Johannes Kepler • hervorragender Mathematiker • Kurzsichtig • Tycho Brahe • exzellenter Beobachter

4. e-Science - Randbedingungen • Wissenschaftler arbeiten • verteilt in verschiedenen Gruppen/Institutionen • mit schnellen Netzwerken (Internet), großen Datenspeichern und leistungsfähigen Rechenressourcen • mit immer größer werdenden Informationsquellen/Datenmengen • Wissenschaftler brauchen Unterstützung in ihrer täglichen Arbeit • Abbildung „ihrer wissenschaftlichen“ Workflows • Entwicklung neuer, vernetzter wissenschaftlicher Workflows über Institutsgrenzen hinweg

5. e-Science - Vision Um ein wissenschaftliches Problemgemeinsam zu lösen, können die verteilten Ressourcen der Wissenschaftler dynamisch und koordiniertmit Hilfe schneller Netzwerke zu „virtuellen“ Rechenzentren/Organisationen verbunden werden • Ressourcen: • Rechenkapazitäten • Anwendungen • Datenarchive • Ressourcen bleiben unter Kontrolle des Besitzers/Betreibers • Virtuelle Rechenzentren / • Virtuelle Organisationen: • begrenzte Lebensdauer (von Tagen bis Jahren) • Verantwortlich für den Einsatz der Ressourcen • Beziehung zu den Ressourcenbetreibern

6. e-Science “e-Science will change the dynamic of the way science is undertaken“ John Taylor, Director General of UK Research Councill • Unterstützung in der täglichen Arbeit von Wissenschaftler: • Welche Frage stelle ich „heute“? • Stimmt die Hypothese/das Modell A mit den Daten des Experimentes X unter Verwendung der Analysemethode M? • Was mache ich gerade? • Starte das Programm P mit den Eingabe-Daten I auf der Ressource R und speichere das Ergebnis J auf der Ressource Q • Was haben Kollegen schon gemacht? • Gibt es schon ähnliche Ergebnisse/Veröffentlichungen?  Aufbau einer (Grid-) Infrastruktur, um Antworten zu geben!

7. Grid/e-Science in Deutschland • Viele Institution haben an verschiedenen Forschungsprojekten teilgenommen • Deutschland ist wesentlichan der Entwicklung der UNICORE Middleware beteiligt. • Viele Länder starten nationale Grid Initiativen (klein  gross) • Aber Deutschland bildete weiterhin einen “weissen Fleck” auf der Grid-Landkarte

8. D-Grid – 2001 to 2003 • Einige Aktivitäten auf nationaler Ebene: • 2001: Am Forschungszentrum Karlsruhe wurde GridKa gestartet als großes Grid-Rechenzentrum für das LHC Computing Gridwww.gridka.de • 2002: Das BMBF veröffentlicht das Förderprogramm “IT-2006” um die Informations- technologie in Deutschland zu stärkenwww.it2006.de • 2002-2003: Die Idee einer nationalen Grid Initiative wurde vom Forschungszentrum Karlsruhe gestartet – der Name D-Grid eingeschossen – und viele Institutionen schließen sich an www.d-grid.de

9. D-Grid & e-Science • ~300 Wissenschaftler von ~100 Institutionen • In Arbeitsgruppen wurden die verschiedenen Aspekte von e-Science diskutiert  Ein „white paper“ wurde dem BMBF vorgelegt „e-Science in Germany“ • Diese Dokument wurde die Grundlage für das BMBF Förderprogramm für e-Science • Ziel der e-Science Initiative: “Aufbau einer Dienste Infrastruktur um das netz-basierte wissenschaftliche Arbeiten zu ermöglichen" • „e-Science“ beinhaltet drei verschiedene Gebiete: • Grid Computing • Knowledge management (Wissensvernetzung) • e-Learning

10. Knowledge Management & e-Learning • Knowledge Management / Wissensvernetzung • IT basiertes Verwalten und Benutzen von Information und Wissen • “Open access” für wissenschaftliche Informationen • eSciDoc (FIZ Karlsruhe & Max-Planck-Gesellschaft) • 6 Millionen Euro, 09/2004 - 08/2009 • Partnerprojekte der D-Grid Initiative • Ontoverse, WISENT, ImWissensnetz, … • e-Learning • e-Learning = Verwendung neuer Medien an Universitäten • Neue Methoden um das vorhandene Innovationspotential durch e-Learning und e-Teaching zu vergrößern •  Um Synergien zu generieren wird eine allgemeine Plattform benötigt  D-Grid

11. e-Science - Architektur e-Science Knowledge management e-Learning Grid Computing High Engery Physics Lifescience Engineering WISEM Project 1 Project 2 Astronomy Climate Social Science Ontoverse Wikinger … … … Allgemeine Plattform und allgemeine Grid-Dienste D-Grid Integrations-Projekt

12. D-Grid – Ziele Die D-Grid Initiative wird: • eine zuverlässige und nachhaltige Grid-Infrastruktur – die um das “Kern-D-Grid” aufgebaut wird - bereitstellen. • das “Kern-D-Grid” als Infrastruktur für neue e-Science Anwendungen ausbauen • Die Verwendbarkeit von Grid-Technologien durch verschiedene Communities nachweisen • Zu der Entwicklung von Grid-Middleware und Grid-Tools beitragen, indem die Anforderungen der wissenschaftlichen Communities berücksichtigt werden. • Existierende technische und Middleware-Lösungen aus dem internationalen Kontext (z.B. GGF, EGEE, UNICORE) verwenden • . . . . • Langfristiges Ziel: “Dienste für die Wissenschaft”

13. Grid specific Developments High Energy Physics Astrophysics Grid specific Developments Medicine and Lifesciences Grid specific Developments Climate Research Grid specific Developments Engineering Applications Grid specific Developments Grid specific Developments Social Science Community Grids …. CG Middle- ware CG Middle- ware CG Middle- ware CG Middle- ware CG Middle- ware CG Middle- ware Integration Project Generic Grid Middleware and Grid Services D-Grid – Projekte • Heute: 7 Projekte • 6 Community Projekte: • Astrophysik, Klimaforschung, Medizin, Ingenieurwissenschaften, Hochenergiephysik, Geisteswissenschaften • D-Grid Integration Projekt (DGI) • Etablierung der allgemein nutzbaren Plattform für e-Science

14. AstroGrid-D Ziele: • Aufbau einer deutschlandweiten Kollaborations-Umgebung für die Astronomische Forschung mit Hilfe von Grid- Technologie • Aufbau und Betrieb einer Grid Infrastruktur für die Astro-Community, um die Benutzung existierende Ressourcen zu optimieren • Etablierung von einfachen Zugriffsmethoden auf verteilte astronomische Daten-Archive • Integration von Astronomischen Instrumenten und Experimenten in diese Forschungsinfrastruktur • Enge Zusammenarbeit mit “International Virtual observatory Alliance” (IVOA)

15. AstroGrid-D • Internationale Projecte: • Planck Satellit • Lofar – radio astronomy • VO - Virtual Observatories • LIGO – Gravitational waves • Numerical relativity • …. • Arbeitspakete: • Management • Resource integration • Meta data management • Distributed data management • Distributed data base access and distributed data flows • Resource management for Grid-jobs • Job-monitoring and interactive job steering • User interface and Grid application toolkit • Technologie: • Gridshpere • Workflow Engine von der Planck satellite mission (Process Coordinator ProC) • Cactus • …

16. C3-Grid C3-Grid = Collaborative Climate Community Grid Ziele: • Zugang zu verteilten Klima-Daten Archiven • Etablierung von wissenschaftlichen “Workflows” für die Erderkundungs-Community • Aufbau einer produktiven Grid-Infrastruktur für die Klimaforschung in Deutschland • Integration von existierenden heterogenen Systemen (Computing-Ressourcen und Daten-Archive) • Ermöglichung von internationaler, globaler Zusammenarbeit

17. C3-Grid • Arbeitspakete: • User interfaces • Grid Information services • Access to distributed local databases/meta data bases • Pre-processing of data • Grid data management • Grid scheduling • C3 Grid infrastructure • Sustainable integration • Project management • Wissenschaftliche Workflows: • Modellierung von Erdsystemen(Klima, Ozeane, Biosphäre) • Zugriff auf Messdaten (Klassische Messungen, Satellitenmessungen) • Vergleich von • Modellen und Messungen • Modell A und Modell B • Daten-Zugriff ist wesentlich!! • Meta Daten • Verteilte Archive • Langzeit-Verfügbarkeit der Daten muss gewährleistet sein!!

18. HEP-Grid Ziele: • Entwicklung von Anwendungen und Komponenten für die Auswertung der Daten von internationalen Hochenergiephysik und Astroteilchen-Physik Experimenten in einer nationalen Grid-Umgebung • Integration in das existierende LCG-Achitekturmodell • Entwicklung von Komponenten für die verteilte Datenanalyse mit Hilfe von Grid-Ressourcen • Stärkung der Teilnahme in internationalen Grid-Projekten • Verwendung der gLite Middleware des EGEE Projekt • Drei Entwicklungs-Schwerpunkte: • Daten Management • Werkzeuge für Job Monitoring und automatischen Support • Verteilte Datenanalyse durch End-Benutzer („HEP-Physiker“)

19. InGrid • Innovative Grid developments for engineering science applications • Ziele: • Entwicklung von allgemeinen und anwendungsspezifischen Grid-Komponenten für die Ingenieurwissenschaften • Effiziente Nutzung von allgemeinen Ressourcen: • Modellierung • Simulation • Optimierung • Forschung in Grid-Grundlagen und Anwendungsbereichen • Zusammenarbeit mit der Industrie

20. InGrid • Anwendungen: • Fünf unterschiedliche Ingenieursdisziplinen • Gießereitechnik • Metallverformung • Strömungsphysik • Transportprozesse im Grundwasser • Magneto-hydrodynamische Koppelung • Methoden und Modelle: • Ingenieurwissenschaftliche Probleme sollen auf dem Grid gelöst werden • Wissensbasierte Unterstützung von Entscheidungsprozessen • Unterstützung von ingenieur-spezifischen Workflows • Optimierung von Produkten und Prozessen durch verteilte Simulationen • Grid Entwicklung • Sicherheits- und Vertrauensmodelle in ökonomischen Szenarien • Kooperations- and Geschäftsmodelle • Lizenzierung im Grid-Umfeld

21. MediGrid Ziele: • Demonstration der Nutzbarkeit von Grid-Diensten für die Medizin und “Life Science” durch das Verbinden von großen und hoch-dimensionalen Datensätzen • Aufbau einer Grid-Umgebung für die medizinische Forschung • Integration der Projekt-Ergebnisse in die generische D-Grid Plattform • MediGrid ist offen für neue medizinische Anwendungen

22. Data Data Data H eScience,Sicherheit, Internationalität Metadata Metadata Metadata ... A Koordinierung Zugriffskontrolle B Ontologie C Ressourcenfusion Nach Machbarkeit gepipelinede Projekte E Klassische BioInformatik E Biomed. Informatik F Bildver- arbeitung G Klinische Forschung Weitere, z.B. Forst- oder Geistes- Wissen- schaften D Middleware DGI MediGrid • Arbeitspakete: • Project management • Ontology tools • Resource fusion • Middleware • Enhanced Trust and Security • Medical e-Science framework • Legal aspects • Biometric aspects of highly dimensional data • Klinische Forschung • Biomedizinische Informatik • Bildverarbeitung

23. TextGrid Ziele: • Etablierung eines Community-Grid für die Textbasierte Forschung (Geisteswissenschaften) • Unterstützung von • Werkzeugen zur Text-Edition • Modulen für Text-Daten-Prozessierung • standardisierten Schnittstellen zu Publikationssoftware • Modulen zur Kontrolle und Überwachung von Zugriffen auf Text-Daten und Text-Daten-Werkzeugen • TextGrid zeigt Richtung zu “Semantic Grid”

24. DGI – D-Grid Integrations-Projekt Integration von • Entwicklungen anderer Projekte (UNICORE, EGEE,...) • Neuen Entwicklungen aus den D-Grid Communities  Etablierung einer allgemeine Plattform für e-Science • Inklusive der von den Communities benötigten Software • Bereitstellung einer zuverlässigen und nachhaltigen Grid-Infrastruktur  “Kern-D-Grid” • Betreiben von Grid-Diensten für neue Anwendungsfelder  um das langfristige Ziel zu erreichen: „Grid-, Wissensmanagment- and e-Learning Dienste für die Wissenschaft“

25. DGI – Integrationsprozess • Idee: • Die Community Grid (CG) Projekte entwickeln neue und verbesserte Dienste • DGI verallgemeinert und integriert die neuen Dienste in die allgemeine D-Grid Plattform • Arbeitsgruppen: • DGI koordiniert verschiedene Gruppen in Zusammenarbeit mit den CGs • Grid scheduling • Data & Meta data management • VO Management • AAI • Security Working Group 1 Working Group 2 Integration Project Working Group 3 Community One Community Two Community Three Working Group 4

26. DGI–FG1: Middleware & Tools Aufgaben: • Unterstützung der Communities • durch Training • durch Installationspakete • durch Migrations-Support für weitere Betriebssysteme • Koordinierung der Entwicklung von neuen Grid-Tools mit den Communities • Keine “Neuerfindung des Rades” Middleware: • Globus 4.x • gLite (LCG) • UNICORE • GAT und GridSphere Data Management: • SRM/dCache • OGSA-DAI • Meta data schemas VO Management: • VOMS and Shibboleth

27. RRZN PC² TUD FZJ RWTH FHG/ITWM Uni-KA FZK RZG LRZ DGI–FG2: Infrastruktur Aufgaben des Kern-D-Grid: • Integration der Partner-Ressourcen • Betrieb des Kern-D-Grid • inklusive User Support • Erstellen von Monitoring und Accounting Werkzeugen für alle Middleware Plattformen • Vorbereitung von Accounting und – später – Billing • Entwicklung einer allgemeinen Ressourcen-Beschreibungssprache • Anbieten und Betreiben von nachhaltigen Grid-Diensten für neue Communities

28. DGI–FG3: Netzwerk & Sicherheit Ziele: • Ausbau des DFN-Netzwerkes um Grid-spezifische Komponenten • Aufbau und Betrieb einer Infrastruktur für Authentifizierung und Authorisierung (AAI) • Muss international anerkannt sein • Evaluierung von alternativen Transport-Protokollen • Evaluierung und Entwicklung von Grid-fähigen Firewall-Konzepten • Unterstützung von Grid-spezifischen CERT Teams • CERT = Computer Emergency Response Team

29. DGI–FG4:Koordinierung & Nachhaltigkeit Ziele: • Koordinierung der Integration innerhalb des DGI • Koordinierung der Zusammenarbeit zwischen DGI und den Community-Projekten • Etablierung der Kontakte zwischen D-Grid und den Partner-Projekten aus Wissensmanagement und e-Learning) • Unterstützung neuer Anwendungsfelder auf dem Grid • Evaluierung von Vorgehensweisen zur Sicherung der Nachhaltigkeit Nachhaltigkeit: • Berücksichtigung der verschiedenen Rollen • Evaluierung der rechtlichen Rahmenbedingung bzgl. Nachhaltigkeit Nach- haltigkeit Ressource Anbieter/ Rechenzentren Förderer (BMBF) Nutzer (Wissenschaftler) / Virtuelle Organisation

30. D-Grid – Zusammenarbeit I • D-Grid wird mit internationalen Projekten zusammenarbeiten: • Europäischer Ebene: • EGEE, DEISA, etc. • Middelware-Entwicklung: • Globus, UNICORE, gLite, … • D-Grid ist in die europäische Planung eingebunden: • Zusammenarbeit mit anderen nationalen Grid Initiativen (NGI) • Planung zur „European Grid Initiative“ (EGI) • D-Grid wird in Standardisierungsgremien beitragen • GGF, OASIS, … • D-Grid wird in Zukunft weitere Communities einbinden • D-Grid Call-II • Siehe auch www.d-grid.de • D-Grid wird in Zukunft die Zusammenarbeit mit der Industrie stärken

31. D-Grid – Zusammenarbeit II Universitäts-/Forschungs- Rechenzentren: • Anbieten von Grid-Diensten: • Betreiben von „Grid-Gateway-Diensten“ um e-Science zu ermöglichen • Einbindung von Ressourcen von Forschungsgruppen • Zugang zu (High-End-) Ressourcen des Rechenzentrums  „Grid-Router“ • Zentrale Grid-Dienste werden im Rahmen des Kern-D-Grids/DGI erbracht • Installations-Support/Release-Management • Inklusive User-Support, • Überwachung (Monitoring/Accounting/Billing)

32. Zusammenfassung & Ausblick • D-Grid ist im September 2005 gestartet • Grid-Technologie wird in verschiedenen Wissenschaftsfeldern etabliert werden • Die e-Science Gebiete (Grid/Wissensmanagement/e-Learing) arbeiten zusammen • DGI wird eine allgemeine Infrastruktur für e-Science in Deutschland etablieren • Die ersten Ergebnisse werden bald kommen! • Die drei e-Science „Säulen“ organisieren “German e-Science Conference" (GES2007, 2.-4. Mai, 2007, Baden-Baden) • D-Grid wird gefördert durch das BMBF