PL-Grid i jego Wirtualne Laboratorium dla nauk społeczno-gospodarczych

1. PL-Grid i jego Wirtualne Laboratorium dla nauk społeczno-gospodarczych Joanna Kocot, Eryk Ciepiela Akademickie Centrum Komputerowe Cyfronet AGH Szkoła Symulacji Systemów Gospodarczych Kudowa-Zdrój, 21 września 2010

2. Plan prezentacji • Projekt PL-Grid • Idea Gridu i e-Nauki • Oferta PL-Grid dla naukowców • Wirtualne Laboratorium GridSpace

3. PL-Grid • Projekt finansowany w ramach Programu Operacyjnego Innowacyjna Gospodarka • Cele: • Wskaźniki: • Ilość naukowców korzystających z usług PL-Grid (700) • Ilość nowych dziedzin (grup naukowców) wspieranych przez PL-Grid (7)

4. Wyjaśnienie pojęć • Infrastruktura sprzętowa – dedykowane komputery (serwery) pogrupowane w tzw. klastry, połączone szybką siecią, które są w stanie wykonywać (równoległe) programy, działająca w wyspecjalizowanych centrach komputerowych, z zapewniająca łączność z jej użytkownikami poprzez sieć Internet • Oprogramowanie – programy dla konkretnych domen nauki przystosowane do pracy na infrastrukturze sprzętowej (np. umiejące korzystać z możliwości obliczeń równoległych) współdzielone przez społeczność użytkowników • Grid – idea łączenia komputerów z jedną infrastrukturę sprzętową wygodnie dostępną z każdej lokalizacji poprzez sieć komputerową (analogia: elektrownie – sieć energetyczna – gniazdka) • e-Nauka – nauka wspomagana technologiami informatycznymi, wykorzystująca możliwości obliczeń, gromadzenia, analizy danych itp. (?)

5. Wyjaśnienie pojęć • Narzędzia – programy komputerowe, portale internetowe itp. umożliwiające i ułatwiające korzystanie z infrastruktury (gridu) jej końcowym użytkownikom oraz wspierające czynności wykonywane w trakcie przeprowadzania badań naukowych z użyciem szeroko rozumianych technologii informatycznych • Wirtualne laboratoria – szczególny typ narzędzi stanowiących środowisko pracy naukowców korzystających z infrastruktury (gridu) umożliwiający korzystanie z infrastruktury i wielości dostępnego oprogramowania oraz komponowanie z nich kompletnych scenariuszy przeprowadzających naukowe obliczenia od danych wejściowych aż po opracowanie rezultatów czyli tzw. wirtualnych eksperymentów • GridSpace – wirtualne laboratorium, które rozwijamy w ACK Cyfronet AGH w ramach projektu PL-Grid

6. Konsorcjum PL-Grid • Akademickie Centrum Komputerowe CYFRONET AGH – koordynator • Poznańskie Centrum Superkomputerowo-Sieciowe (PCSS) • Wrocławskie Centrum Sieciowo – Superkomputerowe (WCSS) • Centrum Informatyczne Trójmiejskiej Akademickiej Sieci Komputerowej (TASK) • Interdyscyplinarne Centrum Modelowania Matematycznego i Komputerowego (ICM)

7. Europejska Inicjatywa Gridowa EGI

8. EGEE EGEE • Archeology • Astronomy • Astrophysics • Civil Protection • Comp. Chemistry • Earth Sciences • Finance • Fusion • Geophysics • High Energy Physics • Life Sciences • Multimedia • Material Sciences • … >250 sites 48 countries >150,000 CPUs >50 PetaBytes >15,000 users >150 VOs >200,000 jobs/day Mariusz Sterzel CGW'08 Kraków, 13 October 2008 8

9. Oferta PL-Grid • Wzrost udostępnianej mocy obliczeniowej do ok. 215 TFLOP (5000 procesorów 4-rdzeniowych, 38 rdzeni na użytkownika non-stop) • Wzrost pamięci dyskowej o ok. 2500 TB (2,5 mln GB, 3571 GB na użytkownika) • Zestaw zaawansowanych narzędzi do organizacji programów obliczeniowych, który pomożemy dostosować do indywidualnych potrzeb • Pomoc w zrozumieniu zagadnień związanych z uruchamianiem aplikacji naukowych na rozległych zasobach obliczeniowych • Wsparcie technologiczne i informatyczne przy projektowaniu własnych aplikacji naukowych i ich wdrażaniu na infrastrukturze PL-Grid

10. Dostępne Oprogramowaie • Każda aplikacja środowiska Unix/Linux może być dostosowana do infrastruktury PL-Grid Oferujemy: • Pakiety QM • ADF, Gaussian, Turbomole, GAMESS, Molcas, • Pakiety MD, MM • NAMD, Amber (wkrótce) • Pakiety do dokowania • AutoDock • Zestaw typowych narzędzi • kompilatory, biblioteki numeryczne, MPI • Czekamy na propozycje Państwa programów

11. Jak zostać użytkownikiem PL-Grid • Osoba prowadząca działalność naukową, związana z jednostką naukową w rozumieniu ustawy z dnia 8 października 2004r. o zasadach finansowania nauki. • Współpracownicy osoby prowadzącej działalność naukową (doktoranci, studenci, współpracownicy zagraniczni) • Jak się zarejestrować? • Procedura w pełni on-line • System rejestracji i zarządzania kontem użytkownika PL-Grid https://konto.plgrid.pl/ • Wymagany aktualny, własny wpis w bazie „Ludzie Nauki” OPI bądź wpis opiekuna naukowego • Weryfikacja zgłoszenia przez stronę internetową jednostki bądź telefonicznie Podziękowania: T. Szepieniec, M. Radecki

12. Co uzyskam dzięki rejestracji w PL-Grid • Konto na maszynie „dostępowej” w Cyfronecie ui.cyfronet.pl • Z tej maszyny dostęp do: • gLite – oprogramowanie zapewniające dostęp do gridu • UNICORE – oprogramowanie zapewniające dostęp do gridu • system kolejkowy PBS – oprogramowanie zapewniające dostęp do własnego cyfronetowego klastra Zeus (w dalszej kolejności kolejne klastry) • Żądanie obliczenia (tzw. zadania) jest umieszczane w kolejce zadań i harmonogramowane gdy wymagane dla tego zadania zasoby (ilość procesorów, pamięci itp.) są dostępne • Pełny dostęp do systemu pomocy „Helpdesk PL-Grid” • Dane o wykorzystaniu zasobów (wkrótce) • System grantów obliczniowych • Grant podstawowy • Granty przyznawane • Jedno konto, jedno hasło wszędzie Podziękowania: T. Szepieniec, M. Radecki

13. System pomocy „Helpdesk” PL-Grid • Jeden punkt kontaktu do ekspertów od wszystkich aspektów działania infrastruktury PL-Grid • Procedury zapewniające przekazywanie spraw (np. w czasie urlopowym) • Zgłoszenia nie giną i nie są zapominane: • użytkownik może zgłaszać i śledzić proces rozwiązywania problemu • monitorowanie czasu rozwiązywania sprawy • Zgłoszenia tworzone są poprzez: • interfejs graficzny https://helpdesk.plgrid.pl (dla zarejestrowanych użytkowników) • e-mail helpdesk@plgrid.pl • Użytkownik otrzymuje identyfikator zgłoszenia umożliwiający późniejsze śledzenie statusu sprawy • Istotne powiadomienia o stanie problemu wysyłane są e-mailem Zgłaszającemu Podziękowania: T. Szepieniec, M. Radecki

14. www.plgrid.pl

15. Zapraszamy do rejestracji na: https://konto.plgrid.pl/

16. Motywacja • Złożone aplikacje naukowe działające na zasobach komputerowych • Klastry, gridy, cloud • Bogactwo pakietów oprogramowania • Aplikacje (Gaussian, NAMD,…) • Dostępne w sieci usługi – Web Services • Języki skryptowe do przetwarzania danych: Perl, Python, Ruby • Różne klasy użytkowników • Eksperci domenowi (konsultanci) • Programiści aplikacji (producenci) • Końcowi użytkownicy (konsumenci) • Eksplozja zbiorów danych, digitalizacja danych • Pliki, bazy danych, … • Eksploracyjne programowanie • Odzwierciedlające naturę pracy badacza • Krok po kroku realizowanie kolejnych etapów obliczeń, gdzie kolejny krok silnie zależy od wyników poprzedniego • Współdziałanie • Zespoły, społeczności (wirtualne)

17. Możliwości • Dostępność niespotykanej do tej pory mocy obliczeniowej • Metody analityczne → metody numeryczne • Heurystyki → współbieżne przeszukiwanie szerszej przestrzeni rozwiązań • Bardziej szczegółowe modele • Złożone modele • Większe rozmiary problemów • Zrównoleglanie obliczeń • Symulacje wykorzystujące systemy agentowe • Wsparcie naukowców w tworzeniu lub adaptacji istniejącego oprogramowania • Wsparcie programistów • Szkolenia • Wspólne tworzenie aplikacji • Utrzymywanie aplikacji Storage Clusters Scientist Bash Supercomputers • Zakup, utrzymywanie i udostępnianie (komercyjnego) oprogramowania • Szkolenia • Korzystanie z zainstalowanego oprogramowania • Pisanie własnego oprogramowania Files Ruby SSH Gnuplot

18. Praca z GridSpace2 • Experiment Workbench • Portal WWW • Środowisko do eksploracyjnego programowania i uruchamiania aplikacji (eksperymentu) • Experiment Host • Serwer na którym wykonywane są eksperymenty • Infrastruktrura komputerowa • Klastry, gridy, cloud, na których wykonuje się zadania pamięciowo i/lub obliczeniowo intensywne

19. ExperimentWorkbench

20. Bindingsitesinproteins • Comparison of Services for Predicting Ligand Binding Sites • Multiple services available on the Web • Conversions between data formats • Visualization scripts (Jmol, Gnuplot) • Single access based on experiments developed in Virtual Laboratory • Calculation of hydrophobicity profiles • Multiple scales, parameters, input data • Computed using PL-Grid resources – easy access to Zeus cluster at Cyfronet • Management of experiment results: ~ 1 Million output files • Using semantic integration framework for metadata management Collaboration with Departmentof Bioinformatics and Telemedicine, Jagiellonian University, Prof. Irena Roterman-Konieczna, Katarzyna Prymula

21. Analysis of watersolutions of aminoacids • Involving multiple steps realized with many tools, languages and libraries used for • Packmol – molecular dynamics simulations of packing molecules in a defined regions of space • Jmol – visualization of solution • Gaussian – computing a spectrum of the solution • Python/CCLIB – extracting spectrum info • jqPlot – displaying plot Collaboration with computational chemists of ACC Cyfronet AGH and Department of Chemistry, Jagiellonian University, Dr. Mariusz Sterzel, Klemens Noga

22. Konkluzje • Dostępność nowoczesnego sprzętu komputerowego, oprogramowania, metodologii daje nowe możliwości ale też wymaga „nowego myślenia” • Moc obliczeniowa i ograniczenia pamięci nie są już tak wąskim gardłem w przeprowadzaniu obliczeń • Potrzeba narzędzi umożliwiających korzystanie z infrastruktury i wielości dostępnego oprogramowania • Potrzeba umożliwienia komponowania kompletnych scenariuszy przeprowadzających naukowe obliczenia od danych wejściowych aż po opracowanie rezultatów • Możliwość nowych ekscytujących zastosowań • PL-Grid (w szczególności GridSpace) otwarty i darmowy dla polskich naukowców

23. Referencje • http://www.plgrid.pl – kompletne źródło informacji o PL-Grid • http://wl.plgrid.pl – wejdź do Wirtualnego Laboratorium GridSpace • http://dice.cyfronet.pl/gridspace – dowiedz się więcej na temat technologii GridSpace Prośba o wspólne uzupełnienie ankiet, które pomogą nam lepiej spełniać Państwa oczekiwania