1 / 44

GRID Computing

GRID Computing. Увод. Квалитет пружених услуга. Време. Развој е-науке. Пре појаве Интернета Теоријски приступ и/или експерименти који се изводе самостално или у малим групама ; објављивање радова Након појаве Интернета

tazanna-chan
Télécharger la présentation

GRID Computing

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. GRID Computing

  2. Увод Квалитет пружених услуга Време

  3. Развој е-науке • Пре појаве Интернета • Теоријски приступи/илиексперименти који се изводе самостално или у малим групама; објављивање радова • Након појаве Интернета • Креирање и истраживање великих база података добијених посматрањем или симулацијама • Развој симулација и њихова анализа • Удаљен приступ специјализованим инструментима • Размена информација међу удаљеним мултидисциплинарним тимовима

  4. Постојећи системи

  5. Заједнички концепти • Дељење ресурса и координирано решавање проблема у динамичким, мулти-институционалним виртуелним организацијама

  6. Пример • Грид на суперрачунарима • UK e-Science Project, CERN • IBM’s Globus (www.globus.org) • Грид на личним рачунарима • SETI • Climateprediction • Screensaver Lifesaver

  7. CERN • Computing net promises vast power (BBC) Sept 2003 • Грид технологија искоришћена за повезивање суперрачунара у свету преко Интернета да би се створила нова генерација изузетно моћних рачунара

  8. SETI@home • Search for Extraterrestrial Intelligence (Потрага за ванземаљском интелигенцијом) • Програм који анализира податке примљене са радио телескопа

  9. Шта је то Grid Computing • Координирана употребе и доступност дистрибуираних рачунарских ресурса • Постизање велике рачунарске снаге се постиже сакривањем рачунара, места за смештање података и мрежних ресурса тако да се Грид понаша као један велики рачунар • Протоколи и оквири отворених стандарда. • Пружање одговарајућег квалитета услугакроз аутоматско прилагођавање капацитете тако да одговарају потражњи

  10. Шта су користи од Grid Computing • Побољшање обраде по захтеву • Повећање скалабилности (могућност проширења) • Флексибилност и агилност • Управљање комплексним информационим технологијама

  11. Основе Грида

  12. Сервиси Грида • Покретање посла/надгледање • Трансфер датотека (појединачно, баферисано) • Приступ базама података • Управљање подацима (репликација, метамодели) • Надгледање/претраживање системских информација

  13. Међуповезаност институција Inter-Grids Extra-Grids Intra-Grids Cactus (SF) Express Project NTG Grid Grid Grid VPN NAS/SAN NAS/SAN NAS/SAN Fin. Services MFG

  14. Виртуална организација Виртуална организација Физичка организација Физичка организација Виртуална организација Виртуална организација Физичка организација Физичка организација

  15. Виртуална организација • Скупови организација које користе Грид да би наменски делиле ресурсе за специјалне потребе • Подржавање јединствене заједнице • Развој компатибилних технологија и договарање о полисама • Сигурносне полисе • Развој различитих мрежних сервиса: • Grid Information • Grid Resource Brokering • Grid Monitoring • Grid Accounting

  16. Виртуална организација Software Application Provider Weather Prediction Problem A Weather prediction Dynamic Virtual Organization A formed to provide weather prediction Math Modeling Application Hardware Service Provider User Computer Cluster • Virtual organizations are • Logical entities • Dynamically created to solve a specific problem • On-demand resource allocation and provisioning for solving the problem Network Bandwith Blades … resources User Financial Expert Service Provider Dynamic Virtual Organization B formed to solve a financial modeling Financial Modeling Problem B Financial Modeling Database System

  17. Заштита • Сви ресурси су рањиви • Осетљивост проблема који се решавају • Ресурси се налазе на различитим доменима • Сваки ресурс има своја права приступа, процедуре, механизме заштите, ... • Имплементација решења мора да буде широко доступна и применљива • Стандардно решење, исцрпно тестирано, интегрисано у мноштво већ развијених алата

  18. Заштита • Формирање јединственог комуникационог медија за све сервисе • Сигурна аутентификација и ауторизација • Јединствено логовање • Потребно је обезбедити да се сам корисник аутентификује само једном • Јединствена акредитација • Пример: GSI (Grid Security Infrastructure)

  19. CAS or VOMS issuing SAML or X.509 ACs Имплементација GSI SSL/WS-Security with Proxy Certificates Services (running on user’s behalf) Authz Callout Access ComputeCenter Rights’’ VOUsers Rights VO Local Policy on VO identity or attribute authority MyProxy Rights’ KCA

  20. Коришћење Грида • Покретање програма у Гриду користећи делегата: voms-proxy-init –voms VONAME Enter PEM pass phrase: *************** • Креирање привременог, локалног, делегата (proxy) • Делегати = креирање проксија (другог нивоа), који омогућује удаљеном процесу аутентификацију у име корисника

  21. ComputingCluster ComputingCluster Computing Cluster Од чега се Грид састоји • Сигурност приликом приступа и сигурна комуникација • Информације о постојању Грид саитова и сервиса • Јединствен интерфеијс до саитова • Могућност одржавања и распоређивања послова • Брза и једноставна манипулација подацима • Информације о томе где се налазе подаци Grid Client Grid Resources dedicated by UC, IU, Boston Grid Middleware Application User Interface Grid Storage Grid resources sharedby OSG, LCG, NorduGRID Grid Middleware Grid Middleware Grid Protocols Grid Storage Resource, Workflow And Data Catalogs Grid resource time purchased from commercial provider Grid Middleware Grid Storage

  22. Middleware • Сакривање дистрибуције апликације • Сакривање хетерогености система • Обезбеђивање униформног, стандардног интерфејса високог нивоа развојним тимовима апликацијама • Обезбеђивање скуп сервиса различите функционалности

  23. LCG-1 LCG-2 EGEE-1 EGEE-2 Globus 2 based Web services based Middleware • LCG: Large Hadron Collider Computing Grid • LCG infrastructure running LCG-2 is “EGEE-0” • In parallel producing new web-service-oriented middleware (“gLite”), which will replace LCG-2 as production facility this year

  24. Основе архитектуре

  25. Дијаграм тока извршавања послова

  26. Захтеви/послови • Job: једноставна апликација, која може бити batch, интерактивна,заснована на прослеђивању порука, са контролним тачкама, састављена од скупа независних порука, параметарска • DAG: директни ациклични граф зависних послова • Collection: колекција или скуп независних послова

  27. Workload Management System (WMS) • Дистрибуирано распоређивање • Постојање више UI којима се може проследити посао • Постојање више RB са који се посао може проследити на CE • Постојање више CE код којих се посао може убацити у ред за опслуживање • Дистрибуирано управљање ресурсима • Постојање вишеинформационих система који надгледају стање у коме се Грид налази • Сакупљање информација са SE, CE, група рачунара (саит)

  28. Аутентификација и ауторизација • Аутентификација • Креирање сертификата за кориснике • Коришћење ssh приликом повезивања на UI • Довлачење сертификата • Коришћење делегата (proxy) • Повезивање на UI чвор и успостављање сигурне везе (Secure Socket Layer) коришћењем делегата на све остале чворове • Ауторизација • Придруживања Виртуелној организацији • Приступ ресурсима Грида се обавља преко изабране Виртуелне организацији • Проверу права приступа обављају CE и SE користећи gridmapfile да би пресликали кориснике на локалне налоге

  29. User Interface (UI) • Листање ресурса који одговарају потребама посла који треба да се изврши • Подношење посла на извршење • Отказивање посла • Преузимање резултата извршеног посла • Прегледање информација о статусу посла који се извршава, • Манипулисање (смјештање, копирање и брисање) датотекама на Гриду • Прегледање информација о статусу различитих ресурса у оквиру Грид мреже. • Покретање посла коришћењемпосебног језика JDL (Job Description Language)

  30. Computing Element (CE) • Скуп рачунарских ресурса у облику кластера или рачунарске фарме • Чине га: • Grid Gate (GG), генерички интерфејс ка кластеру • Local Resource Management System (LRMS), који се назива и batch систем, као и сам кластер • Колекција радних чворова (Worker Nodes - WNs) на којима се извршавају послови

  31. Storage Element (SE) • Обезбеђивање униформног приступ ресурсима за складиштење података • Протоколи и интерфејси за приступ подацима • GSIFTP протокол за пренос комплетних датотека користи • RFIO • gsidcap, GSIсигурна верзија dcap протокола

  32. Resource Broker (RB) • Извршавање делова који се доносе на WMS • Прихватање послатих послова • Прослеђивање послова одговарајућим Compute Element (CE) • Дозвољава корисницима • Прибављање информација о статусу • Прибављање резултата операција • Коришћењем одговарајућих конфигурационих датотека на сваком UI чвору се постиже одређивање RB • Приликом покретања посла, JDL опције су: • Спецификација CE • Коришћење произвољног CE (који задовољава услове посла) • Спецификација SE (RB онда проналази најближи одговарајући CE)

  33. Broker Co-allocator Resource Broker (RB) RSL specialization RSL Application Information Service Queries & Info Ground RSL Simple ground RSL Local resource managers GRAM GRAM GRAM LSF EASY-LL NQE

  34. Logging and Bookkeeping • Праћење извршавање послова којим руководиWMS • Бележење статуса послова њихове историје • Обично се извршава на истом чвору са WMS

  35. Information System • Обезбеђивање информација о WLCG/EGEE Grid ресурсима и њиховом статусу • Информације омогућују проналажење одговарајућих ресурса и праћење њиховог коришћења • Користи га RB чворови да би утврдили расположивост ресурса које су потребни пословима • Тренутно се користи BDII(Berkeley Database Information Index)

  36. Коришћење Грида

  37. Сертификати за прокси • Креирање проксија $ voms-proxy-init --voms <vo> • Прикупљање информација о проксију $ voms-proxy-info • Гашење проксија $ voms-proxy-destroy

  38. Покретање посла • Покретање посла, ver={edg, glite} $ ver-job-submit <jdl_file> $ ver-job-submit –o <job_ID_file> <jdl_file> $ ver-job-submit –r <CE_ID> <jdl_file> • Дохватање информација о послу $ ver-job-status <job_ID> $ ver-job-status –i <job_ID_file> • Дохватање излаза посла $ ver-job-get-output <job_ID> $ ver-job-get-output –i <job_ID_file> $ ver-job-get-output –dir <path> <job_ID> • Отказивање посла $ ver-job-cancel <job_ID> $ ver-job-cancel –i <job_ID_file> • Листање погодних CE $ ver-job-list-match <jdl_file>

  39. Стања посла

  40. Атрибути JDL фајла • Type for LCG2 only “Job” type supported • JobType values: “Normal”, “MPICH”, “Interactive”… • Executable command name • Arguments command line arguments • StdOutput file where the job standard output goes • StdError file where the job standard error goes • InputSandbox files for transfer from UI to the WN • OutputSandbox files for transfer from WN to the UI

  41. Атрибути JDL фајла • Requirements to send a job to a particular CE Requirements = other.GlueCEUniqueID == “rti29.etf.bg.ac.yu:2119/jobmanager-pbs-seegrid”; job must run on a CE where a particular experiment software is installed Requirements = Member("VO-atlas-release-11.0.2", other.GlueHostApplicationSoftwareRunTimeEnvironment); for MPI job Requirements = Member("MPICH", other.GlueHostApplicationSoftwareRunTimeEnvironment)

  42. Пример JDL фајла Executable = "/bin/hostname"; Arguments = ""; StdOutput = "message.txt"; StdError = "stderror.txt"; OutputSandbox = {"message.txt","stderror.txt"}; Requirements = RegExp("rti29.etf.bg.ac.yu*",other.GlueCEUniqueID);

  43. Пример JDL фајла Executable = "java"; Arguments = " -classpath /storage/exp_soft/drs/gravitacion/Gravitational StdOutput = "message.txt"; StdError = "stderror.txt"; OutputSandbox = {"message.txt","stderror.txt"}; Requirements = RegExp("rti29.etf.bg.ac.yu*",other.GlueCEUniqueID);

  44. Питања? Захарије Радивојевић Електротехнички Факултет Универзитет у Београду zaki@etf.bg.ac.yu

More Related