1 / 49

Introduction to LCG-2 Введение в LCG-2 E.Tikhonenko ( JINR )

Introduction to LCG-2 Введение в LCG-2 E.Tikhonenko ( JINR ). NA3 Induction Courses for school on Modern Cosmology and Astrophysics JINR, Dubna, October 7, 2005. www.eu-egee.org. EGEE is a project funded by the European Union under contract IST-2003-508833. Talk Outline.

tekla
Télécharger la présentation

Introduction to LCG-2 Введение в LCG-2 E.Tikhonenko ( JINR )

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Introduction to LCG-2Введение в LCG-2 E.Tikhonenko (JINR) NA3 Induction Courses for school on Modern Cosmology and Astrophysics JINR, Dubna, October 7, 2005 www.eu-egee.org EGEE is a project funded by the European Union under contract IST-2003-508833

  2. Talk Outline The preliminaries on the LCG-2 ; examples of various application areas; RDIG EGEE participation in NA4; the sequence of actions how to start a work in the LCG-2 environment

  3. Рекомендуемые ccылки Job Submission Astrophysics in GRID (EGEE) &Application Websites : • PLANCK Status Report at the 4th EGEE conference http://indico.cern.ch/contributionDisplay.py?contribId=109&sessionId=35&confId=0513 • MAGIC Status Report at the 4th EGEE conference http://indico.cern.ch/materialDisplay.py?contribId=107&sessionId=35&materialId=slides&confId=0513 • The MAGIC telescope http://wwwmagic.mppmu.mpg.de/introduction/ • ESA Science & Technology: Planck http://sci.esa.int/science-e/www/area/index.cfm?fareaid=17

  4. MAGIC Telescope

  5. MAGIC Telescope

  6. MAGIC Telescope

  7. MAGIC Telescope

  8. PLANCK Satellite Planck is an ESA satellite aimed at providing a final mapping of the cosmological anisotropies of temperature and to foray deeply into their polarisation properties. Launch is planned for 2007. Two instruments are onboard, the LFI and HFI. The HFI (High Frequency Instrument) is built by a French-led international consortium which will provide maps of the sky at 100, 143, 217, 353, 545 and 857 GHz. The first 3 channels will be the most sensitive to cosmological information (the peak of emission of a black body at 2.728K is around 100Ghz, i.e. 3mm), while the higher frequency channels will be very precious to trace the emission of some contaminating foregrounds (like the emissions from dust in galaxies, including our own, or the effect from clusters). The LFI (Low Frequency Instrument) is built by an Italian-led international consortium. It will provide maps of the sky at 33, 44 and 70 GHz, which will be very precious to trace the emission of some other contaminating foregrounds (like the synchrotron emission of our Galaxie, or that of radio sources). The HFI is a very powerful instrument by itself. But Planck has been conceived as a whole, such that the combination of the data from the two instruments should allow mining essentially all the cosmological information contained in the CMB (Cosmic Microwave Background), by minimizing astrophysical limitations. Parenthetically, it shows that spin-off science from Planck (concerning the CMB "contaminants") will be extremely interesting per se. Global information on Planck may be found in the Planck web site at ESA (see also the science team pages).

  9. PLANCK Satellite

  10. PLANCK Satellite

  11. PLANCK Satellite

  12. PLANCK Satellite

  13. Проект LCG и среда LCG-2 • Проект LCG – the LHC Computing Grid Project (http://lcg.web.cern.ch/LCG/ ) – был организован для создания компьютерной инфраструктуры, необходимой для моделирования, обработки и анализа данных cтроящихся на LHC экспериментов. • Cреда LCG-2 – инфраструктура, промежуточное математическое обеспечение (middleware) которой может рассматриваться как логическое продолжение и развитие достижений таких grid – проектов, как Сondor, Globus, DataGrid, DataTag, GriPhyn, iVDGL и EGEE (Enabling Grids for E-sciencE). Подmiddleware понимается совокупность Grid-сервисов, независимых от ресурсов и приложений и обеспечивающих аутентификацию, авторизацию, размещение и распределение ресурсов, получение результатов выполнения задач, статистику и служебную информацию, удаленный доступ к данным, стратегию и способы обнаружения неисправностей.

  14. Эксперименты на LHC ATLAS CMS При ожидаемой скорости записи сырых данных потребуются ресурсы для хранения данных порядка десятков и сотен ПБ. Для обработки данных потребуются сотни тысячперсональных компьютеров (максимальной на текущий момент производительности) ALICE LHCb LHCb

  15. Обработка данных и вычисления в физике высоких энергий Отбор событий и первичная реконструкция детектор Триггер 1-го уровня обработанные данные суммарные данные по событиям «сырые» данные Пакетная обработка данных Реконструкция событий объекты для физического анализа (выделенные по физическим каналам) моделирование физических событий интерактивный физический анализ

  16. Иерархия данных На 2 порядка уменьшается объем данных по сравнению с исходным потоком “RAW, ESD, AOD, TAG” События, удовлетворяющие условиям триггера; записываются системами сбора данных (DAQ) RAW Съем цифровых отсчетов с детекторов ~2 MB/event L1 Первичная стадия реконструкции на уровне создания базовых кластеров и трек-сегментов Геометрическая реконструкция событий: траектории частиц, импульсы и энергии ESD(/DST) Реконструированная информация ~100 kB/event L2+L3 Event Summary Data AOD Физическая реконструкция: установление соответствия частиц и треков, уточнение характеристик струй, поиск распадных вершин Информация для анализа ~10 kB/event Analysis Object Data Указатель события (классификационная информация для быстрого выбора нужного события) TAG ~1 kB/event

  17. Специфика приложений ФВЭ • Требования по данным • Колоссальные объемы данных (десятки и сотни Петабайт) • Данные типа WORM (писать единожды, читать многократно) • Структуризация данных с последующим извлечением информации из данных (data mining) • Продолжительное время хранения данных, а также необходимость создания копий данныхв разных странах мира • Требования к обработке данных • Обработка данных подразделяется на 2 типа – регулярное производство данных и «нерегулярный» анализ данных • Производство (моделирование ) данных происходит систематически; при этом производятся наборы данных порядка ~ 10**9 физических событий. • Анализ физических данных (на наборах данных порядка 10**7 событий) проводится произвольным образом и в индивидуальном порядке многими сотнями отдельных пользователей • Высокий уровень параллелизма обработки на уровне событий, который может быть описан ориентированным графом с указанием последовательности обработки • Поскольку интерактивная работа очень важна при анализе данных, необходимо предусмотреть возможность спасения сессий с сохранением информации об источнике данных («проверяемость», provenance) • Необходимость глобального доступа к базам данных экспериментов для получения значений констант, условий работы и т.д.

  18. специфика биомедицинских приложений • Сложные требования по данным • Гетерогенные форматы данных • Частая обновляемость данных • Сложные наборы данных (медицинские записи) • Ограничения на безопасность и конфиденциальность • Необходимость длительного хранения данных • Cложные требования по обработке данных • Биоинформатика (геномика, протеомика, …): распределенные базы данных • Медицинские(просмотр снимков, эпидемиология...): распределенные базы графических данных • Использование параллельных алгоритмов для обработки медицинских графических данных и для моделирования • Интерактивные приложения • Ограничения на безопасность и конфиденциальность

  19. Группа NA4: Идентификация и поддержка приложений в среде проекта EGEE Основные составляющие работы: • Результатом работы группы NA4 будут являться программные приложения – прикладные пакеты, развернутые в инфраструктуре EGEE и доступные для работы в grid-среде соответствующим сообществам пользователей • Для развертывания этих приложений может понадобиться специальное ПО для обеспечения интерфейса к grid. Необходимо собрать существующую документацию из проекта EDG и других проектов (LCG, ARDA, GridLab, Healthgrid, …) для выработки общего решения • Процесс развертывания приложений в инфрастуктуру EGEE будетпроисходить в рамках виртуальных организаций, объединяющих соответствующих пользователей • Инфраструктура EGEE будет расширяться; с появлением новых пользователей им будет оказываться поддержка и будет организовываться обучение; также будут создаваться новые виртуальные организации

  20. Участие RDIG-EGEE в NA4 • Приложения ФВЭ: • Институт теоретической и экспериментальной физики (Москва) (отв.по LHCb) • Институт физики высоких энергий (Протвино) (отв.по ATLAS) • Курчатовский институт (Москва) • Научно-исследовательский институт ядерной физики (Москва) (отв. по CMS) • С.-Петербургский институт ядерной физики (Гатчина) • Объединенный институт ядерных исследований (Дубна) (отв. по ALICE и CMS) • Биологические приложения • Институт математических проблем биологии (Пущино) • Приложения Fusion&Plasma Science • Курчатовский институт (Москва)

  21. RDIG EGEE membership in VOs January, 2005 43 members from 11 institutes - 5.7 %from a total number ( 749 ) of EGEE VOs members March, 2005 56 members from 12 institutes - 5.8 %from a total number ( 967 ) of EGEE VOs members June, 2005 70 members from 13 institutes - 6.4 %from a total number ( 1097 ) of EGEE VOs members September, 2005 81 members from 13 institutes - 6.1 %from a total number ( 1324 ) of EGEE VOs members The target fixed in the EGEE Technical Annex for the EGEE project by the End Year 2: >3000 VOs users !

  22. RDIG EGEE membership in VOs (September, 2005) ALICE VO – 6 (of 43 alice VO members) ATLAS VO – 13 (of 391 atlas VO members) 8 – IHEP, 1 – SINP MSU, 1 – MEPHI, 1 – ITEP, PNPI –1, INP -1 CMS VO – 21 (of 343 cms VO members) 8 - SINP MSU, 6 – JINR , 3 – Kharkov, 2 – ITEP, 2 – INR LHCb VO – 5 (of 58 lhcb VO members) 3 – ITEP, 2 - PNPI dteam VO – 29 (of 421 dteam VO members) 11–JINR, 4 – SINP , 4 –ITEP, 3 – IHEP, 2 – RRC KI, 1 – INR, 1 – IPM, 1 –IMPB, 1 – PNPI, 1- NOVSU Biomed VO – 7 (of 68 biomed VO members) all IMPB in total: 81 - 6.1 %from a total number ( 1324 ) of EGEE VOs members 13 institutes: JINR – 18, ITEP – 14, IHEP-9, SINP MSU – 9, IMPB – 5, Kharkov – 3, INR – 3, PNPI – 2, IPM – 1, INP –1, MEPHI –1, RRC KI – 1, NOVSU - 1 +1 institute - CGDS (eEarth) RGStest VO -11 PHOTON VO –12 (PHOTON & SELEX experiments) RDTEAM VO - 3 eEarth VO - 11 all CGDS AMS VO - 3 in total: 29 The target fixed in the EGEE Technical Annex for the EGEE project by the End Year 2: >3000 VOs users ! RDIG VOs

  23. New VOs inside the RDIG-EGEE infrastructure: aims & current status aims: • to serve the national scientific projects • to test new application areas before including them into the global EGEE infrastructure current status: creation of the formal procedures and the proper administrative structures in RDIG-EGEE for VOs creation & registration: http://rdig-registrar.sinp.msu.ru/newVO.html – documents and rules; the Council on RDIG-EGEE extension has been formed 5 internal VOs now; near plan: Fusion science; chemical physics institutes

  24. Photon, eEarth, RGStest RDIG Virtual Organizations PHOTON VO: PHOTON & SELEX Projects (12 members; leading organization - ITEP) http://egee.itep.ru/PHOTON/index29d5en.html eEarth VO: geophysics sciences - 11 members; leading organization: Geophysics Center RAS http://www.e-earth.ru/ RGStest & RDTEAM VOs - Russian Data Intensive Grid (13 members)

  25. eEarth VO in the RDIG-EGEE • eEarth VOhttp://www.e-earth.ru/(in Russian) • –for geophysics and cosmic research tasks; • participating institutes: Scmidt Institute of Physics of the Earth of Russian Academy of Sciences (IPE RAS) ( http://uipe.ru/)and Centre of Geophysical Data Studies and Telematics Applications (CGDS) (http://www.ednes.org/CGDS/) • CGDS operates a powerful local area network (LAN) (8 servers and 32 workstations operating under Windows NT 4.0, Windows XP/2000/98, Linux Red Hat 5.2 and Solaris 2.5-7) with high speed (1 GBps) fiber optic Internet connection to Moscow Internet backbone through campus network of Moscow Lomonosov State University • eEarth VO will provide: an access to world-wide distributed data; computing resources for remote distributed computations; monitoring of common computing resources loading to optimize the resources usage. • Grid-technologies will be useful for a number of geophysical tasks, especially for interactive cartography and data vizualisation. • Data Resources: • SPIDR Mirror site in Moscow • Integrated Distributed Environmental Archive System (IDEAS) • Satellite Archive Browse and Retrievalhttp://sabr.ngdc.noaa.gov/ • Rapid Earthquake Determination ServiceGeophysical Survey RAS, Obninsk 11 members

  26. Процесс регистрации для работы в среде LCG http://lcg-registrar.cern.ch/

  27. Последовательность действий для осуществления возможности работать в среде LCG-2 • Ознакомиться с Правилами использования ресурсовLCG • Получить персональный цифровой сертификат • Загрузить персональный сертификат в браузер • Зарегистрироваться в соответствующей виртуальной организации Вся нижеследующая последовательность действий описана на странице http://lcg-registrar.cern.ch/

  28. Последовательность действий для осуществления возможности работать в среде LCG-2 (2) Для получения персонального цифрового сертификата необходимо в среде операционной системы с работающим ПО Globus запустить команду grid-cert-requestили специальный скрипт, предоставлямый национальным Сертификацинным Центром, а затем в возникшем при исполнении этой команды (или скрипта) режиме диалога ввести требуемую информацию - в том числе, задать свой пароль, который в дальнейшем будет необходим для работы в grid-среде. После выполнения этой команды в домашнем каталоге создается новый каталог .globusc тремя файлами: usercert.pem – цифровой сертификат пользователя (первоначальныйразмер этого файла равен 0);usercert_request.pem – запрос на цифровой сертификат; userkey.pem - цифровой ключ пользователя. Запрос на получение сертификата следует направить по адресу требования Сертификационного центра (как правило - ответственному по сертификации в Вашей организации). Далее произойдет регистрация Вашего сертификата в Сертификационном центре (на данный момент в России – это Курчатовский институт (http://ca.grid.kiae.ru/RDIG/ ). По завершению процесса регистрации Вы получите по электронной почте свой цифровой сертификат, который следует сохранить в файле usercert.pem

  29. Последовательность действий для осуществления возможности работать в среде LCG-2 (3) Загрузить персональный сертификат в браузер https://lcg-registrar.cern.ch/load_certificates.html Поскольку в браузерах используется другой формат представления сертификата, прежде всего необходимо конвертировать цифровой сертификат из формата pem в формат PKCS12. Для этого в среде с работающим пакетом openssl следует выполнить команду вида: openssl pkcs12 -export -inkey userkey.pem -in usercert.pem -out my_cert.p12 –name "My \ certificate" где userkey.pem – путь к файлу, содержащему цифровой ключ (этот файл должен иметь разрешение на чтение только для владельца файла, т.е. только для Вас!); usercert.pem - путь к файлу, содержащему сертификат; my_cert.p12- путь к создаваемому файлу в формате PKCS12 ; «My certificate» - необязательное имя (оно может в дальнейшем быть использовно при выборе сертификата в браузере, если в браузер загружено несколько сертификатов) Подробные инструкции по загрузкесертификата, конвертированного в формат PKCS12в различные типы браузеров (Mozilla, Netscape, Internet Explorer, Opera и Konqueror) содержатся на странице https://lcg-registrar.cern.ch/load_certificates.html

  30. Последовательность действий для осуществления возможности работать в среде LCG-2 (4) Зарегистрироваться в соответствующей виртуальной организации https://lcg-registrar.cern.ch/cgi-bin/register/account.pl virtual organization (VO)– виртуальная организация - объединение пользователей, организаций и ресурсов (компьютеров, ПО и данных) в новый административный домен в рамках grid-инфраструктуры Пользователь для вступления в соответствующую направлению его деятельности виртуальную организацию должен заполнить и отправить регистрационную форму, после чего получает письмо по электронной почте,подтверждающее факт получения регистрационной формы пользователя; затем, следуя указаниям в этом письме, подтверждает факт его получения; и, наконец, администратор виртуальной организации информирует собственно о факте регистрации в виртуальной организации. Теперь, став членом виртуальной организации, Вы можете войти в сеанс на любую доступную Вам User Interface - машину - и начать работу в среде своей виртуальной организации!!! О внутренних виртуальных организациях RDIG-EGEE см. http://rdig-registrar.sinp.msu.ru/newVO.html – documents and rules on RDIG-EGEE internal VOs

  31. Что такое UI, CE, WN, SE? Job Submission • UI (User Interface) – cервис, обеспечивающий доступ к ресурсам Grid; c UI-компьютера пользователь может запускать или прерывать свои задачи, получать информацию о статусе выполняемых задач, находить ресурсы, необходимые для исполнения конкретной задачи, получать учетную информацию о своей задаче: а также копировать, реплицировать или уничтожать файлы в инфрастуктуре Grid. • CE (Computing Element) – очередь в системе пакетной обработки инфраструктуры Grid • WN (Working Node) – вычислительный узел фермы в инфраструктуре Grid • SE (Storage Element) –cервис, обеспечивающий унифицированный доступ к ресурсам памяти инфраструктуры Grid (ресурсами памяти при этом могут быть как простые дисковые серверы, так и дисковые массивы или системы массовой памяти (MSS)).

  32. Система управления загрузкой(WMS) в LCG-2 • Запуск задачи пользователя осуществляется через систему управления загрузкой (WMS, Workload Management System) • Задачей WMS является планирование и управление ресурсами в распределенной среде Grid. • При этом пользователю предоставляются следующие возможности : - запускать и исполнять свои задачи - получать информацию о статусе состояния своей задачи - получать результат выполнения задачи • Назначение WMS - как оптимизировать использование ресурсов, так и способствовать скорейшему выполнению задачи пользователя

  33. Составляющие части WMS • В настоящее время WMS состоит из следующих частей: • User Interface (UI) : сервис, обеспечивающий для пользователя доступ к WMS • Resource Broker (RB) : сервис поиска “наилучших” ресурсов в среде GRID для запуска конкретной задачи • Job Submission Service (JSS) : сервис, обеспечивающий надежность запуска задачи • Information Index (BDII) : сервер , который собирает информацию о ресурсах Grid; эта информация используется Resource Broker’ом для классификации и выбора ресурсов • Сервисы Logging и Bookkeeping (LB) : хранят информацию о задаче пользователя

  34. Подготовка задачи • Пользователь должен продумать • Достаточно полное описание задачи, т.е. • Собственно программу • Необходимые для расчетов данные • Требования к ОС и специализированному м/о • Осознавать, что • программа “уйдет” в некоторое “неведомое” пространство • и при этом программа должна быть портабельной • и не иметь в себе ссылок на локальное окружение • и не обязательно программа должна располагаться в $HOME! • Описать входные данные (если имеются) • Дать указания касательно выходных данных

  35. Job Description Language (JDL)Язык описания задачи Job Submission • JDL – расширяемый язык, предназначенный для описания задач пользователя с помощью задания значений для “атрибутов” и появившияся еще при создании системы распределенных вычислений CONDOR • Пользователь для запуска свой задачи в инфраструктуре grid должен сформировать файл (job_definition.jdl) • Некоторые из атрибутов описываются пользователем, а некотрые атрибуты автоматически формируются UI до запуска задания в инфрастуктуру grid

  36. Атрибуты описания задачи Job Submission • Executable (обязательный) • имя исполняемой команды (программы) • Arguments (необязательный) • аргументы, которые необходимы для исполнения команды, указанной в Executable • StdInput, StdOutput, StdErr (необязательный) • стандартные ввод/вывод/ошибки задачи • Environment (необязательный) • список установок среды • InputSandbox (необязательный) • список файлов на локальном диске на UI, необходимых для выполнения задачи • перечисленные файлы помещаются на удаленный CE • OutputSandbox (необязательный) • Список файлов, которые будут сформированы в результате выполнения задания и которые необходимо получить пользователю после выполнения задачи

  37. Атрибуты ресурсовResource Attributes Job Submission • Requirements • Требования задачи на вычислительные ресурсы • Если не определяются пользователем, то используется значение, заданное в конфигурации UI

  38. Атрибуты описания данных“Data” Attributes Job Submission • InputData (необязательный) • относится к данным, используемым как входные к задаче: эти данные публикуются в Replica Catalog и запоминаются в SEs) • PFNs и/или LFNs • DataAccessProtocol (обязательный, если определен атрибут InputData) • Протокол или список протоколов, требумых для доступа к InputData на данном SE • OutputSE (необязательный) • имя SE-хоста • RB использует его для выбора CE, совместимого в требованиями задачи и наидолее близко расположенного к SE • OutputData (необязательный) • Выходные данные, которые должны быть сформированы в конце выполнения задачи

  39. Как написать описание задачи(Job Description) • Пример простейшего описания задачи (myjob1.jdl) • Мы определили • программу для запуска и ее аргументы • файлы, куда будет записан стандартный вывод • как поступить с выходными файлами Executable = "/bin/echo"; OutputSandbox = {"stdout", "stderror"}; stdoutput = "stdout"; stderror = "stderror"; Arguments = "Hi!"; VirtualOrganisation = "cms";

  40. Пример запуска задачи • Выполняем команду grid-proxy-init • вводим в процессе выполнения данной команды свой пароль на гридовски й сертификат • получаем в результате Globus proxy – временный сертификат, дающий право доступа к сервисам и ресурсам Grid • Выполняем команду: edg-job-submit myjob1.jdl и получаем в результате уникальный идентификатор задачи (Job Identifier), JobId • По выполнению команды: edg-job-status JobId получаем статусную информацию о ходе выполнения задачи • После завершения выполнения задачи можно выполнить команду edg-job-get-output JobId в результате чего получаем имя временнго каталога на машине UI, где находятся результаты выполнения задачи.

  41. Запуск задачи (1) 1) Получение proxy-сертификата: grid-proxy-init Your identity: /C=RU/O=DataGrid/OU=jinr.ru/CN=Tikhonenko Elena Enter GRID pass phrase for this identity: Creating proxy ................................................... Done Your proxy is valid until: Fri Sep 2 04:40:02 2005 2) Запуск задачи: edg-job-submit myjob1.jdl Selected Virtual Organisation name (from JDL): cms Connecting to host gdrb03.cern.ch, port 7772 Logging to host gdrb03.cern.ch, port 9002 ********************************************************************************************* JOB SUBMIT OUTCOME The job has been successfully submitted to the Network Server. Use edg-job-status command to check job current status. Your job identifier (edg_jobId) is: - https://gdrb03.cern.ch:9000/OADAXp3Vxet02vlqO29Xpg ********************************************************************************************* JobId

  42. Запуск задачи (2) Job Submission 3) Если не указываем имя своей виртуальной в файле запуска (myjob1.jdl), то получаем диагностику вида: **** Error: UI_NO_VOMS **** Unable to determine a valid user's VO Имя своей виртуальной организации можно указывать не в jdl-файле, а непосредственно в команде edg-job-submit: edg-job-submit --vo CMS myjob1.jdl 4) Запуск задачи с опцией --nomsg : edg-job-submit --nomsg myjob1.jdl https://gdrb03.cern.ch:9000/26kIm7cU1F9eY0VVhfkItg Получаем только сообщение о JobId

  43. Получение информации о статусе задачи (1) Job Submission Результатом выполнения команды edg-job-status https://gdrb03.cern.ch:9000/26kIm7cU1F9eY0VVhfkItg будет: ************************************************************* BOOKKEEPING INFORMATION: Status info for the Job : https://gdrb03.cern.ch:9000/26kIm7cU1F9eY0VVhfkItg Current Status: Scheduled Status Reason: Job successfully submitted to Globus Destination: ce.ulakbim.gov.tr:2119/jobmanager-lcgpbs-cms reached on: Thu Sep 1 15:07:00 2005 ************************************************************* Когда задача находится в процессе выполнения, в ответ на edg-job-status https://gdrb03.cern.ch:9000/26kIm7cU1F9eY0VVhfkItg получаем: ************************************************************* BOOKKEEPING INFORMATION: Status info for the Job : https://gdrb03.cern.ch:9000/26kIm7cU1F9eY0VVhfkItg Current Status: Running Status Reason: Job successfully submitted to Globus Destination: ce.ulakbim.gov.tr:2119/jobmanager-lcgpbs-cms reached on: Thu Sep 1 15:10:19 2005 *************************************************************

  44. Получение информации о статусе задачи (2) Job Submission После успешного завершения задания в ответ на edg-job-status https://gdrb03.cern.ch:9000/26kIm7cU1F9eY0VVhfkItg получим: ************************************************************* BOOKKEEPING INFORMATION: Status info for the Job : https://gdrb03.cern.ch:9000/26kIm7cU1F9eY0VVhfkItg Current Status: Done (Success) Exit code: 0 Status Reason: Job terminated successfully Destination: ce.ulakbim.gov.tr:2119/jobmanager-lcgpbs-cms reached on: Thu Sep 1 15:11:36 2005 ************************************************************* Теперь мы можем ознакомиться с результатами

  45. Получение результатов (1) на выполнение команды edg-job-get-output https://gdrb03.cern.ch:9000/26kIm7cU1F9eY0VVhfkItg получаем на экране следующую информацию: Retrieving files from host: gdrb03.cern.ch ( for https://gdrb03.cern.ch:9000/26kIm7cU1F9eY0VVhfkItg ) ********************************************************************************* JOB GET OUTPUT OUTCOME Output sandbox files for the job: https://gdrb03.cern.ch:9000/26kIm7cU1F9eY0VVhfkItg have been successfully retrieved and stored in the directory: /tmp/etikhone_26kIm7cU1F9eY0VVhfkItg *********************************************************************************

  46. Получение результатов (2) Отправляемся в указанный каталог ( /tmp/etikhone_26kIm7cU1F9eY0VVhfkItg ) сd tmp/etikhone_26kIm7cU1F9eY0VVhfkItg ls –lag total 484 drwxr-xr-x 2 zh 4096 Sep 1 17:13 ./ drwxrwxrwt 6262 root 483328 Sep 1 17:15 ../ -rw-r--r-- 1 zh 0 Sep 1 17:13 stderror -rw-r--r-- 1 zh 4 Sep 1 17:13 stdout Обнаруживаем там 2 файла: stderror (пустой, т.е. ошибок при выполнении задачи не было) и sdtout, содержащий собственно результат выполнения нашей задачи (в данном случае текст “ Hi! ”)

  47. Некоторые полезные команды UI Job Submission • edg-job-list-match Получение списка ресурсов, соответствующих описанию задачи (запуск задачи при этом не требуется) • edg-job-cancel прекращение выполнения задачи • edg-job-get-logging-info получение информации о прохождении задачи полезно при отладке программы • grid-proxy-destroy закрытие временного сертификата (как выход из сеанса работы в инфрастурктуре grid)

  48. UI в ОИЯИ и в CERN Job Submission • В ОИЯИ UI - cервис доступен с lxpub03.jinr.ru • В CERN при вхождении на lxplus.cern.ch следует выполнить скрипт grid_env.cshкомандой или в результате чего установятся переменные окружения, необходимые для доступа к сервису UI. Примечание: при получении proxy-сертификата командой grid-proxy-init без параметров, proxy-сертификат обычно выдается на 12 часов. Можно указывать временной интервал, на который необходимо получение proxy-сертификата. Для этого следует использовать опцию –valid HH:MM, например: grid-proxy-init -valid 150:00 Your identity: /C=RU/O=DataGrid/OU=jinr.ru/CN=Tikhonenko Elena Enter GRID pass phrase for this identity: Creating proxy .............................................. DoneYour proxy is valid until: Fri Sep 9 17:14:03 2005 date Sat Sep 3 11:14:08 CEST 2005 source /afs/cern.ch/project/gd/LCG-share/sl3/etc/profile.d/grid_env.csh source /afs/cern.ch/cms/LCG/LCG-2/UI/cms_ui_env.csh

  49. Рекомендуемые документы Job Submission • The LCG-2 User Guide https://edms.cern.ch/file/454439/1/LCG-2-UserGuide.pdf https://edms.cern.ch/file/454439/1/LCG-2-UserGuide.html • LCG-2 User Scenario https://edms.cern.ch/document/498081/1.0 • ClassAd languagehttps://www.cs.wisc.edu/condor/classad • LCG-2 Frequently Asked Questions https://edms.cern.ch/document/495216/

More Related