SlideServe
Télécharger Obtenir Pro
Menu
Accueil Pro
Préférences
ApparenceLight Aide et commentaires
© SlideServe · v2026

Worldwide Data Processing with SAMGrid

jonathanrush avatar
jonathanrush
7 diapositives · 96 Views · Dec 20, 2019

SAMGrid enables the reanalysis of large datasets using the latest techniques, providing a platform for global collaboration and efficient processing of massive amounts of data.

Worldwide Data Processing with SAMGrid - slide 1
01 / 7Worldwide Data Processing with SAMGrid
1 / 17

Télécharger la présentation

Worldwide Data Processing with SAMGrid
Une image / un lien ci-dessous est fourni (tel quel) pour télécharger la présentation

Politique de téléchargement : le contenu du site vous est fourni TEL QUEL pour votre information et votre usage personnel ; il ne peut être vendu, concédé sous licence ni partagé sur d’autres sites sans l’accord de son auteur.Le contenu vous est fourni TEL QUEL, pour votre information et votre usage personnel uniquement. Téléchargez la présentation en cliquant sur ce lien. Lors du téléchargement, si vous ne parvenez pas à télécharger une présentation, l’éditeur a peut-être supprimé le fichier de son serveur.Pendant le téléchargement, si vous ne parvenez pas à obtenir une présentation, le fichier a peut-être été supprimé par l’éditeur.

F I N

Plus de contenu associé

Transcription de la présentation

  1. Worldwide Data Processing with SAMGrid

  2. As experiments refine their understanding of raw data, a point is reached where it becomes desirable to reanalyze the entire dataset with the latest techniques. For the D0 experiment, the datasets Involved are large: ~250 TB Equivalent to a stack of CDs nearly as tall as the Eiffel Tower

  3. Processing such large datasets in a timely manner requires large scale compute resources. A single pass over the full dataset will involve: Reading ~250TB of input Writing ~ 70TB of output Processing ~1 Billion events To complete such a pass within 6 months requires ~3.5THz of PIII equivalent compute capacity

  4. SAMGrid provides an ideal platform for mustering the large scale resources needed to do the D0 data reprocessing with over 20 production sites located across North America, Europe, Asia and South America

  5. More than a dozen sites worldwide were able to participate in the D0 reprocessing effort by providing a peak compute capacity of over 3.5THz in PIII equivalent units: CCIN2P3 (Lyon) CMS (at FNAL) Fermilab FZU (Prague) GridKa (Karlsruhe) Imperial (London) Manchester OSCER (Oklahoma) SPRACE (Sao Paolo) D0SAR (Texas, Arlington) WestGrid (Vancouver BC) Wisconsin

  6. Essential services provided by SAMGrid: Complete meta-computing environment including Grid-level job management based on Condor and Globus Delivery of executables to sites in an encapsulated compute environment suitable for operation on diverse Linux installations Delivery of raw data over WAN to remote installations Transport of output back to FNAL and storage in MSS Bookkeeping of processing history, job success/failure, and job recovery Monitoring facilities for job status, site availability, and error logging

  7. Submission screen dump… Site screen dump… Job screen dump… Data flow (FNAL->remote->merge->FNAL) Conclusion, time spent, data processed etc.