La nuova farm di CMS Bologna al CNAF

1. La nuova farm di CMS Bologna al CNAF Alessandra Fanfani Claudio Grandi CMS Bologna

2. Hardware farm • Acquisti 2008: • Storage: Sistema Proware EPICa EP-3169S-F4S3 con doppio controller Fibre Channel ognuno 2*4Gbps, 1GB cache/controller, 16 dischi SATA-II da 1 TB; 13248,00 € IVA inclusa • CPU: 2 lame HP Blade Server BL460c con 2 CPU quad-core Intel Xeon E5430, 2.66 GHz,, 16 GB RAM, 1 disco SAS 73 GB; 5644,80 € IVA inclusa • Schede HBA: 1 Qlogic QLA2462 (2*4 Gbps); 816,00 € IVA inclusa. Inoltre 1 Qlogic QLA 2340 (1*2 Gbps) in prestito da Legnaro • Esistente: • CPU: 3 workstation 1U SUN FIRE V20Z con 2 CPU AMD Opteron 252, 2.6 GHz, 4 GB RAM, 2 dischi SCSI 73 GB CMS Bologna

3. stand-by (subentra in caso di problemi) User Interface Front-end Storage active • Login interattivo • Punto d’accesso alle risorse Grid • Analisi locale nuove lame ospitate nell’enclosure di ATLAS vecchie sun dalla farm attuale Configurazione farm bo.infn.it accesso alla rete del cnaf tramite la back-door (senza firewall) cnaf.infn.it LAN 1 Gbps ethernet cmsbo01 cmsbo02 cmsbo03 cmsbo04 cmsbo05 2 Gbps Fibre Ch. 2*4Gbps Fibre Ch. storage 16 TB CMS Bologna

4. Riassunto CMS Bologna

5. Configurazione dischi • 16 TB (raw) configurati in un unico volume da 12 TB (netti) in RAID-6 con un disco hot-swap • supporta la rottura contemporanea di due dischi e il recover automatico in caso di rottura di un disco • 12 TB suddivisi in 6 partizioni logiche da 2 TB • Al momento 3 partizioni sono attive: • /data: dati (area senza backup) • /gw_share: home directories e software • backup delle home (attualmente della farm vecchia) • visibile solo da cmsbo01/2, quindi non accessibile agli utenti • Le altre partizioni possono essere aggiunte a ciascuna delle 3 in base alle esigenze • quando si aggiunge alla home (2) si deve aggiungere anche alla partizione di backup (3), quindi bisogna cercare di usare /data (1) quando possibile CMS Bologna

6. Migrazione • Grazie alla back-door non ci sono problemi di firewall. Partendo da macchine in bo.infn.it ssh –Y cmsbo04.cnaf.infn.it vi fa avere il display sulla vostra macchina come di solito [Partendo da altri domini occorre passare da lnxbo.bo.infn.it] • Le home directories sulla nuova farm sono congelate al 28/1/2009. E’ necessario sincronizzarle con quelle della vecchia farm per tutti lo stesso giorno, altrimenti diventa un delirio... • Una volta terminati configurazione e setup finale dello storage (un paio di settimane) ci sarà da decidere quando fare la migrazione • La migrazione comporterà inaccessiblità della farm per una giornata • Account di persone che non lavorano piu’ nel gruppo saranno rimossi e gli account di persone del gruppo che non si collegano da anni avranno login disabilitato di default CMS Bologna

7. Migrazione: CMSSW • Dopo la migrazione ognuno dovra ricrearsi le proprie aree CMSSW perche’ i path fisici sono cambiati mv CMSSW_X_Y_Z OLDCMSSW_X_Y_Z scramv1 project CMSSW CMSSW_X_Y_Z cp –r OLDCMSSW_X_Y_Z/src CMSSW_X_Y_Z/src/. cd CMSSW_X_Y_Z/src cmsenv scramv1 b • Al momento sono installate: • CMSSW_2_0_12 • CMSSW_2_1_9 • CMSSW_2_2_1, CMSSW_2_2_3, CMSSW_2_2_4 • Non saranno installate releases precedenti come CMSSW_1_8-* e CMSSW_1_6-* , a meno che non ne sia fatta esplicita richiesta CMS Bologna

8. Come si può usare la Farm • Copiare un file di dati • Usare FileMover per copiarlo • Testare/debuggare il proprio codice in locale • Sottomettere jobs su Grid con CRAB per analizzare tutta la statistica dei dataset di interesse • È necessario un certificato Grid • Recuperare i propri istogrammi o ntuple prodotte in Grid, analizzarle (interattivamente) con ROOT e condividerle con altri utenti del gruppo • se gli output prodotti sono ciascunodecine di MB si possono copiare direttamente sulla farm (via CRABServer) • se gli output prodotti sono grandi O(1GB) andranno copiati dai job sullo Storage Element di Legnaro CMS Bologna

9. Perchè usare la farm • Perchè avete spazio per immagazzinare i vostri output e per le vostre aree di lavoro • Perchè potete analizzare interattivamente i vostri output o piccole frazioni di dati • Perchè non funzionerà l’accesso di tutti alla CAF ed è meglio imparare prima che poi ad utilizzare le risorse disponibili • Perchè in base all’esperienza di utilizzo si potranno identificare le reali esigenze del gruppo di Bologna e fare evolvere la farm secondo le necessità CMS Bologna

10. Storage Element e PhEDEx • Possibilità di far diventare lo storage uno Storage Element Grid • Funzionalità di uno Storage Element per un utente • Copiarci direttemente l’output dai job Grid • Installarci PhEDEx per copiare moli di dati da altri siti • Le competenze ci sono ma “costano”....si aggiungono solo le funzionalità realmente utilizzate CMS Bologna

11. Prospettive • Sito INFN-Bologna in Grid • In comune con gli altri esperimenti • Sito Grid a tutti gli effetti (Tier-3++) • Con CPUs e con Storage Element Grid • Finanziata in gran parte dall’Università • Quasi sicuramente non attiva fino all’inizio del 2010 • Indipendentemente dalla creazione del sito come gruppo di Bologna abbiamo bisogno di mantenere un pool di macchine per il login-interattivo e l’analisi locale • Prevediamo nel 2009 di avere bisogno di altro spazio? • Il costo di una espansione con 16 dischi da 1 TB da collegare allo storage (max 4 espansioni) e’ di 6684,00 € IVA inclusa (prezzo estate 2008, ora sara’ sicuramente meno) • Finche’ non avremo il sito Grid avremo comunque bisogno di uno Storage Element? Dipende se c’è realmente un uso massiccio della farm e se questa funzionalità diventa rilevante. CMS Bologna

12. Supporto • Andrea Paolucci del servizio di calcolo per la sistemistica • Alessandra Fanfani e Claudio Grandi per il software (CMS e UI) • Daniele Bonacorsi per un eventuale StorageElement e Phedex • Un giovane volonteroso non guasterebbe... CMS Bologna