Računska gruča Krn

2. Računska gruča Krn kot primer postavitve v omrežje SLING Sandi Cimerman, R-4 13. november 2013

3. Zgodovina • Mangrtskupna investicija odsekov R-4 in F-8 • osnovni nakup • marec 2007 • 12 vozlišč (2x po 2 jedri) • nadgrajen decembra 2007 • 6 vozlišč (2x po 4 jedra) • skupaj „samo“ 100 jeder in 144GB • še vedno v uporabi • Krn • izkušnje z Mangrta, prilagojen za računske potrebe odsekov (ABAQUS, ANSYS…), predvsem večji in zmogljivejši • osnovna nabava 2010 (11 vozlišč „big mem“) • 1. nadgradnja 2011 (22 vozlišč) • 2. nadgradnja 2012 (16 „GPU“) Jesenskosrečanjeuporabnikov in administratorjev SLING

4. Opis gruče Krn – Nadzorno-prijavno vozlišče Operacijski sistem: x64 SLES 11 SP 1 Sistem čakalnih vrst: PBSpro 10.2 • uporablja se za • login uporabnikov, dostop do računskih vozlišč • ureja čakalne vrstein skrbi za pošiljanje računov na računska vozlišča • nadzor vozlišč (temperatura, odpovedi komponent) • vzpostavitev računskih vozlišč (distribucijo sistemskih slik) • skupno diskovno polje „/home“ z dostopom z vseh vozlišč • pre/post processing, prevajanje kode • ustvarjanje in dostop do uporabniških profilov (ldapserver)… Jesenskosrečanjeuporabnikov in administratorjev SLING

5. Opis gruče Krn– Računska vozlišča • Računski strežniki • Skupno 49 računskih vozlišč • Procesorji • 2 procesorja po 6 jeder Intel Xeon5650/5670/X5675 • vsega skupaj 600 jeder / 1200 procesnih niti • Spomin • od 24 do 96GB • skupaj 2TB+ • 16 GPU vozlišč • z NvidiaTesla M2075 • CUDA kompatibilna, 448 cuda jeder • Vsa vozlišča na IB QDR x4 (32Gbps) povezavi - medračunski komunikaciji • Servisna GB mreža – služi za dostop, nadzor vozlišč ter distribucijo sistemskih slik Jesenskosrečanjeuporabnikov in administratorjev SLING

6. Opis gruče Krn – Shema gruče Prijavno-nadzorno vozlišče (HN) /home Računsko vozlišče IB QDR krn005-ib krn006-ib krn004-ib krn001-ib krn003-ib krn002-ib … 6 5 1 4 3 2 / /home GB ETH 2x SAS v RAID0 /scratch krn004 krn001 krn003 krn002 krn006 krn005 Jesenskosrečanjeuporabnikov in administratorjev SLING

7. Prvotni nakup Opis gručeKrn – Čakalne vrste 1. nadgradnja Sistem razdeljen na posamezne čakalne vrste glede na specifikacije vozlišč in čas nadgradenj Npr. „gpu“ ali „big_mem“ 2. Nadgradnja(gpu) Jesenskosrečanjeuporabnikov in administratorjev SLING

8. Pred povezovanjem v grid - naše želje • omogočiti dostop zunanjim uporabnikom do prostih računskih kapacitet • vendar smo pričakovali • da imamo popoln nadzor nad gručo • lahko zagotavljamo določen nivo varnosti • imajo „domači“ uporabniki prednost pri dostopu do kapacitet • imeti popoln nadzor nad obremenitvijo gruče • zunanji uporabniki • so zaupanja vredni • imeti nadzor nad njihovim dostopom do gruče Jesenskosrečanjeuporabnikov in administratorjev SLING

9. Pred povezovanjem v grid- naši „strahovi“ Česa smo se pred vzpostavitvijo najbolj bali? • komplicirane namestitve in posega v obstoječo konfiguracijo gruče • nameščanje programov na glavno vozlišče in/ali računska vozlišča • morebitni problemi z nekompatibilnimi servisnimi programi (sami programIoz. nekompatibilnost z obstoječimi) • „domačim“ uporabnikom na voljo manj prostih kapacitet v obdobju večjih obremenitev • večja količina administracije Jesenskosrečanjeuporabnikov in administratorjev SLING

10. Pred povezovanjem v grid– mrežna konfiguracija RCP mreža gruča Krn krn.ijs.si HN Zunanji uporabniki Vmesni strežnik(ARC, gridftpd,...) 6 4 7 2 3 1 5 … • Gruča je del podmreže IJS • Navzven ni neposredno dostopna • Rešitev: vmesni strežnik krn.ijs.si Vmesni strežnik Virtualni strežnik Spomin: 256MB 1 CPU @ 2GHz Ubuntu 12.04.3 LTS Jesenskosrečanjeuporabnikov in administratorjev SLING

11. Povezovanje v grid– konfiguracija vmesnega strežnika • večina namestitve poteka na vmesnem strežniku, ločenem od obstoječe gruče • Postopek • na sistem se doda „nordugrid“ repozitorij paketov • namestita se paketa • nordugrid-arc-compute-element in • nordugrid-arc-client • ustvari in namesti se strežniški certifikat • omogoči se dostop preko požarnega zidu • vrata 2811, 2135, 9000-9300 • uredi se konfiguracijska datoteka ARC • /etc/arc.conf • praktično vse nastavitve ARC servisov <- večino dela • dostop do ldap strežnika (HN) – uporabnik „grid1“ ^ Jesenskosrečanjeuporabnikov in administratorjev SLING

12. Povezovanje v grid– konfiguracija vmesnega strežnika 2/2 • Servisi • za konfiguracijo KRN-a smo potrebovali 5 servisov • a-rex • nordugrid-arc-slapd • nordugrid-arc-bdii • nordugrid-arc-inforeg • gridftpd • najprej se jih mora omogočiti: • v njihovih datotekah v mapi /etc/defaultse mora spremeniti „RUN=no“ spremeniti v „RUN=yes“ • nato se jih zažene v določenem vrstnem redu • vse se beleži v datoteke v mapi /var/log/arc/ Jesenskosrečanjeuporabnikov in administratorjev SLING

13. Povezovanje v grid– konfiguracija računske gruče • kaj smo spremenili na obstoječi gruči • glavno vozlišče • v ldap se ustvari generičnega uporabnika „grid1“ / skupina „grid“ • dodelili skupni diskovni prostor za shranjevanje začasnih in trajnih podatkov (viden na vseh računskih vozliščih) /home/grid/grid1 • v „qmgr“ omogoči zagon izračunov z vmesnega strežnika (krn.ijs.si) • vpiše ime vmesnega strežnika na /etc/hosts.equiv • računska vozlišča • dodelili diskovni prostor za shranjevanje med izvajanjem računov (t.i. „scratch“) • nič drugega Jesenskosrečanjeuporabnikov in administratorjev SLING

14. Povezovanje v grid– težave in priporočila • težave • nameščeni različni tipi sistemov čakalnih vrst • izdelava nove konfiguracijske datoteke arc.conf • naša izbira operacijskega sistema - Ubuntu • rešitve • odlična navodila za nekatere OSe se že nahajajo na SLING/wiki • do zdajdokumentacija za Ubuntu še ni obstajala, to-do: jo dodamo Jesenskosrečanjeuporabnikov in administratorjev SLING

15. Izkušnje težavnost, čas zaključek ideje integracija računske gruče Mangrt in zahvale Jan Jona Javoršek, CMI, IJS Barbara Krašovec, ARNES Dejan Lesjak, IJS Janez Jezeršek, MICR, IJS Jesenskosrečanjeuporabnikov in administratorjev SLING

16. Vprašanja? Jesenskosrečanjeuporabnikov in administratorjev SLING