računska gruča krn
DESCRIPTION
Računska gruča Krn. kot primer postavitve v omrežje SLING. Sandi Cimerman, R-4. 13. november 2013. Zgodovina. Mangrt skupna investicija odsekov R-4 in F-8 osnovni nakup marec 2007 12 vozlišč (2x po 2 jedri) nadgrajen decembra 2007 6 vozlišč (2x po 4 jedra) - PowerPoint PPT PresentationTRANSCRIPT
2r4.ijs.si
Računska gruča Krnkot primer postavitve v omrežje SLING
Sandi Cimerman, R-4
13. november 2013
3r4.ijs.siJesensko srečanje uporabnikov in administratorjev SLING
Zgodovina
Mangrtskupna investicija odsekov R-4 in F-8• osnovni nakup
• marec 2007• 12 vozlišč (2x po 2 jedri)
• nadgrajen decembra 2007 • 6 vozlišč (2x po 4 jedra)
• skupaj „samo“ 100 jeder in 144GB• še vedno v uporabi
Krnizkušnje z Mangrta, prilagojen za računske potrebe odsekov (ABAQUS, ANSYS…), predvsem večji in zmogljivejši• osnovna nabava 2010 (11 vozlišč „big mem“)• 1. nadgradnja 2011 (22 vozlišč)• 2. nadgradnja 2012 (16 „GPU“)
4r4.ijs.si
Opis gruče Krn – Nadzorno-prijavno vozlišče
Jesensko srečanje uporabnikov in administratorjev SLING
uporablja se za• login uporabnikov, dostop do računskih vozlišč• ureja čakalne vrste in skrbi za pošiljanje računov na računska vozlišča• nadzor vozlišč (temperatura, odpovedi komponent)• vzpostavitev računskih vozlišč (distribucijo sistemskih slik)• skupno diskovno polje „/home“ z dostopom z vseh vozlišč• pre/post processing, prevajanje kode• ustvarjanje in dostop do uporabniških profilov (ldap server)
…
Operacijski sistem: x64 SLES 11 SP 1Sistem čakalnih vrst: PBSpro 10.2
5r4.ijs.si
Opis gruče Krn – Računska vozlišča
Jesensko srečanje uporabnikov in administratorjev SLING
Računski strežniki
• Skupno 49 računskih vozlišč • Procesorji
2 procesorja po 6 jeder Intel Xeon 5650/ 5670/X5675vsega skupaj 600 jeder / 1200 procesnih niti
• Spomin• od 24 do 96GB• skupaj 2TB+
• 16 GPU vozlišč• z Nvidia Tesla M2075• CUDA kompatibilna, 448 cuda jeder
• Vsa vozlišča na IB QDR x4 (32Gbps) povezavi - medračunski komunikaciji• Servisna GB mreža – služi za dostop, nadzor vozlišč ter distribucijo sistemskih slik
6r4.ijs.si
Opis gruče Krn – Shema gruče
Jesensko srečanje uporabnikov in administratorjev SLING
/homePrijavno-nadzorno
vozlišče (HN)
GB ETH
IB QDR
2krn002
krn002-ib
3krn003
krn003-ib
4krn004
krn004-ib
5krn005
krn005-ib
6krn006
krn006-ib
…1krn001
krn001-ib
/
2x SAS v RAID0
/scratch
/home
Računsko vozlišče
7r4.ijs.si
Opis gručeKrn – Čakalne vrste
Jesensko srečanje uporabnikov in administratorjev SLING
Sistem razdeljen na posamezne čakalne vrste glede na specifikacije vozlišč in čas nadgradenj
Npr. „gpu“ ali „big_mem“
Prvotni nakup
1. nadgradnja
2. Nadgradnja(gpu)
8r4.ijs.si
Pred povezovanjem v grid - naše želje
omogočiti dostop zunanjim uporabnikom do prostih računskih kapacitet
vendar smo pričakovali
•da imamo popoln nadzor nad gručo•lahko zagotavljamo določen nivo varnosti•imajo „domači“ uporabniki prednost pri dostopu do kapacitet•imeti popoln nadzor nad obremenitvijo gruče•zunanji uporabniki
• so zaupanja vredni• imeti nadzor nad njihovim dostopom do gruče
Jesensko srečanje uporabnikov in administratorjev SLING
9r4.ijs.si
Pred povezovanjem v grid - naši „strahovi“
Jesensko srečanje uporabnikov in administratorjev SLING
• komplicirane namestitve in posega v obstoječo konfiguracijo gruče• nameščanje programov na glavno vozlišče in/ali računska vozlišča• morebitni problemi z nekompatibilnimi servisnimi programi (sami
programI oz. nekompatibilnost z obstoječimi)• „domačim“ uporabnikom na voljo manj prostih kapacitet v obdobju večjih
obremenitev• večja količina administracije
Česa smo se pred vzpostavitvijo najbolj bali?
10r4.ijs.si
Pred povezovanjem v grid – mrežna konfiguracija
• Gruča je del podmreže IJS• Navzven ni neposredno dostopna
• Rešitev: vmesni strežnik krn.ijs.si
Jesensko srečanje uporabnikov in administratorjev SLING
Zunanji uporabniki
RCP mreža
HN
1 3 52 4 6 7 …
gruča KrnVmesni strežnik
(ARC, gridftpd,...)
krn.ijs.si
Vmesni strežnikVirtualni strežnikSpomin: 256MB1 CPU @ 2GHzUbuntu 12.04.3
LTS
11r4.ijs.si
Povezovanje v grid – konfiguracija vmesnega strežnika
Jesensko srečanje uporabnikov in administratorjev SLING
večina namestitve poteka na vmesnem strežniku, ločenem od obstoječe gruče
Postopek• na sistem se doda „nordugrid“ repozitorij paketov• namestita se paketa
• nordugrid-arc-compute-element in• nordugrid-arc-client
• ustvari in namesti se strežniški certifikat• omogoči se dostop preko požarnega zidu
• vrata 2811, 2135, 9000-9300
• uredi se konfiguracijska datoteka ARC• /etc/arc.conf• praktično vse nastavitve ARC servisov <- večino dela
• dostop do ldap strežnika (HN) – uporabnik „grid1“ ^
12r4.ijs.si
Povezovanje v grid – konfiguracija vmesnega strežnika 2/2
Jesensko srečanje uporabnikov in administratorjev SLING
Servisi
• za konfiguracijo KRN-a smo potrebovali 5 servisova-rexnordugrid-arc-slapdnordugrid-arc-bdii nordugrid-arc-inforeggridftpd
• najprej se jih mora omogočiti:• v njihovih datotekah v mapi /etc/default se mora spremeniti „RUN=no“
spremeniti v „RUN=yes“
• nato se jih zažene v določenem vrstnem redu
• vse se beleži v datoteke v mapi /var/log/arc/
13r4.ijs.si
Povezovanje v grid – konfiguracija računske gruče
Jesensko srečanje uporabnikov in administratorjev SLING
kaj smo spremenili na obstoječi gruči
glavno vozlišče
• v ldap se ustvari generičnega uporabnika „grid1“ / skupina „grid“• dodelili skupni diskovni prostor za shranjevanje začasnih in trajnih podatkov
(viden na vseh računskih vozliščih) /home/grid/grid1• v „qmgr“ omogoči zagon izračunov z vmesnega strežnika (krn.ijs.si)• vpiše ime vmesnega strežnika na /etc/hosts.equiv
računska vozlišča
• dodelili diskovni prostor za shranjevanje med izvajanjem računov (t.i. „scratch“)
nič drugega
14r4.ijs.si
Povezovanje v grid – težave in priporočila
Jesensko srečanje uporabnikov in administratorjev SLING
težave
nameščeni različni tipi sistemov čakalnih vrstizdelava nove konfiguracijske datoteke arc.confnaša izbira operacijskega sistema - Ubuntu
rešitve
odlična navodila za nekatere OSe se že nahajajo na SLING/wikido zdaj dokumentacija za Ubuntu še ni obstajala, to-do: jo dodamo
15r4.ijs.si
zaključek
Jesensko srečanje uporabnikov in administratorjev SLING
ideje
integracija računske gruče Mangrt
in zahvale
Jan Jona Javoršek, CMI, IJSBarbara Krašovec, ARNES
Dejan Lesjak, IJSJanez Jezeršek, MICR, IJS
Izkušnje
težavnost, čas
16r4.ijs.si
Vprašanja?
Jesensko srečanje uporabnikov in administratorjev SLING