pregled stanja i planova cro ngi - unizg.hr...dan cro ngi, zagreb 2009-10-26 picture 4 european grid...
Post on 12-Feb-2020
1 Views
Preview:
TRANSCRIPT
Dan CRO NGIZagreb, 26. listopad 2009.
Pregled stanja i planovaPregled stanja i planova
Dobriša Dobrenić, Srce - voditelj CRO NGI
Emir Imamagić, Srce
Picture 4
Dan CRO NGI, Zagreb 2009-10-26Picture 4
PregledPregled
Arhitektura Servisi Prijava Korisnici Međunarodne aktivnosti Podrška Planovi
Dan CRO NGI, Zagreb 2009-10-26Picture 4
ArhitekturaArhitektura
Dan CRO NGI, Zagreb 2009-10-26Picture 4
InfrastrukturaInfrastruktura
Dan CRO NGI, Zagreb 2009-10-26Picture 4
Arhitektura standardnog sjedištaArhitektura standardnog sjedišta
Dan CRO NGI, Zagreb 2009-10-26Picture 4
Arhitektura sjedišta SrceArhitektura sjedišta Srce
Dan CRO NGI, Zagreb 2009-10-26Picture 4
Arhitektura sjedišta Srce – LustreArhitektura sjedišta Srce – Lustre
Dan CRO NGI, Zagreb 2009-10-26Picture 4
Uspostava sjedištaUspostava sjedišta
Sjedište Datum uspostave
Period isključenja
FESB 5.3.2008. 16.3.2009. - 25.9.2009.
IRB 5.3.2008.
ETFOS 23.2.2009.
GRADRI 23.4.2009.
Srce 10.7.2009.
Dan CRO NGI, Zagreb 2009-10-26Picture 4
Sredstva sjedištaSredstva sjedištaSjedište Model
čvorovaBr. čvorova
Ukupno CPU jezgri
Spremišni kapacitet
Klasterski sustav
ETFOS DELL PowerEdge M600 Blade
16 128 6 TB Torque & Maui
FESB HP ProLiant BL460c G1
16 128 6 TB Torque & Maui
GRADRI DELL PowerEdge M600 Blade
16 128 6 TB SGE
IRB HP ProLiant BL460c G1
16 128 6 TB SGE
Srce Sun Fire x4600
8 256 21.6 TB SGE
Ukupno 72 768 45.6 TB
Dan CRO NGI, Zagreb 2009-10-26Picture 4
Središnji servisiSredišnji servisi
Sustav visoke dostupnosti Red Hat Cluster Suite Sredstva
5 središnjih poslužitelja 1 poslužitelj mrežno nepovezan (SRCE CA)
Dan CRO NGI, Zagreb 2009-10-26Picture 4
Arhitektura središnjih servisaArhitektura središnjih servisa
Dan CRO NGI, Zagreb 2009-10-26Picture 4
Sklopovski problemiSklopovski problemi
Problemi s hlađenjem sjedišta posebni sustavi hlađenja na IRB-u i Srcu GRADRI udomljen trenutačno na RITEH-u
Nestanci struje UPS na FESB-u i Srcu
Mrežni prekidi rijetki
Kvarovi sklopovlja rijetki; zasad
Dan CRO NGI, Zagreb 2009-10-26Picture 4
Troškovi električne energije, SrceTroškovi električne energije, Srce
Dan CRO NGI, Zagreb 2009-10-26Picture 4
ServisiServisi
Dan CRO NGI, Zagreb 2009-10-26Picture 4
NGI posrednički sustavNGI posrednički sustav
Globus Toolkit 4 upravljanje poslovima (GRAM, WS-GRAM) upravljanje podacima (GridFTP) informacijski sustav (WS-MDS)
Dodatne komponente grid raspoređivanje (Condor-G, GridWay) grid datotečni sustav (Gfarm) nadzorni sustav (Ganglia, Nagios)
Dan CRO NGI, Zagreb 2009-10-26Picture 4
Tipovi čvorova (1)Tipovi čvorova (1)
Računalni element – Computing Element (CE) pruža računalna sredstva (klasteri) servisi: Globus GRAM & WS-GRAM4, GridFTP
Spremišni element – Storage Element (SE) pruža spremišna sredstva servisi: GridFTP, Gfarm
Dan CRO NGI, Zagreb 2009-10-26Picture 4
Tipovi čvorova (2)Tipovi čvorova (2)
Korisničko sučelje – User Interface (UI) pruža alate za pristup gridu servisi: Condor-G, GridWay
Informacijski sustav – Information System (IS) središnji informacijski i nadzorni servisi servisi: WS-MDS, Ganglia, Nagios
http://wiki.cro-ngi.hr/index.php/CRO_NGI_čvorovi
Dan CRO NGI, Zagreb 2009-10-26Picture 4
Pokretanje poslovaPokretanje poslova
Dan CRO NGI, Zagreb 2009-10-26Picture 4
Pokretanje poslovaPokretanje poslova
Transparentni pristup računalnim sredstvima Alati dostupni na UI čvorovima Condor-G
robustan, preporučeni način pokretanja poslova ostvarili smo dodatnu integraciju s modulom Matchmaking
GridWay manje robustan, ali s naprednim mogućnostima automatsko preraspoređivanje, mogućnost spremanja stanja poslova
(checkpointing)
Dan CRO NGI, Zagreb 2009-10-26Picture 4
Pristup podacimaPristup podacima
Dan CRO NGI, Zagreb 2009-10-26Picture 4
Grid datotečni sustavGrid datotečni sustav
Gfarm Distribuirani grid datotečni sustav Integrirana spremišna sredstva svih sjedišta Može mu se pristupiti s više lokacija Sučelja
• GridFTP na svim sjedištima• gfarm2fs FUSE – standardni pristup datotečnom sustavu
Trenutačni status• pruža 45.6 TB spremišnog kapaciteta• iskorišteno 17%
Dan CRO NGI, Zagreb 2009-10-26Picture 4
Nadzorni sustav (1)Nadzorni sustav (1)
Ganglia Nadzor učinkovitosti
• iskorištenje sredstava (npr. load, cpu, disk)
Uspostavljen na svim sjedištima Zbirni pogled na grid http://mon.cro-ngi.hr/ganglia
Dan CRO NGI, Zagreb 2009-10-26Picture 4
GangliaGanglia
Dan CRO NGI, Zagreb 2009-10-26Picture 4
Nadzorni sustav (2)Nadzorni sustav (2)
Nagios Nadzor stanja
• dostupnost poslužitelja i servisa• funkcionalne provjere servisa
Uspostavljen na središnjoj lokaciji https://mon.cro-ngi.hr/nagios
• zahtijeva važeći korisnički certifikat
Dan CRO NGI, Zagreb 2009-10-26Picture 4
NagiosNagios
Dan CRO NGI, Zagreb 2009-10-26Picture 4
PrijavaPrijava
Dan CRO NGI, Zagreb 2009-10-26Picture 4
PrijavaPrijava
Web aplikacija Autentikacija temeljena na AAI@EduHr Koraci
prijava ustanove korisnika – papirnati obrazac prijava projekata prijava predstavnika u Vijeću korisnika
Uloge korisnici odgovorne i kontaktne osobe ustanove korisnika koordinator (Srce)
https://www.cro-ngi.hr/prijava http://wiki.cro-ngi.hr/index.php/Registracija
Dan CRO NGI, Zagreb 2009-10-26Picture 4
Sustav za prijaveSustav za prijave
Dan CRO NGI, Zagreb 2009-10-26Picture 4
SRCE CASRCE CA
Pruža uslugu Public Key Infrastructure (PKI) za akademsku i istraživačku zajednicu
Izdaje i korisničke i servisne certifikate Uspostavljen 2006. Tri lokacije za provjeru identiteta – Registration Authorities (RA)
ETFOS, FESB, Srce SRCE CA certificiran od EUGridPMA http://ra.srce.hr http://wiki.cro-ngi.hr/index.php/
Zahtjev_za_SRCE_CA_korisničkim_certifikatom
Dan CRO NGI, Zagreb 2009-10-26Picture 4
KorisniciKorisnici
Dan CRO NGI, Zagreb 2009-10-26Picture 4
ZajednicaZajednica 8 ustanova partnera:
carnet.hr, etfos.hr, fesb.hr, gradri.hr, irb.hr, mzos.hr, srce.hr;pmf.hr (pridružuje vlastita sredstva u CRO NGI)
23 ustanove korisnici: biol.pmf.hr, carnet.hr, dhz.hr, eihp.hr, erf.hr, etfos.hr, fer.hr, fesb.hr,
fizika.unios.hr, foi.hr, fsb.hr, gfv.hr, grad.hr, gradri.hr, hhi.hr, ie-zagreb.hr, imi.hr, irb.hr, mzos.hr, phy.hr, pmf.hr, pmfst.hr, srce.hr
85 korisnika: kemičari, biologijski kemičari, fizičari, građevinari, meteorolozi, strojari,
matematičari, elektrotehničari ...
Dan CRO NGI, Zagreb 2009-10-26Picture 4
AplikacijeAplikacije
MPICH & MVAPICH MPI libraries Intel Fortran & C compilers Intel MKL NAG libraries for Fortran Gaussian ABINIT Gromacs PovRay Korisničke aplikacije
matematika, fizika
Dan CRO NGI, Zagreb 2009-10-26Picture 4
Vremenska raspodjela poslovaVremenska raspodjela poslova
Dan CRO NGI, Zagreb 2009-10-26Picture 4
Poslovi po ustanovamaPoslovi po ustanovama
Dan CRO NGI, Zagreb 2009-10-26Picture 4
Poslovi po sjedištimaPoslovi po sjedištima
Dan CRO NGI, Zagreb 2009-10-26Picture 4
Uspješnost poslovaUspješnost poslova
Sjedište Br. poslova Br. neuspješnih poslova
Postotak uspješnosti
IRB 35468 7843 77%
GRADRI 31318 8020 74%
ETFOS 18345 7062 61%
FESB 12969 3093 76%
Srce 1420 546 61%
Ukupno 99520 26564 73%
Dan CRO NGI, Zagreb 2009-10-26Picture 4
Razlozi neuspješnosti poslovaRazlozi neuspješnosti poslova
Pogrešan opis poslova Instalacija novih sredstava, servisa i aplikacija Greške grid posredničkog sustava Greške sklopovlja
Dan CRO NGI, Zagreb 2009-10-26Picture 4
Međunarodne aktivnostiMeđunarodne aktivnosti
Dan CRO NGI, Zagreb 2009-10-26Picture 4
EGEEEGEE
EU FP projekt Enabling Grids for E-sciencE EGEE 2004-2006 EGEE-II 2006-2008 EGEE-III 2008-2010
CRO-GRID službeno pridružen u travnju 2006. SA1, SA2 – operacijske aktivnosti NA2, NA3, NA4 – suradničke aktivnosti
Dan CRO NGI, Zagreb 2009-10-26Picture 4
Rezultati CRO NGI u EGEERezultati CRO NGI u EGEE
Tri certificirana sjedišta (gLite) u punoj produkciji SRCE CA certificiran od EUGridPMA Razvoj globalnog grid nadzornog sustava temeljenog na
Nagiosu osnova za višerazinski nadzorni sustav u EGEE/EGI
Pouzdani središnji servisi gLite Information System BDII sustav poruka (messaging system) ActiveMQ nadzor Central Europe Federation temeljen na Nagiosu
• https://nagios.ce-egee.org– zahtijeva važeći korisnički certifikat & članstvo u VO dteam
Dan CRO NGI, Zagreb 2009-10-26Picture 4
Sjedišta CRO NGI u EGEESjedišta CRO NGI u EGEE
Sjedište Model čvorova
Br. čvorova Ukupno CPU jezgri
Spremišni kapacitet
FESB Sun Fire x2200 & x4100
16 104 3 TB
IRB Sun Fire x2200 & x4100
16 104 3 TB
Srce Sun Fire x2200 & x4100
16 104 3 TB
Ukupno 48 312 9 TB
Dan CRO NGI, Zagreb 2009-10-26Picture 4
Središnji servisi za EGEESredišnji servisi za EGEE
Sustav visoke pouzdanosti Red Hat Cluster Suite Sredstva
3 središnja poslužitelja 1 poslužitelj za nadzor sjedišta temeljen na Nagiosu
Dan CRO NGI, Zagreb 2009-10-26Picture 4
Arhitektura servisa za EGEEArhitektura servisa za EGEE
Dan CRO NGI, Zagreb 2009-10-26Picture 4
Središnji servis Nagios za EGEESredišnji servis Nagios za EGEE
Dan CRO NGI, Zagreb 2009-10-26Picture 4
European Grid Initiative – European Grid Initiative – EGIEGI
Srce u ime CRO NGI potpisalo EGI MoU 18.6.2009. Srce (CRO NGI) - partner u projektnom prijedlogu EGI InSPIRE,
šalje se EC sredinom studenog planirani budžet 25,2 M€ za 4 godine kategorija malih NGI – 20 PM za sučelje NGI-EGI (EC 33% : NGI 67%) sudjelujemo u međunarodnome zadatku O-E-3 Repositories for
monitoring and performance, zajedno s CERN-om i GRNET-om natječemo se u međunarodnoj aktivnosti JRA1 za održavanje sustava
Nagios Config Generator (NCG) – početno razvijenog u CRO-GRID-u! natječemo se u posebnome projektu DINGO (možda ipak pod EGI
InSPIRE?) za razvoj NCG-a Specialised Support Centres (SSCs) – aplikacijske grupe
bez hrvatskih institucija kao partnera
Dan CRO NGI, Zagreb 2009-10-26Picture 4
PodrškaPodrška
Dan CRO NGI, Zagreb 2009-10-26Picture 4
WebWeb
Novosti Organizacijski i tehnički opisi Dokumenti Linkovi, itd. http://www.cro-ngi.hr
Dan CRO NGI, Zagreb 2009-10-26Picture 4
www.cro-ngi.hrwww.cro-ngi.hr
Dan CRO NGI, Zagreb 2009-10-26Picture 4
Korisničke uputeKorisničke upute
Temeljene na wikiju Informacije o arhitekturi Praktične informacije o raspoloživim alatima http://wiki.cro-ngi.hr
Dan CRO NGI, Zagreb 2009-10-26Picture 4
wiki.cro-ngi.hrwiki.cro-ngi.hr
Dan CRO NGI, Zagreb 2009-10-26Picture 4
Služba pomoćiSlužba pomoći
Sustav upravljanja problemima OTRS Problemi s posredničkim sustavom i aplikacijama Pomoć pri gridificiranju korisničkih aplikacija helpdesk@cro-ngi.hr http://www.srce.hr/syshelp
Dan CRO NGI, Zagreb 2009-10-26Picture 4
OTRSOTRS
Dan CRO NGI, Zagreb 2009-10-26Picture 4
ObrazovanjeObrazovanje
Radionice Korištenje računalnih klastera (Srce) Korištenje grid okoline (Srce) EGEE Application Developer Course (SZTAKI)
eLearning Uvod u klastere i grid (Srce)
Dan CRO NGI, Zagreb 2009-10-26Picture 4
Ljudski resursiLjudski resursi
Sistemsko održavanje NGI 1,5 FTE – Srce trebalo bi biti barem 2 FTE
Sistemsko održavanje EGEE 1 FTE – Srce 0,5 FTE – FESB 0,5 FTE – IRB
Podrška korisnicima 0,5 FTE – Srce trebalo bi biti barem 1 FTE, za sustavniju gridificiranje aplikacija i više
Udomljavanje sjedišta ... Organizacija – savjet, vijeća, odgovorne osobe, međunarodna
suradnja ...
Dan CRO NGI, Zagreb 2009-10-26Picture 4
PlanoviPlanovi
Dan CRO NGI, Zagreb 2009-10-26Picture 4
ProširenjeProširenje
Plan proširenje postojećih sjedišta i uspostavljanje do tri novih
• dodatno ukupno oko 2.500-3.500 CPU jezgri (12,5 Mkn)
gridificiranje aplikacija izravno ovisi o budžetu CRO NGI
Proširenje u 2010. prema prijedlogu budžeta MZOŠ za 2010. – bez proširenja
Dan CRO NGI, Zagreb 2009-10-26Picture 4
Novi Globus?Novi Globus?
Obavijest iz Globusa 22.10.2009. prestaju se razvijati WS-GRAM, WS-MDS, MDS, RFT, Java stack ... GTK 5 izlazi do kraja 2009.
Planovi CRO NGI WS-MDS zamijeniti s BDII prebaciti GridWay na GRAM isključiti WS-GRAM nakon gornjih ostvarenja prijeći na GTK 5, ili u slučaju njegovog
kašnjenja, na GTK 4.2
Dan CRO NGI, Zagreb 2009-10-26Picture 4
SLCS CASLCS CA
Short lived credential service Transparentno izdavanje certifikata temeljeno na podacima AAI Jednostavnije upravljanje certifikatima
Dan CRO NGI, Zagreb 2009-10-26Picture 4
Generičko spremište podatakaGeneričko spremište podataka
Autentikacija temeljena na certifikatima ili AAI Očekivana sučelja
FTP HTTP Samba WebDAV
~20 TB Uspostaviti organizacijski model
Dan CRO NGI, Zagreb 2009-10-26Picture 4
Virtualni klasteriVirtualni klasteri
Virtualizacija klasterskih čvorova Prednosti
spremanje stanja poslova (checkpointing) premještanje poslova podrška za više OS-ova
Problemi paralelni poslovi integracija s grid posredničkim sustavom
Dan CRO NGI, Zagreb 2009-10-26Picture 4
http://www.http://www.cro-ngicro-ngi.hr/.hr/
admin@cro-ngi.hr
Picture 4
top related