grid računarstvo i računarstvo visokih performansi
TRANSCRIPT
1 SCL©2004-2017
Gridračunarstvoi
računarstvovisokihperformansi
1
VladimirSlavnićLaboratorijazaprimenuračunaraunauci
InsFtutzafizikuuBeograduUniverzitetuBeogradu
13thInterna+onalMasterclasses2017FizičkifakultetUniverzitetuBeogradu06.mart2017.
INSTITUTE OF PHYSICS
BELGRADE
SCL©2004-20172
§ Mo+vacija§ Mogućnos+iGridkaorešenje§ Gridarhitekturaimiddleware
§ Računarstvovisokihperformansi§ GridiHPCinicija+ve§ Nacionalnainfrastruktura
Pregled
SCL©2004-20173
§ Naukapostajesvevišedigitalna§ Numeričkesimulacije
§ Fizikaelementarnihčes+cajejednaodvažnihnaučnihdisciplinakojakoris+velikekoličineračunarskihresursa§ Velikemeđunarodnekolaboracije§ Velikekoličinepodatakaizeksperimenata§ LargeHadronCollider(LHC)uCERN-u
§ Višeod600milionasudarausekundi§ ~50PB/god(čakikadseisfiltrira99%podataka)
Mo+vacija[1/2]
SCL©2004-20174
§ Zasimulacijujednogsudara(događaja)unekomodLHCdetektorapotrebnoje~15min.nadanašnjimPCprocesorima
§ Zadobruanalizujednograspadapotrebnojeuproseku100,000
događaja§ Zapotpunusimulacijusamojednograspadapotrebnojeuproseku
3godineprocesorskogvremena§ AnalizapodatakanaLHCzahteva
kompjuterskusnaguekvivalentnu100,000današnjihPCprocesora
Mo+vacija[2/2]
SCL©2004-20175
§ WorldWideWeb–jednostavnakomunikacija;omogućenojednostavnopredstavljanjeipovezivanjedokumenatanasvetskomnivoupomoćuhiperlinkova
§ Linux–pouzdanopera+vnisistem§ Switchtehnologija–brzakomunikacijaizmeđuračunara§ Klaster–mnoštvoračunarapovezanihujedinstvenucelinu
Mogućnos+
SCL©2004-20176
§ Gridračunarstvo§ Geografskidistribuiran
kompjuterskisistem§ Bazirannadeljenjuprocesorskihi
skladišnihresursa§ Analogonelektričnojmreži
§ Zajedničkaupotrebadistribuiranihračunarskihresursa(CPU,podaci,itd.)nasigurannačin,takodakorisnicimogudasarađujuuokviruvirtuelnihorganizacija(VO)
Rešenje–Gridračunarstvo
SCL©2004-20177
Gridarhitektura
SCL©2004-20178
§ Gridpočivananaprednomsoiveru,kojizovemomiddlewareIkojipovezujeresurseiaplikacije
§ Gridmiddleware§ Nalaziodgovarajućeklasterenakojimaaplikacijemogudabudu
izvršene§ Op+mizujeupotreburesursa§ Organizujeefikasanpristuppodacima§ Vodiračunaoauten+fikacijikorisnikanarazliči+mklasterima§ Obezbeđujeizvršavanjesimulacijainadgledanjenjihovog
statusa§ Isporučujerezultatesimulacijanaučnicima
§ NajrasprostranjenijijegLitemiddleware
Gridmiddleware
SCL©2004-20179
UI
UI
WMS
BDII
CE
UI
SE
WN WN WN WN WN
CE
SE
WN WN WN WN
Gridračunarstvo
SCL©2004-201710
KorisničkipoglednaGrid
SCL©2004-201711
Gridresursi
SCL©2004-201712
Računarstvovisokihperformansi(HPC)
§ Capacityvs.Capabilitycompu+ng§ Uveknamjepotrebnovišeračunarskesnage§ Želimodasmanjimovremeizvršavanjanašihaplikacija§ HPCsistemipokušavajudasimultanomaksimizujuperformanseutrivažna
aspekta:§ Računanje(numbercrunching)–brojoperacijausekundi§ Pristuppodacima–brzineprenosapodatakaunutariliizmeđuračunara§ Skladištenjepodatka–kapacite+uređajazaskladištenje:keš,RAM,diskovi…
§ Smanjivanjevremenaizvršavanjaprogramasedobijaparalelizacijom§ HPCzajednočine:
§ Brziračunarskisistemi§ Brzeračunarskemreže(interconnect)§ Soiverskiala+§ Paralelneprogramskeparadigmekojiomogućavajuranijenezamislivaračunanjamogućim
SCL©2004-201713
top500.org
SCL©2004-201714
GridiHPCinicija+ve
§ Grid:§ WorldwideLHCCompu+ngGrid(WLCG)
§ Preko40država,~170sajtova§ EuropeanGridInfrastructure(EGI)
§ ~300sajtova,~730,000CPU,~300PB§ EGIFederatedCloud
§ Gridakademskihcloudinfrastrukturaivirtualizovanihresursa§ Superračunari:
§ PRACE-EvropskaHPCinicija+va§ PRACETier-0superračunari(Rmax)
- CURIE(1.7PFlop/s),MARCONI(13PFlop/s),HazalHen(7.4PFlop/s),JUQUEEN(5.9PFlop/s),MareNostrum(1.0PFlop/s),PizDaint(9.8PFlop/s),SuperMUC(3.2PFlop/s)
§ Regionalneinicija+ve§ VI-SEEMprojekat§ Dosadašnjiprojek+
§ SEE-GRIDserijaprojekata§ HP-SEE-HPCinicija+vaujugoistočnojevropi
§ Ins+tutzafizikuBeogradkoordiniraGridiHPCak+vnos+mauSrbiji
SCL©2004-201715
VI-SEEM
§ VI-SEEMprojekat-VirtualResearchEnvironment(VRE)forinterdisciplinarycommuni+esinSoutheastEuropeandtheEasternMediterranean
§ Ciljjekreiranjevirtualnogokruženjazaistraživanjenamenjenognaučnimzajednicamaizregionaizoblas+:
§ klimatologije§ bionauka,naukaoživimsistemima(lifesciences)§ digitalnogkulturnognasleđa
§ Projekatintegrišerazličiteregionalneresurse:§ Mreže§ Računarskee-Infrastukture
§ Grid§ HPC§ Cloud(IaaS)
§ e-Infrastrukturezaskladištenjepodataka
SCL©2004-201716
§ AEGIS-AkademskaiobrazovnaGridinicija+vaSrbije
§ Formirana2005.godine(~1000CPUs,40TB)
§ Ins+tutzafiziku:
§ PARADOXIII(AEGIS01-IPB-SCL)
§ CoreGridservisi
NacionalnaGridinfrastruktura
SCL©2004-201717
§ PARADOXIVinstalacija
§ Rekovisavodenimhladjenjem
§ 106mašina,1696CPUs
§ 2x8-coreIntelSandyBridge
§ 32GBofRAM
§ 106GPUNVIDIATeslaM2090
§ 96TBskladišnogprostora
§ Lustreparalelnifajlsistem
§ QDRInfiniband40Gbps
NacionalnaHPCinfrastruktura[1/2]
SCL©2004-201718
§ BioIRCHPCsistem
§ LociranuBioIRC-BioengineeringR&DCentruuKragujevcu
§ 2management/storageservera-12TBskladišnogprostora,
LustreFS
§ 22WNs
§ 2xIntelXeonE5-2670,16cores,64GBRAM
§ 4TeslaM2090
§ InfinibandQDRinterconnect
NacionalnaHPCinfrastruktura[2/2]
SCL©2004-201719
?
Pitanja