virtuális szuperszámítógép szolgáltatás kialakítása az akadémiai hálózat...
DESCRIPTION
Virtuális szuperszámítógép szolgáltatás kialakítása az akadémiai hálózat felhasználásával. Kacsuk Péter [email protected] www.lpds.sztaki.hu. A projekt jellemzői. Partnerek: Koord.: MTA SZTAKI BME IIT (Irányítástech. és Inf. Tsz.) BME IK (Inf. Központ) INNOTECH Kft. Célok : - PowerPoint PPT PresentationTRANSCRIPT
1
Virtuális szuperszámítógép szolgáltatás kialakítása az
akadémiai hálózat felhasználásával
Kacsuk Pé[email protected]
www.lpds.sztaki.hu
2
• Partnerek: – Koord.: MTA SZTAKI
– BME IIT (Irányítástech. és Inf. Tsz.)
– BME IK (Inf. Központ)
– INNOTECH Kft.
• Célok:– Virtuális szuperszámítógép (metacomputer) létrehozására
használható különböző eszközök és módszerek vizsg.-a
– a Globus és Condor rendszerek tesztelése, értékelése
– rájuk alapozva egy hazai grid infrastrukturális szolgáltatás kidolgozása klaszterek összekapcsolásával.
A projekt jellemzői
3
A metaszámítógép eredeti két célja
• Nagyobb teljesítményt elérni, mint az egyedi szuperszámítógépek és klaszterek tudnak biztosítani (high-speed computing)
• A gridben lévő számítógépek szabad ciklusainak kihasználása
(high throughput computing)
Globus-MPIGlobus-MPI
CondorCondor
Alkalmazások
Alkalmazási toolkitek
DUROC globusrunMPI Nimrod/GCondor-G HPC++
NetSolve Cactus
Grid szolgáltatásokGRAM
GSI HBM
Nexus
I/O GASSGSI-FTPMDS
A Globus réteges architektúrája
Grid szerkezet
LSF
Condor
NQEPBS
TCP
NTLinux
UDP
Solaris DiffServ
5
yourworkstation
personalCondor
Condorjobs
High throughput Computing: Condor
• Cél: A gridben lévő számítógépek szabad ciklusainak kihasználása
• Megvalósítási lépések (1): A személyes PC v. munkaállomás átalakítása személyes Condor géppé
6
yourworkstation
personalCondor
Condorjobs
SZTAKI klaszterCondor csoport
High throughput Computing: Condor
• Megvalósítási lépések (2): Intézeti Condor csoport létrehozása
7
yourworkstation
Barátságos BMECondor csoport
personalCondor
Condorjobs
SZTAKI klaszterCondor csoport
High throughput Computing: Condor
• Megvalósítási lépések (3): Intézeti Condor csoport összekapcsolása más “barátságos” Condor csoportokkal.
8
yourworkstation
Barátságos BMECondor csoport
personalCondor
Condorjobs
Magyaro.-i Grid
Condor
SZTAKI klaszterCondor csoport
glide-ins
• Megvalósítási lépések (4): Grid erőforrások ideiglenes kihasználása
9
NUG30 kvadratikus allokálási probléma
Processzorokszáma
• Megoldva 7 nap alatt 10.9 év helyett
• Az első 600K másodperc …
10
• SZTAKI installálta a Globus rendszert és erre épülve részt vett a European Grid Forum Cactus testbedjének kialakításában.
• Ennek célja volt: az európai grid kutatási potenciál demonstrálása a dallasi supercomputing konferencián
• Feladat: feketelyukak ütközésekor kialakuló gravitációs hullámok szimulációja
• Grid futtatási környezetek:– A program futtatása párhuzamosan több európai
központban– Vándorló alkalmazás futtatása
I. félévi eredmények: Globus
11
3D hullámegyenlet megoldása grid környezetben
Supercomputing’00 Dallas
SZTAKI, AEI, PSC, BSC,
ZIB, FU
SZTAKI
12
• A European Grid Forum Cactus testbedjének résztvevői 2001 áprilisában beadtak egy 5. Keretprogram pályázatot GridLab néven.
• Ennek célja: általános Grid programozási rendszer kidolgozása az MPI-hoz hasonló API-val. A szükséges Middleware rétegek (info rendszer, monitor rendszer, portál, stb. továbbfejlesztésével).
• SZTAKI feladata: monitor rendszer munkacsoport vezetése és részvétel az info rendszer kidolgozásában.
• A projekt a legjobb értékelést kapta a beadott Grid témájú 5. Keretprogram pályázatok között és jelenleg a szerződéskötés fázisában van.
I. félévi eredmények
13
• A BME IIT és IK munkatársai telepítették a Condor rendszert a helyi gépfarmokon.
• A farm mérete a felhasználástól függően változik max. 28 processzorig.
• Megkezdődtek a teszt ill. pilot alkalmazások tesztjei.• Elkezdték a teljesítmény mérésére alkalmas tesztek
kidolgozását.
I. félévi eredmények: Condor
Központi ütemező
• SZTAKI létrehozott egy 58 processzorból álló Condor poolt.
• SZTAKI Condor pool aktív használata: ~200000 job
14
II. félévi eredmények
Mester ütemező
IIT IK SZTAKI
• Condor pool-ok összekapcsolása:
• Condor M/W univerzum tesztelése (IIT)
• Condor flocking tesztelése (IIT)
15
II. félévi eredmények
• Klaszterek összekapcsolása Globusszal:
• Condor glide-in tesztelése (SZTAKI)
• Condor-G tesztelése (SZTAKI)
• Condor + MPI tesztelése (SZTAKI)
IIT
IK
SZTAKI
16
Grid programozási rétegek
PVM MW
Condor-G
Globus
Grid middlewareréteg
Grid fizikai réteg
Alacsonyszintűpárhuzamosítási réteg
Grid szintű job ütemező réteg
MPI
Lokális job ütemező réteg
Klaszterek
Condor
Klaszterek
Condor
Klaszterek
Condor
Klaszterek
Condor
17
Disszeminációs tevékenység
• Félnapos szeminárium a projekt első féléves eredményeiről:– Helyszín: MTA SZTAKI, Victor Hugo u. 18-22.– időpont: 2001. január 26. de. 10.00 - 13.30– Program és előadásanyagok letölthetők:
www.lpds.sztaki.hu
• Félnapos szeminárium a projekt második féléves eredményeiről:– Helyszín: MTA SZTAKI, Victor Hugo u. 18-22.– időpont: 2001. október 12. du. 14.00 - 17.30– Program és előadásanyagok letölthetők:
www.lpds.sztaki.hu
18
Disszeminációs tevékenység
• 1st US-Hungarian Workshop on Cluster and Grid Computing– Helyszín: Univ. of Wisconsin (UoW)– időpont: 2001. Márc. 15. előadások -16. demok– Program: Globus, Condor, P-GRADE, Harness– támogatók: US-Hungarian Action Fund, OM, UoW
• 2nd US-Hungarian Workshop on Cluster and Grid Computing– Helyszín: MTA SZTAKI, Budapest– időpont: 2002. Március eleje– támogatók: US-Hungarian Action Fund, OM, SZTAKI
19
Továbbfejlesztések: Magyar Grid Projektek
NI2000 DemoGrid
Globus, Condor Adat biztonság
Gridmonitorozás
Elosztott adatkezelés
Futó magyar projektek
IKTA-4
Portálfejlesztés Gépidő Számlázás
P-GRADE/CondorBiztonság
Magyar Szuperszámítógépes Grid
20
Grid programozási rétegek
P-GRADE
PVM MW
Condor-G
Globus
SUN HPC
Compaq AlphaServer
Compaq AlphaServer
Klaszterek
Grid middlewareréteg
Grid fizikai réteg
Magasszintűpárhuzamosítási réteg
Alacsonyszintűpárhuzamosítási réteg
Grid szintű job ütemező réteg
Condor, LSF, Sun Grid Engine
Condor, PBS, LSF
Condor
MPI
GRID portal
Web alapú GRID elérés és használat
Condor, PBS, LSF
Lokális job ütemező réteg
21
Egységes programfejlesztő és futtató rendszer a párhuzamos és elosztott rendszerek teljes
skálájára
2100
Szuper-számítógép
2100 2100 2100 2100
2100 2100 2100 2100
Klaszter Grid
GFlops
Számítógépek
Mainframe számítógép
P-GRADE
G-GRADE
P-GRADE
22
Magyar és nemzetközi GRID projektek kapcsolata
CERN LHC Grid
NI2000 DemoGrid
SuperGridCondor
CERNDataGrid
SYMBEX UK e-science
INFN Grid
GridLab
Cactus
23
Köszönöm a figyelmüketKöszönöm a figyelmüket
?
További információ: www.lpds.sztaki.hu