herconfigureerbare optische interconnectie-netwerken voor multiprocessor-architecturen met gedeeld...
TRANSCRIPT
Herconfigureerbare optische interconnectie-netwerken voor
multiprocessor-architecturen met gedeeld geheugen
Wim HeirmanPromotoren: prof. Jan Van Campenhout
en prof. Dirk Stroobandt
Publieke doctoraatsverdediging – 9 juli 2008
2
Enkele jaren terug…
‘computer’: iemand die berekeningen uitvoert
3
Sneller resultaten: parallellisme
• Meerdere mensen werken tegelijk (in parallel) samen aan één taak
4
Communicatie: dichtste buur
• Communicatie van invoergegevens, tussenresultaten, …
5
Communicatie: lange afstand
?
• Lange-afstandscommunicatie: via tussenstappen
6
Communicatie: directe verbindingen
• Met meer technologie: (beperkt aantal) directe verbindingen
Communicatie beperkt prestaties
• Meerdere rekenaars nodig voor voldoende prestaties
• Communicatie beperkt prestaties– Trage communicatie = lange wachttijd
voordat het resultaat beschikbaar is– Deelname in communicatie van
anderen
• Meer rekenaars = kleinere deelproblemen = meer communicatie = meer vertraging… 7parallellisme
pre
stati
es
Computers worden steeds sneller
• Gebruiker wil meer details in games, betere weersvoorspellingen
• Processor (rekeneenheid) wordt sneller: meer bewerkingen (+, -, ×, ÷, …) per seconde
8
9
Nood aan parallelle verwerking
• Sinds 1960: één enkele processor niet genoeg voor sommige toepassingen
• Supercomputers: Cray, SGI, IBM (weersvoorspelling, fysische simulaties)
• Servers: IBM, Sun (Internet servers, databanken)
10
Nood aan parallelle verwerking
• 2005: mogelijke verbeteringen per processor raken uitgeput, hogere prestatie enkel nog mogelijk met meerdere processors
• Multicore: meerdere processors op één chip (Intel Core2 Duo)
• Multiprocessing– nu: desktops, laptops– straks: PDA’s, GSM’s, …
11
Het communicatienetwerk
Processoren en geheugenelementen, verbonden via een communicatienetwerk
Communicatienetwerk
CPU MEM
NetIFCPU MEM
NetIF
CPU MEM
NetIF
CPU MEM
NetIF
CPU MEM
NetIF
12
Netwerktopologie
boom rooster
• All-to-all technologisch niet mogelijk• Beperkt aantal ‘buren’ per processor• Vorm van het netwerk (‘topologie’):
vaste, regelmatige structuur
13
Gedeeld geheugen: de ‘netwerkkloof’
CPUMEM
NetIF
CPU MEM
NetIF
CPU MEM
NetIF
CPU MEM
NetIF
CPU MEM
NetIF
CPU MEM
NetIF
CPU MEM
NetIF
CPU MEM
NetIF
CPU MEM
NetIF
Netwerk maakt deel uit van de geheugenhiërarchie
cache
instructie: 0.5 ns
cache: 5 ns
DDR: 50 ns
netwerk: 500 ns
Enorme prestatie-invloed van niet-uniforme toegangstijd
Moeilijk door de programmeur in te schatten!
14
Communicatiepatronenkunnen sterk verschillen
Tussen programma’s onderling
weersvoorspelling:dichtse buur
galactische simulatie:all-to-all
15
Communicatiepatronenkunnen sterk verschillen
Tijdens één programma
Fast Fourrier Transform: variabel
16
NetwerkvereistenNiet-uniforme belasting in tijd en ruimte
Kunnen we het netwerk op elk moment aanpassen aan het huidige verkeerspatroon?
CPU MEM
NetIF
CPU MEM
NetIF
CPU MEM
NetIF
CPU MEM
NetIF
CPU MEM
NetIF
CPU MEM
NetIF
CPU MEM
NetIF
CPU MEM
NetIF
CPU MEM
NetIF
time
load
Link #6
time
load
Link #10
time
load
Link #28
Onderzoeksvraag
Hoe kunnen we een herconfigureerbaar netwerk maken, en welke prestaties
kunnen we hiervan verwachten?
17
• De optimale topologie hangt af van het communicatiepatroon
• Communicatiepatroon verandert (tussen applicaties, tijdens één applicatie)
• Binnen de context van herconfigureerbare optische verbindingen met bestaande en verwachte componenten
18
Optische verbindingen
• Nu: elektrische verbindingen over koper
• Nieuwe toepassingen vereisen steeds meer bandbreedte
• Elektrische verbinding: meer vermogen nodig voor hoge bandbreedte / lange afstand
• Alternatief: overdracht van gegevens via licht
19
• Verliezen nagenoeg onafhankelijk van de lengte en de bandbreedte
• Nodige conversiestappen:
Optische verbindingen in elektronische systemen
elektrischelektrisch
laser fotodiode
optisch
20
Optisch of elektrisch?
Cho, H., Kapur, P., and Saraswat, K. C. (2004). Power comparison between high-speed electrical and optical interconnects for interchip communication. IEEE/OSA Journal of Lightwave Technology, 22(9):2021–2033.
21
Optische communicatie: over steeds kortere
afstanden
©2005 IBM
22
Optische herconfiguratie
WDM (golflengtemultiplexering)– tunable lasers / selective detectors– passive broadcast element
A
B
C
A
B
C
x
C A
A B
B C
B A
C B
A C
23
Optische herconfigureerbare componenten
optische crossbar(photonic crystal)
MEMSswitches
afstembare VCSEL laser
24
Mogelijke implementatie met goedkope componenten
CPU 1
CPU 2
...
CPU n
Broadcast element
Fiber Links
Processor nodes
Tunable lasers
CPU 1
CPU 2
...
CPU n
Photodetectors
‘Selectief’ broadcast element (VUB/TONA)
1-naar-9 broadcast: elke knoop maakt 1 extra verbinding, keuze uit 9 bestemmingen
I. Artundo, L. Desmet, W. Heirman, C. Debaes, J. Dambre, J. Van Campenhout, H. Thienpont. Selective Optical Broadcast Component for Reconfigurable Multiprocessor Interconnects. IEEE Journal on Selected Topics in Quantum Electronics: Special Issue on Optical Communication. Vol. 12 (4). 2006.
25
Bijdragen van dit werk
• Een herconfigureerbare netwerkarchitectuur
• Methoden voor snellere evaluatie• Prestatie-evaluatie
26
Herconfigureerbare optische netwerken
• Herconfigureerbaar optisch netwerk past zich aan doorheen de tijd– Aan de verkeerspatronen
van verschillende applicaties– Aan de verschillende patronen
binnen één programma
• Vrije parameters:– Mogelijke topologieën– Herconfiguratiesnelheid
27
Extra verbindingen: de ‘mobiele brigade’
• Vast basisnetwerk, + extra verbindingen
• Basisconnectiviteit, gegarandeerde prestatie
• Extra bandbreedte waar/wanneer nodig, ‘kortere’ verbindingen (minder tussenknopen)
• Eenvoudige routering, configuratie
28
Tijdsschaal van herconfiguratie
1 ns 1 μs 1 ms 1 s
(goedkope) componenten
1 vraag+antwoord
patronen binnen programma’s
verschillende programma’s
29
Transparante herconfiguratie
tijd
Opmeten netwerkverkeer
Topologie bepalen
Herconfiguratie
Nuttig gebruikvan de nieuwe
configuratie
Topologie bepalen
Herconfiguratie
Opmeten netwerkverkeer
Nuttig gebruikvan de nieuwe
configuratie
herc
on
fig
ura
tie-i
nte
rval
herconfiguratie-interval
lokaliteit in netwerkverkeer
selectie- en herconfiguratietijden« «
Selectietijd (algoritme, rekenkracht)
Herconfiguratietijd (componenten)
30
Evaluatiemethodiek
Onderzoek op systeemniveau:– Specifieke eigenschappen hardware
nog niet gekend– Wel: nuttige eigenschappen voor onze
toepassing bepalen, resultaten terugkoppelen naar onderzoek naar de componenten
+ 1 implementatie (selectieve broadcast)
31
Nood aan snelle evaluatie• Wat is de prestatie van elk netwerk?• Gedetailleerde simulatie: uren/dagen• De ontwerpruimte: combinatie van
technologieën, componenten, parameterwaarden
• ‘Exploratie van de ontwerpruimte’: snel evalueren welke combinaties voordelig zijn, gegeven de prestatievereisten en de te verwachten werklast
• Zéér veel mogelijke combinaties…
32
Parameters
cpu_speedcpu_ooo
l1d_size
l1d_assoc
l1i_hit_latency
l1i_size
l1i_assoc
l1d_hit_latency
l2_size
l2_assoc
l2_hit_latency
dir_linesize
dir_latencydir_alloc
dir_interleave l1_wb
net_flitsize
net_flitdelay
net_routerdelay
net_topology
reconf_interval
reconf_fanout
reconf_n_elinks
cpu_count
33
Methodes voor snelle evaluatie
• Bestaande methodes voor snelle netwerkevaluatie:– sterke vereenvoudiging van het
netwerkverkeer– ‘trage dynamica’ wordt meestal
weggelaten– maar dat is juist waarop
herconfiguratie steunt
• Nood aan nieuwe methodes!
34
Bijdragen van dit werk
• Een herconfigureerbare netwerkarchitectuur
• Methoden voor snellere evaluatie• Prestatie-evaluatie
35
Prestatieschatter
één gedetailleerde simulatie
communicatiepatroon
Pre
stati
esc
hatt
er
Bepaal posities extra verbindingen
Schat geheugen-toegangstijden
Voorspel prestatie
voor elkeparameter-combinatie
Bepaal posities extra verbindingen
Schat geheugen-toegangstijden
Voorspel prestatie
(uren)
(minuten)
W. Heirman, J. Dambre, I. Artundo, C. Debaes, H. Thienpont, D. Stroobandt, J. Van Campenhout. Predicting the performance of reconfigurable optical interconnects in distributed shared-memory systems. Photonic Network Communications. Vol. 15 (1). 2008.
36
Prestatieschatter
Bepaal posities van extra verbindingen
Parameters: herconfiguratie-interval (Δt), aantal extra verbindingen (n), plaatsingsalgoritme
tijd
Δt = 1n = 2
Δt = 2n = 3
37
Prestatieschatter
Schat de nieuwe geheugentoegangstijden
Geen verandering Verminderdetoegangstijd
0%
2%
4%
6%
8%
10%
12%
14%
16%
18%
20%
Netwerktype (n = 2, 4, 8, prisma)
Pre
stat
ieve
rbet
erin
g
Gemeten Geschat Gecalibreerd 38
PrestatieschatterVoornamelijk relatieve
nauwkeurigheid,voor het vergelijken van netwerken
100 μs 1 ms 10 ms
39
Congestiemodel
• Congestie: wachttijden wanneer meerdere processors één verbinding tegelijk willen gebruiken
• Toevoegen van verbindingen beïnvloedt congestie!
• 2e prestatiemodel brengt dit effect in rekening
W. Heirman, J. Dambre, J. Van Campenhout. Congestion Modeling for Reconfigurable Inter-Processor Networks. Proceedings of the 2006 International Workshop on System Level Interconnect Prediction (SLIP). 2006.
40
Model van het netwerk:wachtrijen en servicestations
Netwerkknoop
X
Link
Link
Link
• Netwerkknopen bevatten buffers (wachttijen)
• Verbindingen verzorgen de ‘service’: verzending over een traag kanaal
• Wachtlijntheorie voorspelt de wachttijden
Σ
totaletransmissietijd
41
Congestiemodel
020406080
100120140160180
geen 4 8 12 16
Aantal extra verbindingen
Gem
idd
eld
e w
ach
ttijd
Gemeten Geschat
42
Synthetisch netwerkverkeer• Laat toe alle netwerkeigenschappen te evalueren• Evenaart het gedrag van echt netwerkverkeer• Zonder de complexiteit van het simuleren van de
applicatie, OS, processors, caches, …
ApplicationOSCPU
Caches
Reconfigurablenetwork
netwerkverkeer
simulator
Synthetictraffic generator
Reconfigurablenetwork
simulator
simulatietijd ÷10
W. Heirman, J. Dambre, J. Van Campenhout. Synthetic Traffic Generation as a Tool for Dynamic Interconnect Evaluation. Proceedings of the 2007 International Workshop on System Level Interconnect Prediction (SLIP). 2007.
43
Generatie van realistisch synthetisch netwerkverkeer
• Eén volledige simulatie• Verkeersprofiel wordt
vele keren herbruikt
ApplicationOSCPU
CachesSynthetic
traffic generator
Reconfigurablenetwork
netwerkverkeer
Parameterextractie
Statistisch profiel
×1 ×n
44
Synthetisch netwerkverkeer: resultaten
150
170
190
210230
250
270
290
310
geen 2 4 8 prisma
Aantal extra verbindingen
Gem
idd
eld
e to
egan
gst
ijd
Gemeten Geschat
45
Synthetisch netwerkverkeer: variabiliteit bij kortere
simulaties
trace-driven +profiling* exec-driven* assuming traffic profile is re-used 100 times
synthetisch verkeer volledige simulatie
46
Evaluatiemethodes
snelheid
nauwkeurigheid
prestatieschatter
synthetisch netwerkverkeer
congestiemodel
simulatie
Scala aan methodes met verschillende afweging in snelheid vs. nauwkeurigheid
47
Bijdragen van dit werk
• Een herconfigureerbare netwerkarchitectuur
• Methoden voor snellere evaluatie• Prestatie-evaluatie
48
Case-study: selectieve broadcast
• Prestatie van de implementatie met selectieve broadcast (i.s.m. VUB)
• Invloed van de technologische beperkingen?
• Evaluatie met eigen technieken
W. Heirman, I. Artundo, L. Desmet, J. Dambre, C. Debaes, H. Thienpont, J. Van Campenhout. Speeding up multiprocessor machines with reconfigurable optical interconnects. Proceedings of SPIE, Optoelectronic Integrated Circuits VIII, Photonics West. Vol. 6124. 2006.
Case-study: selectieve broadcast
• 16 processors, 16 extra verbindingen
• Technologische beperkingen:– Slechts 1 extra verbinding per
processor– Volledige vs. selectieve broadcast– Lengte van het herconfiguratie-
interval
400
500
600
700
800
900
1000
Basis Willekeurig Fanout=1 Selectief (1 ms) Selectief (10 ms)
Gem
idd
eld
eto
egan
gst
ijd
49
50
1
10
100
1000
1000
0 24
816
32
0%
10%
20%
30%
40%
50%
60%
Pre
stat
ieve
rbet
erin
g
Herconfiguratie-interval (μs)
Aantalextra
verbindingen
Exploratie van de ontwerpruimte met
synthetisch netwerkverkeer
W. Heirman, I. Artundo, J. Dambre, C. Debaes, T. Pham Doan, K. Bui Viet,
H. Thienpont, J. Van Campenhout. Performance Evaluation of Large Reconfigurable Interconnects for Multiprocessor Systems. Proceedings of the International Symposium on Electrical - Electronics Engineering (ISEE). 2007.
51
Herconfigureerbare netwerken: toekomst
• Optische verbindingen worden verwacht binnen enkele jaren
• Mogelijks reeds aanwezige herconfiguratie (bv. foutrobuustheid) nuttig te gebruiken
• ‘Trage’ herconfiguratie, met reeds aanwezige componenten, geeft goedkope prestatiewinst
52
Herconfigureerbare netwerken: verder
onderzoek• Nu toegepast op ‘gedeeld geheugen’
(impliciete communicatie) en ‘transparante’ herconfiguratie
• Wat als de programmeur/compiler controle krijgt over herconfiguratie?
• ‘Snelle’ herconfiguratie met nieuwe componenten
• Toepassingsmogelijkheden in andere architecturen (videokaarten, spelconsoles, …)
Herconfigureerbare optische interconnectie-netwerken voor
multiprocessor-architecturen met gedeeld geheugen
Wim HeirmanPromotoren: prof. Jan Van Campenhout
en prof. Dirk Stroobandt
Publieke doctoraatsverdediging – 9 juli 2008