![Page 1: Our Green Future « Peur bleue » ou « vie en rose » ? 3 visionsperso.ens-lyon.fr/laurent.lefevre/greendayslyon/XFV_GreenDays.pdf · Bull Extreme Computing - ©2011 9 top3 10 051](https://reader034.vdocuments.pub/reader034/viewer/2022050102/5f4179de56b75e2938746833/html5/thumbnails/1.jpg)
Our Green Future
« Peur bleue » ou « vie en rose » ?
3 visions
Xavier VIGOUROUX Responsable « Educ Research » for HPC in Bull Adam Brown © - http://adambrownfolio.wordpress.com/
![Page 2: Our Green Future « Peur bleue » ou « vie en rose » ? 3 visionsperso.ens-lyon.fr/laurent.lefevre/greendayslyon/XFV_GreenDays.pdf · Bull Extreme Computing - ©2011 9 top3 10 051](https://reader034.vdocuments.pub/reader034/viewer/2022050102/5f4179de56b75e2938746833/html5/thumbnails/2.jpg)
2 Bull Extreme Computing - ©2011
19
96
Ph
D
Who am I
![Page 3: Our Green Future « Peur bleue » ou « vie en rose » ? 3 visionsperso.ens-lyon.fr/laurent.lefevre/greendayslyon/XFV_GreenDays.pdf · Bull Extreme Computing - ©2011 9 top3 10 051](https://reader034.vdocuments.pub/reader034/viewer/2022050102/5f4179de56b75e2938746833/html5/thumbnails/3.jpg)
3 Bull Extreme Computing - ©2011
2007
2010
2014
Revenue Split ROW vs France
2007 2008 2009 2010 2011
2007 2008 2009 2010 2011
HPC experts The largest group of
HPC experts in Europe
Revenue Sustained global
growth with a strong international focus
Bull in Extreme Computing
![Page 4: Our Green Future « Peur bleue » ou « vie en rose » ? 3 visionsperso.ens-lyon.fr/laurent.lefevre/greendayslyon/XFV_GreenDays.pdf · Bull Extreme Computing - ©2011 9 top3 10 051](https://reader034.vdocuments.pub/reader034/viewer/2022050102/5f4179de56b75e2938746833/html5/thumbnails/4.jpg)
4 Bull Extreme Computing - ©2011
![Page 5: Our Green Future « Peur bleue » ou « vie en rose » ? 3 visionsperso.ens-lyon.fr/laurent.lefevre/greendayslyon/XFV_GreenDays.pdf · Bull Extreme Computing - ©2011 9 top3 10 051](https://reader034.vdocuments.pub/reader034/viewer/2022050102/5f4179de56b75e2938746833/html5/thumbnails/5.jpg)
5 Bull Extreme Computing - ©2011
![Page 7: Our Green Future « Peur bleue » ou « vie en rose » ? 3 visionsperso.ens-lyon.fr/laurent.lefevre/greendayslyon/XFV_GreenDays.pdf · Bull Extreme Computing - ©2011 9 top3 10 051](https://reader034.vdocuments.pub/reader034/viewer/2022050102/5f4179de56b75e2938746833/html5/thumbnails/7.jpg)
![Page 8: Our Green Future « Peur bleue » ou « vie en rose » ? 3 visionsperso.ens-lyon.fr/laurent.lefevre/greendayslyon/XFV_GreenDays.pdf · Bull Extreme Computing - ©2011 9 top3 10 051](https://reader034.vdocuments.pub/reader034/viewer/2022050102/5f4179de56b75e2938746833/html5/thumbnails/8.jpg)
8 Bull Extreme Computing - ©2011
m.
Linpack
Ax = b Flops/s
top500.
![Page 9: Our Green Future « Peur bleue » ou « vie en rose » ? 3 visionsperso.ens-lyon.fr/laurent.lefevre/greendayslyon/XFV_GreenDays.pdf · Bull Extreme Computing - ©2011 9 top3 10 051](https://reader034.vdocuments.pub/reader034/viewer/2022050102/5f4179de56b75e2938746833/html5/thumbnails/9.jpg)
9 Bull Extreme Computing - ©2011
top3
10 051 Tflops/s
11 280 Tflops/s
705 024 cœurs sparc
2 566 Tflops/s
4 701 Tflops/s
186 368 cœurs Xeon +
7 168 accélérateurs
1 759 Tflops
2 331 Tflops
224 162 cœurs AMD
![Page 10: Our Green Future « Peur bleue » ou « vie en rose » ? 3 visionsperso.ens-lyon.fr/laurent.lefevre/greendayslyon/XFV_GreenDays.pdf · Bull Extreme Computing - ©2011 9 top3 10 051](https://reader034.vdocuments.pub/reader034/viewer/2022050102/5f4179de56b75e2938746833/html5/thumbnails/10.jpg)
10 Bull Extreme Computing - ©2011
TERA 100 1.25 PetaFlops
140 000+ Xeon cores
256 TB memory
30 PB disk storage
500 GB/s IO throughput
580 m² footprint
CURIE 2 PetaFlops
90 000+ Xeon cores 148 000 GPU cores
360 TB memory
10 PB disk storage
250 GB/s IO throughput
200 m² footprint
IFERC 1,5 PetaFlops
70 000+ Xeon cores
280 TB memory
15 PB disk storage
120 GB/s IO throughput
200 m² footprint
3 petaflop-scale systems
![Page 11: Our Green Future « Peur bleue » ou « vie en rose » ? 3 visionsperso.ens-lyon.fr/laurent.lefevre/greendayslyon/XFV_GreenDays.pdf · Bull Extreme Computing - ©2011 9 top3 10 051](https://reader034.vdocuments.pub/reader034/viewer/2022050102/5f4179de56b75e2938746833/html5/thumbnails/11.jpg)
11 Bull Extreme Computing - ©2011
TERA 100 GPU-based extension 198 bullx B505 accelerator
blades 396 NVIDIA® Tesla™
M2090 GPU processors 202,752 GPU cores
CURIE GPU-based extension 144 bullx B505 accelerator
blades 288 NVIDIA® Tesla™
M2090 GPU processors 147,456 GPU cores
BSC GPU-based system 126 bullx B505 accelerator
blades 252 NVIDIA® Tesla™
M2090 GPU processors 129,024 GPU cores
3 large GPU based systems
#7 – green500
![Page 12: Our Green Future « Peur bleue » ou « vie en rose » ? 3 visionsperso.ens-lyon.fr/laurent.lefevre/greendayslyon/XFV_GreenDays.pdf · Bull Extreme Computing - ©2011 9 top3 10 051](https://reader034.vdocuments.pub/reader034/viewer/2022050102/5f4179de56b75e2938746833/html5/thumbnails/12.jpg)
12 Bull Extreme Computing - ©2011
Rank Site Country Year Rmax Rpeak Effeciency (%)
9 Commissariat a l'Energie Atomique (CEA) France 2010 1050000 1254550 83,70%
27 Bull France 2011 360868 442368 81,58%
28
International Fusion Energy Research Centre (IFERC), EU(F4E) - Japan Broader Approach collaboration Japan 2011 360868 442368 81,58%
36 Forschungszentrum Juelich (FZJ) Germany 2009 274800 308282,88 89,14%
47 Universitaet Aachen/RWTH Germany 2011 219838 270538 81,26%
75 Commissariat a l'Energie Atomique (CEA) France 2011 154000 274560 56,09%
93 Atomic Weapons Establishment
United Kingdom 2010 124600 145152 85,84%
102 Tres Grand Centre de calcul du CEA France 2011 109900 198161,6 55,46%
106 Commissariat a l'Energie Atomique (CEA)/CCRT France 2010 108500 129998 83,46%
110 Bull France 2011 106998 124416 86,00%
114 Barcelona Supercomputing Center Spain 2011 103200 182881,44 56,43%
148 Bull France 2010 87470 104602 83,62%
149 Commissariat a l'Energie Atomique (CEA) France 2010 87470 104417 83,77%
154 University of Cologne, Regional Computing Centre Germany 2010 85900 100171 85,75%
459 Commissariat a l'Energie Atomique (CEA) France 2006 52840 63795,2 82,83%
#1
1,13 Pflops
1,36 Pflops
![Page 13: Our Green Future « Peur bleue » ou « vie en rose » ? 3 visionsperso.ens-lyon.fr/laurent.lefevre/greendayslyon/XFV_GreenDays.pdf · Bull Extreme Computing - ©2011 9 top3 10 051](https://reader034.vdocuments.pub/reader034/viewer/2022050102/5f4179de56b75e2938746833/html5/thumbnails/13.jpg)
13 Bull Extreme Computing - ©2011
Bull #5 – x86 world wide
![Page 14: Our Green Future « Peur bleue » ou « vie en rose » ? 3 visionsperso.ens-lyon.fr/laurent.lefevre/greendayslyon/XFV_GreenDays.pdf · Bull Extreme Computing - ©2011 9 top3 10 051](https://reader034.vdocuments.pub/reader034/viewer/2022050102/5f4179de56b75e2938746833/html5/thumbnails/14.jpg)
14 Bull Extreme Computing - ©2011
Bull #1 – x86 in Europe
![Page 15: Our Green Future « Peur bleue » ou « vie en rose » ? 3 visionsperso.ens-lyon.fr/laurent.lefevre/greendayslyon/XFV_GreenDays.pdf · Bull Extreme Computing - ©2011 9 top3 10 051](https://reader034.vdocuments.pub/reader034/viewer/2022050102/5f4179de56b75e2938746833/html5/thumbnails/15.jpg)
15 Bull Extreme Computing - ©2011
![Page 16: Our Green Future « Peur bleue » ou « vie en rose » ? 3 visionsperso.ens-lyon.fr/laurent.lefevre/greendayslyon/XFV_GreenDays.pdf · Bull Extreme Computing - ©2011 9 top3 10 051](https://reader034.vdocuments.pub/reader034/viewer/2022050102/5f4179de56b75e2938746833/html5/thumbnails/16.jpg)
16 Bull Extreme Computing - ©2011
![Page 17: Our Green Future « Peur bleue » ou « vie en rose » ? 3 visionsperso.ens-lyon.fr/laurent.lefevre/greendayslyon/XFV_GreenDays.pdf · Bull Extreme Computing - ©2011 9 top3 10 051](https://reader034.vdocuments.pub/reader034/viewer/2022050102/5f4179de56b75e2938746833/html5/thumbnails/17.jpg)
17 Bull Extreme Computing - ©2011
Source: “Advanced Scientific Computing Research”, Walter M. Polansky, 27 avril 2010
![Page 18: Our Green Future « Peur bleue » ou « vie en rose » ? 3 visionsperso.ens-lyon.fr/laurent.lefevre/greendayslyon/XFV_GreenDays.pdf · Bull Extreme Computing - ©2011 9 top3 10 051](https://reader034.vdocuments.pub/reader034/viewer/2022050102/5f4179de56b75e2938746833/html5/thumbnails/18.jpg)
![Page 19: Our Green Future « Peur bleue » ou « vie en rose » ? 3 visionsperso.ens-lyon.fr/laurent.lefevre/greendayslyon/XFV_GreenDays.pdf · Bull Extreme Computing - ©2011 9 top3 10 051](https://reader034.vdocuments.pub/reader034/viewer/2022050102/5f4179de56b75e2938746833/html5/thumbnails/19.jpg)
19 Bull Extreme Computing - ©2011
Decomposition
Generation Transport and Transformation
Utilization Cooling
![Page 20: Our Green Future « Peur bleue » ou « vie en rose » ? 3 visionsperso.ens-lyon.fr/laurent.lefevre/greendayslyon/XFV_GreenDays.pdf · Bull Extreme Computing - ©2011 9 top3 10 051](https://reader034.vdocuments.pub/reader034/viewer/2022050102/5f4179de56b75e2938746833/html5/thumbnails/20.jpg)
20 Bull Extreme Computing - ©2011
Flop/s/W x56 kei (sparc) x43 tianhe (GPU) x150 Jaguar (AMD)
Considering Peak performance Considering Compute nodes consumption
Where will we find this factor ?
![Page 21: Our Green Future « Peur bleue » ou « vie en rose » ? 3 visionsperso.ens-lyon.fr/laurent.lefevre/greendayslyon/XFV_GreenDays.pdf · Bull Extreme Computing - ©2011 9 top3 10 051](https://reader034.vdocuments.pub/reader034/viewer/2022050102/5f4179de56b75e2938746833/html5/thumbnails/21.jpg)
21 Bull Extreme Computing - ©2011
Get more flops with Vectorization
Non vect
Non vect
Non vect
Vect
Vect
Vect
64b
128b
256b (SSE4)
Non vect Vect 512b (AVX)
![Page 22: Our Green Future « Peur bleue » ou « vie en rose » ? 3 visionsperso.ens-lyon.fr/laurent.lefevre/greendayslyon/XFV_GreenDays.pdf · Bull Extreme Computing - ©2011 9 top3 10 051](https://reader034.vdocuments.pub/reader034/viewer/2022050102/5f4179de56b75e2938746833/html5/thumbnails/22.jpg)
22 Bull Extreme Computing - ©2011
Get more flops with ILP
Source: ISSCC 2010 TRENDS REPORT
![Page 23: Our Green Future « Peur bleue » ou « vie en rose » ? 3 visionsperso.ens-lyon.fr/laurent.lefevre/greendayslyon/XFV_GreenDays.pdf · Bull Extreme Computing - ©2011 9 top3 10 051](https://reader034.vdocuments.pub/reader034/viewer/2022050102/5f4179de56b75e2938746833/html5/thumbnails/23.jpg)
23 Bull Extreme Computing - ©2011
Get more flops with CPU freq
More GHz, more flops…much More Watt
Less GHz, less flops … less watt
CPU should be adjustable according to program needs : Why being fast to wqit for others.
Source: ISSCC 2010 TRENDS REPORT
![Page 24: Our Green Future « Peur bleue » ou « vie en rose » ? 3 visionsperso.ens-lyon.fr/laurent.lefevre/greendayslyon/XFV_GreenDays.pdf · Bull Extreme Computing - ©2011 9 top3 10 051](https://reader034.vdocuments.pub/reader034/viewer/2022050102/5f4179de56b75e2938746833/html5/thumbnails/24.jpg)
24 Bull Extreme Computing - ©2011
Get more flops with more slower cores
Source: ISSCC 2010 TRENDS REPORT
![Page 25: Our Green Future « Peur bleue » ou « vie en rose » ? 3 visionsperso.ens-lyon.fr/laurent.lefevre/greendayslyon/XFV_GreenDays.pdf · Bull Extreme Computing - ©2011 9 top3 10 051](https://reader034.vdocuments.pub/reader034/viewer/2022050102/5f4179de56b75e2938746833/html5/thumbnails/25.jpg)
25 Bull Extreme Computing - ©2011
“A fairly obvious conclusion which can be drawn is that the effort expended on
achieving high parallel processing rates is wasted unless it is accompanied by achievements in sequential processing
rates of very nearly the same magnitude.” Gene M. Amdahl – 1967
http://www-inst.eecs.berkeley.edu/~n252/paper/Amdahl.pdf
![Page 26: Our Green Future « Peur bleue » ou « vie en rose » ? 3 visionsperso.ens-lyon.fr/laurent.lefevre/greendayslyon/XFV_GreenDays.pdf · Bull Extreme Computing - ©2011 9 top3 10 051](https://reader034.vdocuments.pub/reader034/viewer/2022050102/5f4179de56b75e2938746833/html5/thumbnails/26.jpg)
26 Bull Extreme Computing - ©2011
Dark silicon
Currently, the broader computing community is in consensus that we are in “the multicore era.” Consensus is often dangerous, however. Given the low performance returns assuming conservative (and to some degree ITRS) scaling, adding more cores will not provide suficient benefit to justify continued process scaling. If multicore scaling ceases to be the primary driver of performance gains at 16nm (in 2014) the “multicore era” will have lasted a mere nine years, a short-lived attempt to defeat the inexorable consequences of Dennard scaling’s failure
“Dark Silicon and the End of Multicore Scaling” (ISCA’11), Hadi Esmaeilzadehy Emily Blem, Renée St. Amant, Karthikeyan Sankaralingam, Doug Burger
![Page 27: Our Green Future « Peur bleue » ou « vie en rose » ? 3 visionsperso.ens-lyon.fr/laurent.lefevre/greendayslyon/XFV_GreenDays.pdf · Bull Extreme Computing - ©2011 9 top3 10 051](https://reader034.vdocuments.pub/reader034/viewer/2022050102/5f4179de56b75e2938746833/html5/thumbnails/27.jpg)
27 Bull Extreme Computing - ©2011
Manage the memory hierarchy
Caches
More Caches (non volatile ?)
Local memory
More local memories (non volatile)
Same node memory
Remote node memory
Fast Storage SSD
Fast Storage HDDs
Permanent Disks Storage (HDDs)
… tapes …
Fast
To
Slow
![Page 28: Our Green Future « Peur bleue » ou « vie en rose » ? 3 visionsperso.ens-lyon.fr/laurent.lefevre/greendayslyon/XFV_GreenDays.pdf · Bull Extreme Computing - ©2011 9 top3 10 051](https://reader034.vdocuments.pub/reader034/viewer/2022050102/5f4179de56b75e2938746833/html5/thumbnails/28.jpg)
28 Bull Extreme Computing - ©2011
« Free lunch is over » (2005)
Source: http://www.gotw.ca/publications/concurrency-ddj.htm
![Page 29: Our Green Future « Peur bleue » ou « vie en rose » ? 3 visionsperso.ens-lyon.fr/laurent.lefevre/greendayslyon/XFV_GreenDays.pdf · Bull Extreme Computing - ©2011 9 top3 10 051](https://reader034.vdocuments.pub/reader034/viewer/2022050102/5f4179de56b75e2938746833/html5/thumbnails/29.jpg)
29 Bull Extreme Computing - ©2011
![Page 30: Our Green Future « Peur bleue » ou « vie en rose » ? 3 visionsperso.ens-lyon.fr/laurent.lefevre/greendayslyon/XFV_GreenDays.pdf · Bull Extreme Computing - ©2011 9 top3 10 051](https://reader034.vdocuments.pub/reader034/viewer/2022050102/5f4179de56b75e2938746833/html5/thumbnails/30.jpg)
30 Bull Extreme Computing - ©2011
Parallélisme inter-nœud (mémoire distribuée)
Parallélisme intra-nœud (mémoire partagée)
Parallélisme au niveau instruction
![Page 31: Our Green Future « Peur bleue » ou « vie en rose » ? 3 visionsperso.ens-lyon.fr/laurent.lefevre/greendayslyon/XFV_GreenDays.pdf · Bull Extreme Computing - ©2011 9 top3 10 051](https://reader034.vdocuments.pub/reader034/viewer/2022050102/5f4179de56b75e2938746833/html5/thumbnails/31.jpg)
31 Bull Extreme Computing - ©2011
Get less Watt by simplifying
![Page 32: Our Green Future « Peur bleue » ou « vie en rose » ? 3 visionsperso.ens-lyon.fr/laurent.lefevre/greendayslyon/XFV_GreenDays.pdf · Bull Extreme Computing - ©2011 9 top3 10 051](https://reader034.vdocuments.pub/reader034/viewer/2022050102/5f4179de56b75e2938746833/html5/thumbnails/32.jpg)
32 Bull Extreme Computing - ©2011
![Page 33: Our Green Future « Peur bleue » ou « vie en rose » ? 3 visionsperso.ens-lyon.fr/laurent.lefevre/greendayslyon/XFV_GreenDays.pdf · Bull Extreme Computing - ©2011 9 top3 10 051](https://reader034.vdocuments.pub/reader034/viewer/2022050102/5f4179de56b75e2938746833/html5/thumbnails/33.jpg)
33 Bull Extreme Computing - ©2011
GPU throuput cores
512 coeurs à 2,1 GHz (1 flop/cycle)
![Page 34: Our Green Future « Peur bleue » ou « vie en rose » ? 3 visionsperso.ens-lyon.fr/laurent.lefevre/greendayslyon/XFV_GreenDays.pdf · Bull Extreme Computing - ©2011 9 top3 10 051](https://reader034.vdocuments.pub/reader034/viewer/2022050102/5f4179de56b75e2938746833/html5/thumbnails/34.jpg)
34 Bull Extreme Computing - ©2011
x86 many cores
![Page 35: Our Green Future « Peur bleue » ou « vie en rose » ? 3 visionsperso.ens-lyon.fr/laurent.lefevre/greendayslyon/XFV_GreenDays.pdf · Bull Extreme Computing - ©2011 9 top3 10 051](https://reader034.vdocuments.pub/reader034/viewer/2022050102/5f4179de56b75e2938746833/html5/thumbnails/35.jpg)
35 Bull Extreme Computing - ©2011
![Page 36: Our Green Future « Peur bleue » ou « vie en rose » ? 3 visionsperso.ens-lyon.fr/laurent.lefevre/greendayslyon/XFV_GreenDays.pdf · Bull Extreme Computing - ©2011 9 top3 10 051](https://reader034.vdocuments.pub/reader034/viewer/2022050102/5f4179de56b75e2938746833/html5/thumbnails/36.jpg)
36 Bull Extreme Computing - ©2011
0,00%
20,00%
40,00%
60,00%
80,00%
100,00%
120,00%
0
2000000
4000000
6000000
8000000
10000000
12000000
Rmax Rpeak Efficiency (%)
![Page 37: Our Green Future « Peur bleue » ou « vie en rose » ? 3 visionsperso.ens-lyon.fr/laurent.lefevre/greendayslyon/XFV_GreenDays.pdf · Bull Extreme Computing - ©2011 9 top3 10 051](https://reader034.vdocuments.pub/reader034/viewer/2022050102/5f4179de56b75e2938746833/html5/thumbnails/37.jpg)
37 Bull Extreme Computing - ©2011
![Page 38: Our Green Future « Peur bleue » ou « vie en rose » ? 3 visionsperso.ens-lyon.fr/laurent.lefevre/greendayslyon/XFV_GreenDays.pdf · Bull Extreme Computing - ©2011 9 top3 10 051](https://reader034.vdocuments.pub/reader034/viewer/2022050102/5f4179de56b75e2938746833/html5/thumbnails/38.jpg)
![Page 39: Our Green Future « Peur bleue » ou « vie en rose » ? 3 visionsperso.ens-lyon.fr/laurent.lefevre/greendayslyon/XFV_GreenDays.pdf · Bull Extreme Computing - ©2011 9 top3 10 051](https://reader034.vdocuments.pub/reader034/viewer/2022050102/5f4179de56b75e2938746833/html5/thumbnails/39.jpg)
39 Bull Extreme Computing - ©2011
Considering peak performance Considering Data Center Cost Compute nodes consumption
What can we optimize ?
![Page 40: Our Green Future « Peur bleue » ou « vie en rose » ? 3 visionsperso.ens-lyon.fr/laurent.lefevre/greendayslyon/XFV_GreenDays.pdf · Bull Extreme Computing - ©2011 9 top3 10 051](https://reader034.vdocuments.pub/reader034/viewer/2022050102/5f4179de56b75e2938746833/html5/thumbnails/40.jpg)
40 Bull Extreme Computing - ©2011
Decomposition
Generation Transport and Transformation
Utilization Cooling
![Page 41: Our Green Future « Peur bleue » ou « vie en rose » ? 3 visionsperso.ens-lyon.fr/laurent.lefevre/greendayslyon/XFV_GreenDays.pdf · Bull Extreme Computing - ©2011 9 top3 10 051](https://reader034.vdocuments.pub/reader034/viewer/2022050102/5f4179de56b75e2938746833/html5/thumbnails/41.jpg)
41 Bull Extreme Computing - ©2011
![Page 42: Our Green Future « Peur bleue » ou « vie en rose » ? 3 visionsperso.ens-lyon.fr/laurent.lefevre/greendayslyon/XFV_GreenDays.pdf · Bull Extreme Computing - ©2011 9 top3 10 051](https://reader034.vdocuments.pub/reader034/viewer/2022050102/5f4179de56b75e2938746833/html5/thumbnails/42.jpg)
42 Bull Extreme Computing - ©2011
Jonathan Koomey. 2011. Growth in data center electricity use 2005 to 2010. Oakland, CA: Analytics Press. July
Get more flops with optimized load
o HPC machine are heavily used,
o Batch scheduler are efficient
o Shutdown/Restart brings small gains even with NVRAM
But,
o Fault tolerance may become an issue and waste energy
![Page 43: Our Green Future « Peur bleue » ou « vie en rose » ? 3 visionsperso.ens-lyon.fr/laurent.lefevre/greendayslyon/XFV_GreenDays.pdf · Bull Extreme Computing - ©2011 9 top3 10 051](https://reader034.vdocuments.pub/reader034/viewer/2022050102/5f4179de56b75e2938746833/html5/thumbnails/43.jpg)
43 Bull Extreme Computing - ©2011
![Page 44: Our Green Future « Peur bleue » ou « vie en rose » ? 3 visionsperso.ens-lyon.fr/laurent.lefevre/greendayslyon/XFV_GreenDays.pdf · Bull Extreme Computing - ©2011 9 top3 10 051](https://reader034.vdocuments.pub/reader034/viewer/2022050102/5f4179de56b75e2938746833/html5/thumbnails/44.jpg)
46 Bull Extreme Computing - ©2011
Compute nodes
power = 148,46 x load + 200,78
0 W
50 W
100 W
150 W
200 W
250 W
300 W
350 W
400 W
0,00% 10,00% 20,00% 30,00% 40,00% 50,00% 60,00% 70,00% 80,00% 90,00% 100,00%
Westmere
When machine is idle
When Machine Is fully loaded
Better utilization
![Page 45: Our Green Future « Peur bleue » ou « vie en rose » ? 3 visionsperso.ens-lyon.fr/laurent.lefevre/greendayslyon/XFV_GreenDays.pdf · Bull Extreme Computing - ©2011 9 top3 10 051](https://reader034.vdocuments.pub/reader034/viewer/2022050102/5f4179de56b75e2938746833/html5/thumbnails/45.jpg)
47 Bull Extreme Computing - ©2011
0
100
200
300
400
500
600
700
800
900
0 500 1000 1500 2000 2500 3000 3500
R422 (W) R421 (W)
boot 421
boot 422
Linpack
Idle
R421: E5472+32Go@800MHz+2xSATAConnectX
R422: E5472+16Go@800MHz+2xSATA+ConnectX
Get less Watt per concentrating
![Page 46: Our Green Future « Peur bleue » ou « vie en rose » ? 3 visionsperso.ens-lyon.fr/laurent.lefevre/greendayslyon/XFV_GreenDays.pdf · Bull Extreme Computing - ©2011 9 top3 10 051](https://reader034.vdocuments.pub/reader034/viewer/2022050102/5f4179de56b75e2938746833/html5/thumbnails/46.jpg)
48 Bull Extreme Computing - ©2011
Joule Effect
Power consumption can be split in two parts:
- 2/3 are dynamic (when gates are chinging their states) and
- 1/3 is static due to leaks
- Voltage has to be high with high frequency (to have clear rising edges)
Sources http://en.wikipedia.org/wiki/CMOS http://en.wikipedia.org/wiki/Dynamic_frequency_scaling « Low voltage, low power VLSI subsystems », Kiat Seng Yeo, Kaushik Roy
Pswitching = Capacitance.Voltage2.frequency
Pstand-by = Ileak . Voltage
![Page 47: Our Green Future « Peur bleue » ou « vie en rose » ? 3 visionsperso.ens-lyon.fr/laurent.lefevre/greendayslyon/XFV_GreenDays.pdf · Bull Extreme Computing - ©2011 9 top3 10 051](https://reader034.vdocuments.pub/reader034/viewer/2022050102/5f4179de56b75e2938746833/html5/thumbnails/47.jpg)
49 Bull Extreme Computing - ©2011
Get less watt with Memory
o Memory is becoming resistive
o Several technologies : PCRAM, memristor (2008)
o High density, very good cyclability
o Side effect,
omemory becomes non-volatile.
o Shudown becomes more efficient (in time and power)
http://agigatech.com/blog/pcm-phase-change-memory-basics-and-technology-advances/ http://julie.grollier.free.fr/memristors.htm
![Page 48: Our Green Future « Peur bleue » ou « vie en rose » ? 3 visionsperso.ens-lyon.fr/laurent.lefevre/greendayslyon/XFV_GreenDays.pdf · Bull Extreme Computing - ©2011 9 top3 10 051](https://reader034.vdocuments.pub/reader034/viewer/2022050102/5f4179de56b75e2938746833/html5/thumbnails/48.jpg)
50 Bull Extreme Computing - ©2011
Get less watt with Transistor innovation
Source: Intel Developper forum 2011 http://www.ece.neu.edu/groups/hpvlsi/publication/2009IMTC_CHO.pdf
o faster (+37%)
o Much less leak
o Lower Voltage
o 50% less power consumption Carbon Nanotubes
![Page 49: Our Green Future « Peur bleue » ou « vie en rose » ? 3 visionsperso.ens-lyon.fr/laurent.lefevre/greendayslyon/XFV_GreenDays.pdf · Bull Extreme Computing - ©2011 9 top3 10 051](https://reader034.vdocuments.pub/reader034/viewer/2022050102/5f4179de56b75e2938746833/html5/thumbnails/49.jpg)
51 Bull Extreme Computing - ©2011
Get more perf Stacking and photonic
Higher Bandwidth,
Lower latency
Efficient data Moving
More performance
http://www.research.ibm.com/photonics/publications/SEMICON_Tokyo_12_1_2010.pdf
![Page 50: Our Green Future « Peur bleue » ou « vie en rose » ? 3 visionsperso.ens-lyon.fr/laurent.lefevre/greendayslyon/XFV_GreenDays.pdf · Bull Extreme Computing - ©2011 9 top3 10 051](https://reader034.vdocuments.pub/reader034/viewer/2022050102/5f4179de56b75e2938746833/html5/thumbnails/50.jpg)
52 Bull Extreme Computing - ©2011
Get less watt with balancing
15% of the energy is lost in UPS
Power supply unit has an efficiency depending on the power
Many transformations ([1] is great)
0
10
20
30
40
50
60
70
80
90
100
0 50 100 150 200 250 300
%
Load (V)
Efficiency (240V)
82
83
84
85
86
87
88
89
90
91
92
93
0 50 100 150 200 250 300
%
Load (V)
Efficiency (240V)
[1] http://www.thegreengrid.org/~/media/WhitePapers/IssuesRelatingtotheAdoptionofHVdcPowerintheDataCenter_v1.ashx?lang=en
![Page 51: Our Green Future « Peur bleue » ou « vie en rose » ? 3 visionsperso.ens-lyon.fr/laurent.lefevre/greendayslyon/XFV_GreenDays.pdf · Bull Extreme Computing - ©2011 9 top3 10 051](https://reader034.vdocuments.pub/reader034/viewer/2022050102/5f4179de56b75e2938746833/html5/thumbnails/51.jpg)
53 Bull Extreme Computing - ©2011
Get less watt with balancing
1 2
3 4
![Page 52: Our Green Future « Peur bleue » ou « vie en rose » ? 3 visionsperso.ens-lyon.fr/laurent.lefevre/greendayslyon/XFV_GreenDays.pdf · Bull Extreme Computing - ©2011 9 top3 10 051](https://reader034.vdocuments.pub/reader034/viewer/2022050102/5f4179de56b75e2938746833/html5/thumbnails/52.jpg)
54 Bull Extreme Computing - ©2011
Get less watt by removing UPS
![Page 53: Our Green Future « Peur bleue » ou « vie en rose » ? 3 visionsperso.ens-lyon.fr/laurent.lefevre/greendayslyon/XFV_GreenDays.pdf · Bull Extreme Computing - ©2011 9 top3 10 051](https://reader034.vdocuments.pub/reader034/viewer/2022050102/5f4179de56b75e2938746833/html5/thumbnails/53.jpg)
55 Bull Extreme Computing - ©2011
Less Watt with power capping
power consumption for each rack and the whole cluster, with GUI
action launched when power consumption reaches warning/critical threshold (default action is log + mail only, power capping possible).
- log + mail when N temperature upper non critical alerts (WARNING) from distinct hosts are catched by the powerManager in less than P seconds (N=3, P=5 by default).
- log + mail when N temperature upper critical alerts (CRITICAL) are catched by the powerManager in less than P seconds (N=1, P=1 by default).
- a mail is sent when the consolidated value of a rack reaches a customizable threshold (default is 50 °C).
All is configurable
![Page 54: Our Green Future « Peur bleue » ou « vie en rose » ? 3 visionsperso.ens-lyon.fr/laurent.lefevre/greendayslyon/XFV_GreenDays.pdf · Bull Extreme Computing - ©2011 9 top3 10 051](https://reader034.vdocuments.pub/reader034/viewer/2022050102/5f4179de56b75e2938746833/html5/thumbnails/54.jpg)
56 Bull Extreme Computing - ©2011
More power with power capping (2)
Data center has an overall Energy Budget
Energy is spread over components (compute, UPS, cooling, …)
The power capping must ensure the consumption is always less than the budget.
The power capping must ensure the service is as high as possible.
Winter: less cooling, more compute power
Summer: more cooling, less compute power.
![Page 55: Our Green Future « Peur bleue » ou « vie en rose » ? 3 visionsperso.ens-lyon.fr/laurent.lefevre/greendayslyon/XFV_GreenDays.pdf · Bull Extreme Computing - ©2011 9 top3 10 051](https://reader034.vdocuments.pub/reader034/viewer/2022050102/5f4179de56b75e2938746833/html5/thumbnails/55.jpg)
57 Bull Extreme Computing - ©2011
Froid
Steve Iunker
![Page 56: Our Green Future « Peur bleue » ou « vie en rose » ? 3 visionsperso.ens-lyon.fr/laurent.lefevre/greendayslyon/XFV_GreenDays.pdf · Bull Extreme Computing - ©2011 9 top3 10 051](https://reader034.vdocuments.pub/reader034/viewer/2022050102/5f4179de56b75e2938746833/html5/thumbnails/56.jpg)
58 Bull Extreme Computing - ©2011
Less watt with better cooling
“Pollution, we concentrated it or spread it”
We spread it, melt it for a long time.
However, we can have
- Larger fans
- Managed fans
![Page 57: Our Green Future « Peur bleue » ou « vie en rose » ? 3 visionsperso.ens-lyon.fr/laurent.lefevre/greendayslyon/XFV_GreenDays.pdf · Bull Extreme Computing - ©2011 9 top3 10 051](https://reader034.vdocuments.pub/reader034/viewer/2022050102/5f4179de56b75e2938746833/html5/thumbnails/57.jpg)
59 Bull Extreme Computing - ©2011
Less watt with water cooling
T° air front == T° air back
40 kW can be absorbed in stead of 12kW (air)
Many, many, sensors…T° air, T° inlet, T° outlet, pressure, speed, … can be used for « event correlator ».
Gain depends of the context
![Page 58: Our Green Future « Peur bleue » ou « vie en rose » ? 3 visionsperso.ens-lyon.fr/laurent.lefevre/greendayslyon/XFV_GreenDays.pdf · Bull Extreme Computing - ©2011 9 top3 10 051](https://reader034.vdocuments.pub/reader034/viewer/2022050102/5f4179de56b75e2938746833/html5/thumbnails/58.jpg)
60 Bull Extreme Computing - ©2011
Less € with Direct liquid cooling
o Water has closed as possible to the heat source
o Water can be hotter (as delta T is key)
o Room can be hotter (remove CRAC)
o But, maintenability is key !vNo change in maintenance process
oCPU can be changed,
o DIMM can be changed
o Blades can be removed
![Page 59: Our Green Future « Peur bleue » ou « vie en rose » ? 3 visionsperso.ens-lyon.fr/laurent.lefevre/greendayslyon/XFV_GreenDays.pdf · Bull Extreme Computing - ©2011 9 top3 10 051](https://reader034.vdocuments.pub/reader034/viewer/2022050102/5f4179de56b75e2938746833/html5/thumbnails/59.jpg)
![Page 60: Our Green Future « Peur bleue » ou « vie en rose » ? 3 visionsperso.ens-lyon.fr/laurent.lefevre/greendayslyon/XFV_GreenDays.pdf · Bull Extreme Computing - ©2011 9 top3 10 051](https://reader034.vdocuments.pub/reader034/viewer/2022050102/5f4179de56b75e2938746833/html5/thumbnails/60.jpg)
62 Bull Extreme Computing - ©2011
Decomposition
Generation Transport and Transformation
Utilization Cooling
![Page 61: Our Green Future « Peur bleue » ou « vie en rose » ? 3 visionsperso.ens-lyon.fr/laurent.lefevre/greendayslyon/XFV_GreenDays.pdf · Bull Extreme Computing - ©2011 9 top3 10 051](https://reader034.vdocuments.pub/reader034/viewer/2022050102/5f4179de56b75e2938746833/html5/thumbnails/61.jpg)
63 Bull Extreme Computing - ©2011
Considering Real peak performance Considering power production Compute nodes consumption
What can we optimize ?
![Page 62: Our Green Future « Peur bleue » ou « vie en rose » ? 3 visionsperso.ens-lyon.fr/laurent.lefevre/greendayslyon/XFV_GreenDays.pdf · Bull Extreme Computing - ©2011 9 top3 10 051](https://reader034.vdocuments.pub/reader034/viewer/2022050102/5f4179de56b75e2938746833/html5/thumbnails/62.jpg)
64 Bull Extreme Computing - ©2011 Source: http://www.ncdc.noaa.gov/sotc/global/
![Page 63: Our Green Future « Peur bleue » ou « vie en rose » ? 3 visionsperso.ens-lyon.fr/laurent.lefevre/greendayslyon/XFV_GreenDays.pdf · Bull Extreme Computing - ©2011 9 top3 10 051](https://reader034.vdocuments.pub/reader034/viewer/2022050102/5f4179de56b75e2938746833/html5/thumbnails/63.jpg)
65 Bull Extreme Computing - ©2011 Source: http://www.ncdc.noaa.gov/sotc/global/
![Page 64: Our Green Future « Peur bleue » ou « vie en rose » ? 3 visionsperso.ens-lyon.fr/laurent.lefevre/greendayslyon/XFV_GreenDays.pdf · Bull Extreme Computing - ©2011 9 top3 10 051](https://reader034.vdocuments.pub/reader034/viewer/2022050102/5f4179de56b75e2938746833/html5/thumbnails/64.jpg)
66 Bull Extreme Computing - ©2011
Generation
![Page 65: Our Green Future « Peur bleue » ou « vie en rose » ? 3 visionsperso.ens-lyon.fr/laurent.lefevre/greendayslyon/XFV_GreenDays.pdf · Bull Extreme Computing - ©2011 9 top3 10 051](https://reader034.vdocuments.pub/reader034/viewer/2022050102/5f4179de56b75e2938746833/html5/thumbnails/65.jpg)
67 Bull Extreme Computing - ©2011 Source: http://epp.eurostat.europa.eu
![Page 66: Our Green Future « Peur bleue » ou « vie en rose » ? 3 visionsperso.ens-lyon.fr/laurent.lefevre/greendayslyon/XFV_GreenDays.pdf · Bull Extreme Computing - ©2011 9 top3 10 051](https://reader034.vdocuments.pub/reader034/viewer/2022050102/5f4179de56b75e2938746833/html5/thumbnails/66.jpg)
68 Bull Extreme Computing - ©2011
Re-Nuclear or Renewable
Cost of Energy in France is lower in 2010 than 1995 (in constant Euro) But, increase in the last two years is higher than inflation
Prediction: +30% in 2016 (for end user)
Nuclear:
- Cost of Maintenance
- Cost of security
Renewable
- Cost of dismantling
- Cost of new plant
- Need complementary energy (wind may vary), production must be equal to consumption.
http://www.assemblee-nationale.fr/12/rapports/r3277.asp
![Page 67: Our Green Future « Peur bleue » ou « vie en rose » ? 3 visionsperso.ens-lyon.fr/laurent.lefevre/greendayslyon/XFV_GreenDays.pdf · Bull Extreme Computing - ©2011 9 top3 10 051](https://reader034.vdocuments.pub/reader034/viewer/2022050102/5f4179de56b75e2938746833/html5/thumbnails/67.jpg)
69 Bull Extreme Computing - ©2011
Nuclear plant efficiency
today EPR coal
No cogeneration in France
![Page 68: Our Green Future « Peur bleue » ou « vie en rose » ? 3 visionsperso.ens-lyon.fr/laurent.lefevre/greendayslyon/XFV_GreenDays.pdf · Bull Extreme Computing - ©2011 9 top3 10 051](https://reader034.vdocuments.pub/reader034/viewer/2022050102/5f4179de56b75e2938746833/html5/thumbnails/68.jpg)
70 Bull Extreme Computing - ©2011
Transport & Transformation
![Page 69: Our Green Future « Peur bleue » ou « vie en rose » ? 3 visionsperso.ens-lyon.fr/laurent.lefevre/greendayslyon/XFV_GreenDays.pdf · Bull Extreme Computing - ©2011 9 top3 10 051](https://reader034.vdocuments.pub/reader034/viewer/2022050102/5f4179de56b75e2938746833/html5/thumbnails/69.jpg)
71 Bull Extreme Computing - ©2011
Leaks and thief
Leaks during transportation is weak, because U is huge
- in France 12TWh (2,5%) is lost here
Leaks during distribution, in 2005, in France,
- 18TWh (5,3%) are lost by distribution
- 2/3 is technical (Pjoule)
- 1/3 is non technical
Pjoule= RI² = R.Pelec²/3U²
http://fr.wikipedia.org/wiki/R%C3%A9seau_%C3%A9lectrique Jean-Michel Tesseron, « Les pertes des réseaux électriques: estimations et achats », dans ACTU SEE, Société de l'Electricité, de l'Electronique et des Technologies de l'Information et de la Communication, décembre 2006 http://www.rte-france.com/fr/developpement-durable/les-engagements/indicateurs/volet-economique-2/pertes-electriques-du-reseau
![Page 70: Our Green Future « Peur bleue » ou « vie en rose » ? 3 visionsperso.ens-lyon.fr/laurent.lefevre/greendayslyon/XFV_GreenDays.pdf · Bull Extreme Computing - ©2011 9 top3 10 051](https://reader034.vdocuments.pub/reader034/viewer/2022050102/5f4179de56b75e2938746833/html5/thumbnails/70.jpg)
72 Bull Extreme Computing - ©2011
One solution: decentralized production
Enfin, il y a une solution radicale au traitement des pertes, c’est la production décentralisée. L’un des avantages de l’éolien, du
photovoltaïque ou de la petite hydraulique par exemple est d’être produits sur les lieux de consommation réduisant à zéro la longueur des
lignes d’acheminement et donc les pertes créées par celles-ci.
« Perte d’énergie dans les réseaux de distribution d’électricité » Mathias Laffond – Juin 2009 http://mathiaslaffont.files.wordpress.com/2011/01/rdv-tel-27_04_09.pdf
![Page 71: Our Green Future « Peur bleue » ou « vie en rose » ? 3 visionsperso.ens-lyon.fr/laurent.lefevre/greendayslyon/XFV_GreenDays.pdf · Bull Extreme Computing - ©2011 9 top3 10 051](https://reader034.vdocuments.pub/reader034/viewer/2022050102/5f4179de56b75e2938746833/html5/thumbnails/71.jpg)
73 Bull Extreme Computing - ©2011
Tri generation
One engine produces:
- Electricity
- Cold water
- Hot water
Efficient
Local
CCHP
![Page 72: Our Green Future « Peur bleue » ou « vie en rose » ? 3 visionsperso.ens-lyon.fr/laurent.lefevre/greendayslyon/XFV_GreenDays.pdf · Bull Extreme Computing - ©2011 9 top3 10 051](https://reader034.vdocuments.pub/reader034/viewer/2022050102/5f4179de56b75e2938746833/html5/thumbnails/72.jpg)
74 Bull Extreme Computing - ©2011
chiller
Steve Iunker
![Page 73: Our Green Future « Peur bleue » ou « vie en rose » ? 3 visionsperso.ens-lyon.fr/laurent.lefevre/greendayslyon/XFV_GreenDays.pdf · Bull Extreme Computing - ©2011 9 top3 10 051](https://reader034.vdocuments.pub/reader034/viewer/2022050102/5f4179de56b75e2938746833/html5/thumbnails/73.jpg)
75 Bull Extreme Computing - ©2011
Less € with Direct liquid cooling
o Water has closed as possible to the heat source
o Water can be hotter (as delta T is key)
o But, maintenability is key !
o Hot watter can be reused
o I hate free cooling
![Page 74: Our Green Future « Peur bleue » ou « vie en rose » ? 3 visionsperso.ens-lyon.fr/laurent.lefevre/greendayslyon/XFV_GreenDays.pdf · Bull Extreme Computing - ©2011 9 top3 10 051](https://reader034.vdocuments.pub/reader034/viewer/2022050102/5f4179de56b75e2938746833/html5/thumbnails/74.jpg)
![Page 75: Our Green Future « Peur bleue » ou « vie en rose » ? 3 visionsperso.ens-lyon.fr/laurent.lefevre/greendayslyon/XFV_GreenDays.pdf · Bull Extreme Computing - ©2011 9 top3 10 051](https://reader034.vdocuments.pub/reader034/viewer/2022050102/5f4179de56b75e2938746833/html5/thumbnails/75.jpg)
83 Bull Extreme Computing - ©2011
Les contraintes font la créativité
“Constraints Feed Imagination” George Perec, OULIPO, 1969
(1936 – 1982)
La disparition 315p - 1969
Les revenentes 1972
![Page 76: Our Green Future « Peur bleue » ou « vie en rose » ? 3 visionsperso.ens-lyon.fr/laurent.lefevre/greendayslyon/XFV_GreenDays.pdf · Bull Extreme Computing - ©2011 9 top3 10 051](https://reader034.vdocuments.pub/reader034/viewer/2022050102/5f4179de56b75e2938746833/html5/thumbnails/76.jpg)
84 Bull Extreme Computing - ©2011
Jacques MONOD
1965: prix nobel de médecine
1970
1910 - 1976
![Page 77: Our Green Future « Peur bleue » ou « vie en rose » ? 3 visionsperso.ens-lyon.fr/laurent.lefevre/greendayslyon/XFV_GreenDays.pdf · Bull Extreme Computing - ©2011 9 top3 10 051](https://reader034.vdocuments.pub/reader034/viewer/2022050102/5f4179de56b75e2938746833/html5/thumbnails/77.jpg)
85 Bull Extreme Computing - ©2011
C’est pas la première extinction
![Page 78: Our Green Future « Peur bleue » ou « vie en rose » ? 3 visionsperso.ens-lyon.fr/laurent.lefevre/greendayslyon/XFV_GreenDays.pdf · Bull Extreme Computing - ©2011 9 top3 10 051](https://reader034.vdocuments.pub/reader034/viewer/2022050102/5f4179de56b75e2938746833/html5/thumbnails/78.jpg)
86 Bull Extreme Computing - ©2011 [email protected]
http://www.bull.com/fr/emploi/recrutement/stages.php