eficiencia energética más allá del pue: explotando el conocimiento de la aplicación y los...
DESCRIPTION
Conferencia invitada de Jose M. Moya en Datacenter Dynamics Converged Madrid 2012. Las técnicas actuales de optimización energética de datacenters, basadas en métricas de eficiencia como PUE, pPUE, ERE, DCcE, etc., no tienen en cuenta las características estáticas y dinámicas de las aplicaciones y los recursos (de computación y refrigeración). Sin embargo, el conocimiento del estado actual del datacenter, de la historia pasada, de las caracteriìsticas térmicas de los recursos y de las caracteriìsticas de demanda energética de los trabajos a ejecutar puede ser utilizado de manera muy eficaz para guiar la toma de decisiones a todos los niveles en el datacenter con objeto de minimizar las necesidades energeìticas. Por ejemplo, el reparto de trabajos en las maìquinas disponibles, si se hace teniendo en cuenta las arquitecturas maìs adecuadas para cada trabajo desde el punto de vista energeìtico, y teniendo en cuenta el tipo de trabajos que van a venir con posterioridad, puede reducir las necesidades energeìticas hasta un 30%. Además, para conseguir una reducción significativa del consumo energético de datacenters ya eficientes (PUE bajo) cada vez es más importante un enfoque global y multi-nivel, esto es, actuando sobre los diferentes niveles de abstraccioìn del datacenter (planificación y asignación de recursos, aplicación, sistema operativo, compiladores y máquinas virtuales, arquitectura y tecnología), y en los distintos ámbitos (chip, servidor, rack, sala y multi-sala).TRANSCRIPT
“Ingeniamos el futuro”
CAMPUS OFINTERNATIONALEXCELLENCE
José M.Moya | Madrid (Spain), June 12, 2012 1
Eficiencia Energética más allá del PUE: Explotando el Conocimiento de la
Aplicación y los Recursos
José M. Moya <[email protected]>Laboratorio de Sistemas Integrados
“Ingeniamos el futuro”
CAMPUS OFINTERNATIONALEXCELLENCE
José M.Moya | Madrid (Spain), June 12, 2012 2
Contenido
• Motivación• Nuestro enfoque
– Planificación y gestión de recursos
– Optimización de máquinas virtuales
– Gestión de modos de bajo consumo
– Diseño de procesadores
• Conclusiones
“Ingeniamos el futuro”
CAMPUS OFINTERNATIONALEXCELLENCE
José M.Moya | Madrid (Spain), June 12, 2012 3
Motivación
• Consumo energético en data centers– 1.3% de la producción energética mundial en 2010– USA: 80 mill MWh/año en 2011 = 1,5 x NYC– 1 datacenter = 25 000 casas
• Más de 43 Millones de Toneladas de CO2 / año (2% mundial)
• Más agua que la industria del papel, automóvil, petróleo, madera o plástico
Jonathan Koomey. 2011. Growth in Data center electricity use 2005 to 2010
“Ingeniamos el futuro”
CAMPUS OFINTERNATIONALEXCELLENCE
José M.Moya | Madrid (Spain), June 12, 2012 4
Motivación
• Se espera que la electricidad total utilizada por los data centers en 2015 exceda los 400 GWh/año.
• El consumo de energía de la refrigeración continuará teniendo una importancia similar o superior al consumo de la computación
• La optimización energética de los data centers del futuro requerirá un enfoque global y multi-disciplinar.
2000 2005 20100
5000
10000
15000
20000
25000
30000
35000
High-end serversMid-range serversVolume servers
Wor
ld se
rver
inst
alle
d ba
se
(tho
usan
ds)
2000 2005 20100
50
100
150
200
250
300
InfrastructureCommunicationsStorageHigh-end serversMid-range serversVolume serversEl
ectr
icity
use
(b
illio
n kW
h/ye
ar)
5,75 Millones de servidores nuevos / año10% de servidores sin utilizar (CO2 de 6,5 millones de coches)
“Ingeniamos el futuro”
CAMPUS OFINTERNATIONALEXCELLENCE
José M.Moya | Madrid (Spain), June 12, 2012 5
Problemas de fiabilidadque dependen de la temperatura
Time-dependent dielectric-
breakdown (TDDB)
Electromigration (EM)
Stress migration (SM)
Thermal cycling (TC)
✔ ✖
✖✖
“Ingeniamos el futuro”
CAMPUS OFINTERNATIONALEXCELLENCE
José M.Moya | Madrid (Spain), June 12, 2012 6
Refrigeración de un data center
“Ingeniamos el futuro”
CAMPUS OFINTERNATIONALEXCELLENCE
José M.Moya | Madrid (Spain), June 12, 2012 7
• Virtualización - 27%• Servidores conforme a
Energy Star = 6.500
• Mejor planificación de capacidad 2.500
Mejoras en servidores
“Ingeniamos el futuro”
CAMPUS OFINTERNATIONALEXCELLENCE
José M.Moya | Madrid (Spain), June 12, 2012 8
Mejoras en refrigeración
• Mejoras en gestión de flujos de aire y rangos de temperatura ligeramente más amplios
Reducción del consumo hasta un 25% 25.000Recuperación de la inversión en solo 2 años
“Ingeniamos el futuro”
CAMPUS OFINTERNATIONALEXCELLENCE
José M.Moya | Madrid (Spain), June 12, 2012 9
CA CC– 20% reducción de pérdidas de conversión– 47 millones de dólares de gastos
inmobiliarios por data center
– Mayor eficiencia, ahorro de energía suficiente para
cargar un iPad durante 70 millones de años
Mejoras en infraestructura
“Ingeniamos el futuro”
CAMPUS OFINTERNATIONALEXCELLENCE
José M.Moya | Madrid (Spain), June 12, 2012 10
Mejores prácticas de eficiencia energética
“Ingeniamos el futuro”
CAMPUS OFINTERNATIONALEXCELLENCE
José M.Moya | Madrid (Spain), June 12, 2012 11
PUEPower Usage Effectiveness
• Estado del arte: PUE ≈ 1,2– La parte importante es el consumo de computación– El trabajo en eficiencia energética en DC está
centrado en la reducción del PUE– Reducir PIT no reduce el PUE, pero se nota en la
factura de la luz
• ¿Cómo se puede reducir PIT ?
“Ingeniamos el futuro”
CAMPUS OFINTERNATIONALEXCELLENCE
José M.Moya | Madrid (Spain), June 12, 2012 12
Ahorro energético según el nivel de abstracción
“Ingeniamos el futuro”
CAMPUS OFINTERNATIONALEXCELLENCE
José M.Moya | Madrid (Spain), June 12, 2012 13
Nuestro enfoque
• Estrategia global para permitir la utilización de múltiples fuentes de información y para coordinar las decisiones con el fin de reducir el consumo total
• Utilización del conocimiento de las características de demanda energética de las aplicaciones y las características de los recursos de computación y refrigeración para aplicar técnicas proactivas de optimización
“Ingeniamos el futuro”
CAMPUS OFINTERNATIONALEXCELLENCE
14
Enfoque holístico
José M.Moya | Madrid (Spain), June 12, 2012
Chip Server Rack Room Multi-room
Sched & alloc 2 1
app
OS/middleware
Compiler/VM 3 3
architecture 4 4
technology 5
“Ingeniamos el futuro”
CAMPUS OFINTERNATIONALEXCELLENCE
15
1. Gestión de recursos en la sala
José M.Moya | Madrid (Spain), June 12, 2012
Chip Server Rack Room Multi-room
Sched & alloc 2 1
app
OS/middleware
Compiler/VM 3 3
architecture 4 4
technology 5
“Ingeniamos el futuro”
CAMPUS OFINTERNATIONALEXCELLENCE
Aprovechando la heterogeneidad
• Utilización de la heterogeneidad para minimizar el consumo energético desde un punto de vista estático/dinámico– Estático: Encontrar el mejor set-up del datacenter,
dado un número heterogéneo de máquinas– Dinámico: Optimización de la asignación de tareas en
el Resource Manager• Demostramos que la mejor solución se
encuentra en un datacenter heterogéneo– Muchos datacenters son heterogéneos (diversas
generaciones de máquinas)
16
CCGrid 2012
José M.Moya | Madrid (Spain), June 12, 2012
M. Zapater, J.M. Moya, J.L. Ayala. Leveraging Heterogeneity for Energy Minimization in Data Centers, CCGrid 2012
“Ingeniamos el futuro”
CAMPUS OFINTERNATIONALEXCELLENCE
Escenario actual
17
WORKLOAD Scheduler Resource Manager
Execution
José M.Moya | Madrid (Spain), June 12, 2012
“Ingeniamos el futuro”
CAMPUS OFINTERNATIONALEXCELLENCE
José M.Moya | Madrid (Spain), June 12, 2012 18
Potencial de mejoracon mejores prácticas
“Ingeniamos el futuro”
CAMPUS OFINTERNATIONALEXCELLENCE
José M.Moya | Madrid (Spain), June 12, 2012 19
Planificación y asignación de recursos consciente de la
refrigeracióniMPACT Lab (Arizona State U)
“Ingeniamos el futuro”
CAMPUS OFINTERNATIONALEXCELLENCE
Planificación y asignación de recursos consciente de la aplicación
20
LSI-UPM
WORKLOAD
Resource Manager(SLURM)
Execution
Profiling and Classification
Energy Optimization
José M.Moya | Madrid (Spain), June 12, 2012
“Ingeniamos el futuro”
CAMPUS OFINTERNATIONALEXCELLENCE
Planificación y asignación de recursos consciente de la aplicación
• Workload:– 12 tareas del benchmark SpecCPU 2006– Workload aleatorio de 2000 tareas, dividido en job sets– Tiempo de llegada aleatorio entre job sets
• Servidores:
21
Escenario
José M.Moya | Madrid (Spain), June 12, 2012
“Ingeniamos el futuro”
CAMPUS OFINTERNATIONALEXCELLENCE
Planificación y asignación de recursos consciente de la aplicación
22
Profiling de energía
WORKLOAD
Resource Manager(SLURM)
Execution
Profiling and Classification
Energy Optimization
Energy profiling
José M.Moya | Madrid (Spain), June 12, 2012
“Ingeniamos el futuro”
CAMPUS OFINTERNATIONALEXCELLENCE
José M.Moya | Madrid (Spain), June 12, 2012 23
Caracterización de la carga de trabajo
“Ingeniamos el futuro”
CAMPUS OFINTERNATIONALEXCELLENCE
Trabajo realizado
24
Optimizaciones
WORKLOAD
Resource Manager(SLURM)
Execution
Profiling and Classification
Energy Optimization
Energy Minimization:• Minimization subjected to constraints• MILP problem (solved with CPLEX)• Static and Dynamic
José M.Moya | Madrid (Spain), June 12, 2012
“Ingeniamos el futuro”
CAMPUS OFINTERNATIONALEXCELLENCE
Planificación y asignación de recursos consciente de la aplicación
25
Optimización estática
• Definición del datacenter óptimo– Dado un pool de 100 máquinas de cada– 1 job set del workload– El optimizador escoge los mejores servidores– Constraints de presupuesto y espacio
Mejor solución:• 40 Sparc• 27 AMD
Ahorros:• 5 a 22% en energía• 30% tiempo
José M.Moya | Madrid (Spain), June 12, 2012
“Ingeniamos el futuro”
CAMPUS OFINTERNATIONALEXCELLENCE
Planificación y asignación de recursos consciente de la aplicación
26
Optimización dinámica
• Asignación óptima del workload– Uso del workload completo (2000 tareas)– El algoritmo encuentra una buena asignación (no la mejor)
en términos de energía– Ejecución del algoritmo en runtime
Ahorros del 24% al 47% en energía
José M.Moya | Madrid (Spain), June 12, 2012
“Ingeniamos el futuro”
CAMPUS OFINTERNATIONALEXCELLENCE
Planificación y asignación de recursos consciente de la aplicación
• Primera prueba de concepto en cuanto a ahorros energéticos gracias a heterogeneidad
• Solución automática• La solución automática de procesadores ofrece
notables ahorros energéticos.• La solución puede ser fácilmente implementable en
un entorno real– Uso del Resource Manager SLURM– Workloads y servidores más realistas
27
Conclusiones
José M.Moya | Madrid (Spain), June 12, 2012
“Ingeniamos el futuro”
CAMPUS OFINTERNATIONALEXCELLENCE
28
2. Gestión de recursos en el servidor
José M.Moya | Madrid (Spain), June 12, 2012
Chip Server Rack Room Multi-room
Sched & alloc 2 1
app
OS/middleware
Compiler/VM 3 3
architecture 4 4
technology 5
“Ingeniamos el futuro”
CAMPUS OFINTERNATIONALEXCELLENCE
José M.Moya | Madrid (Spain), June 12, 2012 29
Políticas de planificación y asignación de recursos en MPSoCs
A. Coskun , T. Rosing , K. Whisnant and K. Gross "Static and dynamic temperature-aware scheduling for multiprocessor SoCs", IEEE Trans. Very Large Scale Integr. Syst., vol. 16, no. 9, pp.1127 -1140 2008
UCSD – System Energy Efficiency Lab
“Ingeniamos el futuro”
CAMPUS OFINTERNATIONALEXCELLENCE
José M.Moya | Madrid (Spain), June 12, 2012 30
Planificación y asignación de recursos consciente de la aplicación
• La caracterización energética de las aplicaciones permite la definición de políticas proactivas de planificación y asignación de recursos que minimizan los hotspots
• La reducción de hotspots permite aumentar la temperatura del aire de los sistemas de refrigeración
“Ingeniamos el futuro”
CAMPUS OFINTERNATIONALEXCELLENCE
31
3. Máquina virtual consciente de la aplicación y los recursos
José M.Moya | Madrid (Spain), June 12, 2012
Chip Server Rack Room Multi-room
Sched & alloc 2 1
app
OS/middleware
Compiler/VM 3 3
architecture 4 4
technology 5
“Ingeniamos el futuro”
CAMPUS OFINTERNATIONALEXCELLENCE
José M.Moya | Madrid (Spain), June 12, 2012 32
Compilación JIT en máquinas virtuales
• La máquina virtual compila (JIT) la aplicación a código nativo por eficiencia
• El optimizador es genérico y orientado a la optimización de rendimiento
“Ingeniamos el futuro”
CAMPUS OFINTERNATIONALEXCELLENCE
José M.Moya | Madrid (Spain), June 12, 2012 33
Back-end
Compilación JIT para reducción de energía
• Compilador consciente de la aplicación– Caracterización de aplicaciones y transformaciones– Optimizador dependiente de la aplicación– Visión global de la carga de trabajo del data center
• Optimizador de energía– En la actualidad, los compiladores para procesadores
de altas prestaciones solo optimizan rendimiento
Front-end OptimizadorGenerador de
código
“Ingeniamos el futuro”
CAMPUS OFINTERNATIONALEXCELLENCE
José M.Moya | Madrid (Spain), June 12, 2012 34
Potencial de ahorro desde el compilador (MPSoCs)
T. Simunic, G. de Micheli, L. Benini, and M. Hans. “Source code optimization and profiling of energy consumption in embedded systems,” International Symposium on System Synthesis, pages 193 – 199, Sept. 2000
– Reducción de un 77 % de energía en un decodificador MP3
FEI, Y., RAVI, S., RAGHUNATHAN, A., AND JHA, N. K. 2004. Energy-optimizing source code transformations for OS-driven embedded software. In Proceedings of the International Conference VLSI Design. 261–266.
– Hasta el 37,9% (media 23,8%) de ahorro energético en programas multiproceso sobre Linux
“Ingeniamos el futuro”
CAMPUS OFINTERNATIONALEXCELLENCE
35
4. Gestión automática de frecuencia a nivel global
José M.Moya | Madrid (Spain), June 12, 2012
Chip Server Rack Room Multi-room
Sched & alloc 2 1
app
OS/middleware
Compiler/VM 3 3
architecture 4 4
technology 5
“Ingeniamos el futuro”
CAMPUS OFINTERNATIONALEXCELLENCE
José M.Moya | Madrid (Spain), June 12, 2012 36
DVFS – Dynamic Voltage and Frequency Scaling
• Al decrementar la tensión de alimentación, la potencia se reduce cuadráticamente (a frecuencia constante)
• El retardo se incrementa solo linealmente• La frecuencia máxima también se decrementa
linealmente• Actualmente los modos de bajo consumo se
activan por inactividad del sistema operativo de un servidor
“Ingeniamos el futuro”
CAMPUS OFINTERNATIONALEXCELLENCE
José M.Moya | Madrid (Spain), June 12, 2012 37
DVFS a nivel de sala
• Para minimizar el consumo hay que minimizar los cambios de modo
• Existen algoritmos óptimos para un conjunto conocido de tareas (YDS)
• El conocimiento de la carga de trabajo permite planificar los modos de bajo consumo a nivel global sin pérdida de rendimiento
“Ingeniamos el futuro”
CAMPUS OFINTERNATIONALEXCELLENCE
José M.Moya | Madrid (Spain), June 12, 2012 38
Paralelismo para ahorrar energía
“Ingeniamos el futuro”
CAMPUS OFINTERNATIONALEXCELLENCE
39
5. Emplazamiento de cores consciente de la temperatura
José M.Moya | Madrid (Spain), June 12, 2012
Chip Server Rack Room Multi-room
Sched & alloc 2 1
app
OS/middleware
Compiler/VM 3
architecture 4 4
technology 5
“Ingeniamos el futuro”
CAMPUS OFINTERNATIONALEXCELLENCE
José M.Moya | Madrid (Spain), June 12, 2012 40
Floorplanning consciente de la temperatura
“Ingeniamos el futuro”
CAMPUS OFINTERNATIONALEXCELLENCE
José M.Moya | Madrid (Spain), June 12, 2012 41
Potencial de ahorro energético por floorplaning
– Reducciones de temperatura máxima de hasta 21oC– Media: -12oC en temperatura máxima– Mayor reducción en los casos más críticos
Y. Han, I. Koren, and C. A. Moritz. Temperature Aware Floorplanning. In Proc. of the Second Workshop on Temperature-Aware Computer Systems, June 2005
“Ingeniamos el futuro”
CAMPUS OFINTERNATIONALEXCELLENCE
José M.Moya | Madrid (Spain), June 12, 2012 42
Floorplanning consciente de la temperatura en chips 3D
• El circuito integrado 3D está recibiendo atención:– Escalado: reduce área 2D equivalente– Rendimiento: menor longitud de
comunicaciones– Fiabilidad: menor cableado
• Desventaja:– Aumentan drásticamente los picos de
temperatura con respecto a los diseños 2D equivalentes
“Ingeniamos el futuro”
CAMPUS OFINTERNATIONALEXCELLENCE
José M.Moya | Madrid (Spain), June 12, 2012 43
Floorplanning consciente de la temperatura
• Reducción de hasta 30oC por capa en un chip 3D de 4 capas y 48 cores
“Ingeniamos el futuro”
CAMPUS OFINTERNATIONALEXCELLENCE
José M.Moya | Madrid (Spain), June 12, 2012 44
Y todavía hay más
• Smart Grids– Consumir cuando nadie consume– Reducir el consumo cuando todo el mundo
consume• Reducción de la factura de luz
– Coste dependiente del horario– Coeficiente de energía reactiva– Picos de consumo
“Ingeniamos el futuro”
CAMPUS OFINTERNATIONALEXCELLENCE
José M.Moya | Madrid (Spain), June 12, 2012 45
Conclusiones
• Reducir el PUE no es lo mismo que reducir el consumo– El consumo de computación es dominante en data centers modernos
• El conocimiento de la aplicación y de los recursos puede ser utilizado para establecer políticas proactivas para reducir la energía total– A todos los niveles– En todos los ámbitos– Considerando simultáneamente computación y refrigeración
• La gestión adecuada del conocimiento del comportamiento térmico del data center permite reducir los problemas de fiabilidad
• Reducir el consumo total no es lo mismo que reducir la factura de la luz
“Ingeniamos el futuro”
CAMPUS OFINTERNATIONALEXCELLENCE
José M.Moya | Madrid (Spain), June 12, 2012 46
Contacto
José M. Moya+34 607 082 [email protected]
ETSI de Telecomunicación, B104Avenida Complutense, 30Madrid 28040, Spain
Gracias: