universidad nacional, enero 2013 diseño y dimensionamiento de data centers (1) diseño y...

Universidad Nacional, Enero 2013

Diseño y dimensionamiento de data centers

(1)

Diseño y dimensionamiento de data centersRaúl Ramos PollánUniversidad Nacional de Colombia



(2)

Outline

1 Caracterización de un datacenter2 Consideraciones de diseño3 Best practices4 Caso real y consideraciones de estrategia5 Práctica de dimensionamiento



(3)

1 Caracterización

«pizza» servers storage servers communications

blades chasis

rack sets



(4)

1 Caracterización



(5)

1 Caracterización

Grupo ElectrógenoEnfriadoras

CRACs

Baterías UPS

PDUs

Mangueras eléctricas

Cuadroseléctricos



(6)

Tipologías de datacentershttp://www.energystar.gov/ia/partners/prod_development/downloads/EPA_Datacenter_Report_Congress_Final1.pdf

Tipos de máquinas:volume servers as those costing less than $25,000 per unit, mid-range servers as those costing between $25,000 and $500,000 per unithigh-end servers as those costing more than $500,000 per unit.

Tipos de datacenters:Server closet. 1-2 servidores 15m2Server room. <15 servidores <50m2Localized data center. <100 servidores <100m2Mid-tier data center. 100s servidores <500m2Enterprise class data center. 100-1000 servidores >500m2

1 Caracterización



(7)

Distribución datacenters en US

1 Caracterización



(8)

Top500, distribución histórica (www.top500.org)

1 Caracterización



(9)

Top500, distribución histórica (www.top500.org)

1 Caracterización



(10)

Consideraciones de diseñoDistribución físicaCapacidad eléctricaRefrigeraciónResiliencia (backup components, fireproofing, etc.)Seguridad física, seguridad informática, control de acceso, etc.Patrones de uso (CPU intensive, storage intensive, etc.)Capacidad de crecimientoOperativa y costes (TCO)Equipos de apoyo

2 Diseño



(11)

Key issue: electrical consumption + heat load

2 Diseño



(12)

Potencia eléctrica: Elementos

2 Diseño. Potencia eléctrica



(13)

Otro esquema eléctrico




(14)

Métricas de eficiencia




(15)

Distribución del consumo




(16)

Densidad de potencia eléctrica




(17)

Densidad de potencia eléctrica


Avances tecnológicos Más densidad de potencia eléctrics (kw/m2) Data centers más compactos

Pero: Se necesitan más equipos de soporte (refrigeración, UPS, etc.) Ahorro de espacio indoors Necesidad de espacio outdoors

Equilibrar inversión Necesidad de aumentar la capacidad de un datacenter Obra civil indoors vs. obra civil outdoors Más capacidad por m2 más exigencia en la instalación Demasiado suelo equipos de soporte costes operacionales y de inversion



(18)


Configuration NUPS breakdown and

maintainance on bypassMultiple points of failure

Isolated redundant (N+1)Catcher as backup

Needs proper operation of switchesNeeds 2nd from 0% to full load fast

Less points of failure

Parallel redundant (N+1)Needs synch UPSs to output 300 kW

load togetherBoth units must be the sameSystem bus, point of failure

UPS configurations



(19)


Distributed redundantRedundant utility sourcesDelivered load is 300 kW

UPS still need some phase sync mechanism



(20)




(21)

RefrigeraciónElementos de refrigeración

-Chiller (Enfriadora) indoor-outdoor-CRAC / Aire Acondicionado-Elementos de conducción/circulación de aire

Métricas-Velocidad de descarga (ft3/min)-Presión bajo suelo

2 Diseño. Refrigeración



(22)

Disposición general de un datacenter




(23)

Consideraciones-Separación de flujos de aire frío y caliente

si completa, mejor

-Distribución adecuada presión bajo suelo

-Velocidad de descarga demasiada velocidad de carga

menos presión cerca del CRAC menos aire frío a través de las losetas perforadas cerca del CRAC menos capacidad de refrigeración

demasiado poca velocidad de descarga menos alcance

-Gestionar pérdidas de flujo de aire




(24)




(25)




(26)




(27)




(28)

Optimizaciones




(29)

Optimizaciones2 Diseño. Refrigeración



(30)

Optimizaciones2 Diseño. Refrigeración



(31)

Resiliencia

Need redundant CRACs or …

2 Diseño. Contingencias



(32)

Resilienciaredistribuir la carga computacional (si posible…)




(33)

Otras contingencias

Sistemas de extinción de incendiosRedundancia de sistemas (generador, UPS, equipos de comunicaciones)Redundancia de suministros (acometida eléctrica, red)Seguridad físicaSeguridad contra intrusiones informáticasSistemas de backup (datos, configuraciones, etc.)Protocolos de mantenimiento y operación




(34)

Crecimiento2 Diseño. Crecimiento



(35)

2 Diseño. Crecimiento



(36)

2 Diseño. Crecimiento



(37)

Virtualización

Migración dinámica de cargas de alta densidadLa capacidad se ajusta a la demanda a niveles de row, rack, server

Predictabilidad de la distribución de carga y requerimientos de enfriamiento

2 Diseño. Virtualización

FLEXIBILIDADADAPTABILIDADAGILIDAD DE DESPLIEGUEAJUSTE DE LA CARGA A LA NECESIDAD DE SERVICIO

REQUIERE:Red interna de alta capacidadInfraestructura de virtualización muy optimizadaProcedimientos y herramientas de gestión avanzadas

NIVELES:1 Servicios básicos2 Servicios públicos3 Automatic deployment (based on metrics, topology)4 Strategic deployment (based on policies, )



(38)

Caso real diseño y optimización data center4 Caso real

CETA-CIEMAT www.ceta-ciemat.es Centro de Cálculo Público Tecnologías GRID + GPU1700 cores, 90 Tflops GPU cluster, 1PB almacenamiento



(39)

4 Caso real



(40)




(41)

4 Caso real



(42)




(43)




(44)

Caso real diseño y optimización data centerOPTIMIZACIONES, AÑO 1Procedimiento de apagado general del CPDProcedimiento de apagado de emergencia del CPDProcedimiento de encendido periódico del grupo electrógenoProcedimiento para la actualización sistema de monitoreo en tiempo real

OPTIMIZACIONES, AÑO 2Redistribución de cargas bajo el grupo electrógeno (priorización de servicios)Redistribución tendido cuadros eléctricosReorganización de las losetas perforadasReacondicionamiento sala de baterías UPS

4 Caso real



(45)

4 Caso real



(46)

Caso real diseño y optimización data centerOPTIMIZACIONES

Optimización configuración CRACS

4 Caso real



(47)

Best practicesPrácticas básicas:1. Medir, Medir, Medir, Medir, Medir, Medir el PUE … tan frecuentemente como posible 2. Gestionar el flujo de aire (sheet metals, láminas plásticas)3. Ajustar termostatos (aire frio, menos frío, según especificaciones)4. Optimizar distribución de potencia

Prácticas avanzadas:1. Gestión inteligente de capacidad variable (distribución carga computacional – horas noche -, vs. encendido/apagado CRACs, …)2. Virtualización3. Medidas detalladas (per rack, server, …)

5 Best practices

Impacto ahorro energía: Suposición: 1 kWh = $200 … 1 rack de 10 kW … encendido 24/7

Consumo anual (PUE = 1.8):

Consumo anual (PUE = 1.6):

WATCHhttp://www.google.com/about/datacenters/best-practices.html



(48)

Best practicesPrácticas básicas:1. Medir, Medir, Medir, Medir, Medir, Medir el PUE … tan frecuentemente como posible 2. Gestionar el flujo de aire (sheet metals, láminas plásticas)3. Ajustar termostatos (aire frio, menos frío, según especificaciones)4. Optimizar distribución de potencia

Prácticas avanzadas:1. Gestión inteligente de capacidad variable (distribución carga computacional – horas noche -, vs. encendido/apagado CRACs, …)2. Virtualización3. Medidas detalladas (per rack, server, …)

5 Best practices

Impacto ahorro energía: Suposición: 1 kWh = $200 … 1 rack de 10 kW … encendido 24/7

Consumo anual (PUE = 1.8):10 kW x 24 hrs/día x 365 días/año = 87000 kWh/año … x 1.8 PUE = 157.680 kWh/año x $200/kWh = $31.536.000 /año

Consumo anual (PUE = 1.6):10 kW x 24 hrs/día x 365 días/año = 87000 kWh/año … x 1.6 PUE = 140.160 kWh/año x $200/kWh = $28.032.000/año AHORRO = 3.5M (11%)



(49)

Práctica modelado datacenters 1DELL DATACENTER CAPACITY PLANNER

http://www.dell.com/html/us/products/rack_advisor_new/index.html

5 Práctica

RACK 1 Computing on PowerEdge M600 bladeshttp://www.dell.com/us/dfb/p/poweredge-m600/pd64 blades x 2 Xeon E5440 x 4 cores = 512 coresMax memory per blade: 64GB (16GB / core)Power/Heat: 14.9 kW

RACK 2 Storage on PowerEdge 6950 + AX150http://www.dell.com/downloads/global/products/pvaul/en/ax150_specs.pdfhttp://www.dell.com/downloads/emea/products/pedge/en/PE6950_Spec_Sheet_Quad.pdf

2 redundant PowerEdge 6950 as storage servers with10 AX150 w/ 12 SATA disks @750GB = 10*9 = 90TBPower/Heat: 4.5 kW



(50)



5 Práctica






(51)



5 Práctica




AT $200/kWh, 24x7

PUE kw rack 1 kw rack 2 totalIT equipment

kwh/año

support equipment

kwh/año total kwh/año $/año

1,11,21,31,41,51,61,71,81,92,0



(52)



5 Práctica




AT $200/kWh, 24x7

PUE kw rack 1 kw rack 2 totalIT equipment

kwh/año

support equipment

kwh/año total kwh/año $/año

1,1 14,89 4,47 19,36 169.629 16.963 186.592 $ 37.318.3011,2 14,89 4,47 19,36 169.629 33.926 203.554 $ 40.710.8741,3 14,89 4,47 19,36 169.629 50.889 220.517 $ 44.103.4461,4 14,89 4,47 19,36 169.629 67.851 237.480 $ 47.496.0191,5 14,89 4,47 19,36 169.629 84.814 254.443 $ 50.888.5921,6 14,89 4,47 19,36 169.629 101.777 271.406 $ 54.281.1651,7 14,89 4,47 19,36 169.629 118.740 288.369 $ 57.673.7381,8 14,89 4,47 19,36 169.629 135.703 305.332 $ 61.066.3101,9 14,89 4,47 19,36 169.629 152.666 322.294 $ 64.458.8832,0 14,89 4,47 19,36 169.629 169.629 339.257 $ 67.851.456



(53)

Práctica modelado datacenters 2APC DATA CENTER MODELLING WEB TOOLShttp://tools.apc.com

TT6: Calculadora de rendimiento del centro de datos set datacenter capacity to 194kw and 100% IT load … cost should be aprox 10 times our two racks at 1.7 PUE set IT load back to 70% and add/remove features to datacenter and see effect on PUE and cost

TT8: Data Center Design Planning Calculator look at growth plan tab, see $$ savings in scale-up vs. up-front why PUE starts so high when up-front? (hint: in TT6 lower/raise IT load and see effect on PUE) change «deployment rate» … explain change in PUE charts

TT1: Calculadora de energía de un datacenter try to get our setup with only RACK 1 (server quantity=60, 2 sockets = 100%, 0 mainframes, external no storage, safety margin 0%) change parameters and explain TT9: Calculadora de costes de energía de virtualización set «percentage of servers virtualized» to 100% and consolidation rate 1:1. explain turn «row based coolin» on/off. explain

5 Práctica



(54)

Consideraciones finales

Consideraciones finales

1 ENTIENDE TU INSTALACIÓN

2 MIDE MIDE MIDE MIDE MIDE MIDE MIDE

3 «LO MÁS» NO SIEMPRE ES LO MÁS ADECUADO A UN CASO CONCRETO

4 ENTIENDE LOS PATRONES DE CARGAS COMPUTACIONALES

5 DECIDE ACORDE A TU TAMAÑO / FINANCIACIÓN / EQUIPO

6 PLANEA A MEDIO TIEMPO CON UN ESPÍRITU PRÁCTICO

7 DATACENTERS CIENTÍFICOS: APOYA A TUS USUARIOS

LA MEJOR GUÍA: EL SENTIDO COMÚN



(55)

http://www1.eere.energy.gov/femp/pdfs/eedatacenterbestpractices.pdf

http://www.intel.com/technology/eep/datacenter.pdf

http://h20000.www2.hp.com/bc/docs/support/SupportManual/c00064724/c00064724.pdf

http://www.energystar.gov/ia/partners/prod_development/downloads/EPA_Datacenter_Report_Congress_Final1.pdf

http://www.google.com/about/datacenters/best-practices.html

http://www.cisco.com/web/partners/downloads/765/other/Energy_Logic_Reducing_Data_Center_Energy_Consumption.pdf

http://static.googleusercontent.com/external_content/untrusted_dlcp/www.google.com/es//corporate/datacenter/dc-best-practices-google.pdf

http://www.thegreengrid.org/~/media/WhitePapers/White_Paper_27_Impact_of_Virtualization_Data_On_Center_Physical_Infrastructure_020210.pdf?lang=en

Enlaces

universidad nacional, enero 2013 diseño y dimensionamiento de data centers (1) diseño y...

Documents