almacenamiento flash de ibm - punto de inflexión en la gestión de big data
DESCRIPTION
TRANSCRIPT
© 2013 IBM Corporation1 Title of presentation goes here
José Luis Llorente
Responsable de Desarrollo de Negocio de Almacenamiento, IBM
Almacenamiento Flash
Un punto de inflexión en la gestión de Big Data.
Madrid, 10 de junio, 2013
© 2013 IBM Corporation2
1. Reducir el numero de licencias de Base de Datos 2. Mejorar la eficiencia de nuestras aplicaciones 3. Maximizar el uso de los servidores
4. Maximizar la eficiencia del Almacenamiento
5. Conseguir la Micro -Latencia5. Conseguir la Micro -Latencia!!
¡ SE PUEDE ! ... ¡ SE PUEDE ! ... Con IBM FlashSystem Con IBM FlashSystem
El uso de IBM FlashSystem ‘is a “must”’ en cada Data Center
Y si pudieramos ….. Maximizar el uso de toda nuestra Inversión en Infraestructura HW y Software …. Y si pudieramos ….. Maximizar el uso de toda nuestra Inversión en Infraestructura HW y Software ….
© 2013 IBM Corporation3
Muy costosa y Volatil
Lleva mucho tiempo, es muy caro
y suele ser muy arriesgado
Caro y puede ser ineficiente por problemas de
latencia
Caro y puede ser ineficiente por estar el problema en el Almacenamiento:
alto IO Wait !
Respuestas cuando se tienen problemas de rendimiento
Añade mas memoria RAM !!
Soluciones típicas para mejorar el
rendimiento
Mejora los discos, añade
mas, pon SSD, pon 15K
rpm !!!
Añade mas CPUs !!!
Tunea y Modifica la Aplicación
© 2013 IBM Corporation4
Por qué Flash……..? Y por qué ahora ?
Evolución de la tecnología en los ultimos 10 años …
• Velocidad CPU: mejoras en rendimiento 8-10x
• Velocidad DRAM: mejoras en rendimiento 7-9x
• Velocidad de Network: mejoras en rendimiento de 100x
• Velocidad de Bus: mejoras en rendimiento de 20x
• Velocidad de Disco: mejoras en rendimiento de 1.2X
© 2013 IBM Corporation5
Evolución de la tecnología de Almacenamiento considerando IBM FlashSystem…
• Velocidad CPU: mejoras en rendimiento 8-10x
• Velocidad DRAM: mejoras en rendimiento 7-9x
• Velocidad de Network: mejoras en rendimiento de 100x
• Velocidad de Bus: mejoras en rendimiento de 20x
• Velocidad de Disco: el rendimiento mejora 30x
¿Por qué Flash?... ¿Y por qué ahora ?
© 2013 IBM Corporation6
Beneficios de Flash: E/S desde disco
Time
Tiempo en procesar un I/O ‘servido’ desde Disco• Petición de I/O : (~ 100 μs)• Espera por el I/O para ser servido desde el disco : (~ 5,000 μs)• Proceso del I/O : (~ 100 μs)
Tiempo total para procesar una petición de 1 I/O = 200 μs + 5,000 μs = 5,200 μs
% uso de la CPU = tiempo de espera/ tiempo de proceso = 200 / 5,200 = ~4%
Processing~100µs ~100µs
Waiting~5000 µs
CPU State
1 I/O Request
© 2013 IBM Corporation7
Time
I/O Servido desde Flash Memory• Petición de I/O (~ 100 μs)• Tiempo de espera del IO para ser servido desde Flash: (~ 200 μs)• Proceso del I/O (~ 100 μs)
Tiempo total para procesar 1 I/O request = 200 μs + 200 μs = 400 μs
% de Uso de la CPU = tiempo de espera/tiempo de proceso = 200 / 400 = ~50%
Processing~100µs ~100µs
Waiting~200 µs
CPU State
1 I/O Request
Multiplica por 12 el rendto de la aplicación con tan solo mejorar la latencia de acceso al Almacenamiento en disco
Beneficios de Flash: E/S desde Flash
© 2013 IBM Corporation8
Direct Attach
All Flash Arrays
Hybrid Storage Systems
Acelera el rendimiento de aplicaciones críticas y aprovecha toda la potencia de nuestros servidores
IBM FlashSystemofrece rendimiento ‘extremo’,
baja latencia y atributos de robustez clase ‘enterprise’
IBM FlashSystemofrece rendimiento ‘extremo’,
baja latencia y atributos de robustez clase ‘enterprise’
La ‘Piramide’ de Flash ahora completada con ‘cabinas externas Flash’
#flashahead#flashahead
TapeHDD
Form FactorSSD
PCIe SSD
Seconds
5-15 milliseconds
~1 milliseconds
< 1 millisecond
IBM FlashSystem100 microseconds
…latencia consistente en 1U
y hasta 20TB de Flash
1 second =
1 million microseconds
Con Flash se marca un antes y un despues ….
© 2013 IBM Corporation10
Piensa en ‘Flash’ – Integra IBM FlashSystem en tu instalación !!!
Sugerencias :
• Complementa con Flash tu actual infraestructura
• Asigna a los discos Flash el workload/los trabajos mas ‘pesados’ y críticos
• Reduce el tiempo de respuesta global de todas las aplicaciones
• Maximiza la eficiencia y el uso de toda la inversion en tecnologia ya realizada
• Elimina completamente los problemas de rendimiento por culpa del Almacenamiento
• Consigue rendimiento consistente y continuado para las aplicaciones criticas de tu negocio
Elimina los cuellos de botella Elimina los cuellos de botella
© 2013 IBM Corporation11
Reenfoque del Rendimiento
Número de IOPS versus Latency en milisegundos ?
Tiempo de Proceso de datos versus Tiempo en Espera hasta recuperar el bloque
Rendimiento Consistente versus Rendimiento Variable e Impredecible
© 2013 IBM Corporation12
On-demand computing,distribución de contenidos, web caching, metadata, active file management, etc…
Finanzas, gaming, facturación en tiempo real,
trading, monitorizacion en tiempo real, aceleración de
queries Oracle (AWR), DB2, etc..
VDI projects, VDI ‘tormenta’ log-ons y logoffs, consolidación de infraestructuras virtualizadas, resolución de hot-spots de acceso al disco
Simulaciones, modelados, rendering, video on demand, video transcoding, etc..
Business intelligence, Procesos batch, sistemas ERP (SAP, etc..) , alimentación masiva de datos - OLAP
En qué entornos considerar IBM FlashSystem?
Aplicaciones de cálculo, HPC…
Aplicaciones Analíticas OLAP
Infraestructuras Cloud
Infraestructuras Virtuales
Bases de Datos OLTP
© 2013 IBM Corporation13
Los números ‘no mienten’
~4,000 IOPS por nodo de RAC – 4 nodos: 16,000 IOPS total
12.25 minutos para completar 2 millones de queries
12m 25s 1m 30s
Over 9X reduction!
Con IBM FlashSystem
1.3 minutos para completar 2 millones de queries
© 2013 IBM Corporation14
IBM FlashSystem – ‘ Shared’ Flash Systems
1U form factor, consumo inferior a 500 Watts
© 2013 IBM Corporation15
IBM FlashSystem Portfolio
Rendimiento Extremo
Macro EfficiencyMicroLatency™ Enterprise ReliabilityExtreme Performance
IBM FlashSystem Solution:IBM FlashSystem 820 +San Volume Controller (SVC)
IBM FlashSystem 820 IBM FlashSystem 720IBM FlashSystem 810
IBM FlashSystem 710
Funcionalidades de gama alta
• Aumenta la Productividad de los proceso de negocio de la empresa ‘en si misma’
• Mejora el rendto de las aplicaciones
• Ideal para entornos OLTP, DW y entornos OLAP
• Sistemas ‘High availability’
• Acelera el rendto de las aplicaciones
• Solucion ‘enterprise’ que asegura la protección de los datos
© 2013 IBM Corporation16
3 estrategias de implementación de
IBM FlashSystems
© 2013 IBM Corporation17
Flash only pool Easy Tier pool HDD only pool
Implementación 1: Flash, Virtualización y EasyTier en entornos SAP
ERP
17
IBM FlashSystem
Storwize / XIV
SVC nodes
SCM SRM CRM BW
SAP production DB server
SAP non-prod DB server
ERP SCM … … …
• Alojar BD o tablas demandantes de IOs en un pool de tecnologia ‘solo’ Flash
• Alojar la BD de SAP de Producción en un pool de Flash y HDD tradicional usando EasyTier
• Resto de BD no productivas en HDD tradicional
SVC storage pools (managed disk groups)
© 2013 IBM Corporation18
Soluciónes Activo-Activo con Virtualización (SVC) para entornos ERP
ERP
18
Storwize / XIV
SVC nodes
SCM SRM CRM BW
SAP production DB server
SVC nodes
Storwize / XIV
stretched cluster
SAP non-prod DB serverSAP non-prod DB server
IBM FlashSystem
IBM FlashSystem
© 2013 IBM Corporation19
Uso de las Funciones Avanzadas con Virtualización (SVC, Storwize V7000)
ERP
19
Storwize / XIV
SVC nodes
SCM SRM CRM BW
SAP production DB server
SVC nodes
Storwize / XIV
stretched cluster
FlashCopy
IBM FlashSystem
IBM FlashSystem
© 2013 IBM Corporation20
Escrituras
Lecturas
ASM FG2
ACTIVE DATA
TRANSITIONAL DATA
20 TB
5 TB
Implementación 2 : ‘Preferred Read’
20
100 TB
ASM FG1
ACTIVE DATA
TRANSITIONAL DATA
20 TB
5 TB
ORACLE ASM
ORACLE ASM Boost Performance
Boost Redundancy - Sin disrupción - Sin riesgo - Sin perdida de uso de las funciones avanzadas del Disco
IBM Flash System
SANSAN SANSAN
Servidores Base Datos
MirrorMirror
© 2013 IBM Corporation21
Administrador de SAP identifica qué tablas provocan la latencia de acceso al disco
Las ‘mueve’ manualmente a un disco IBM Flash ‘mirror’ del discos tradicional
Se pueden alcanzar mejoras de rendimiento de 12x
Implementación 3: ‘Manual Data Placement’
© 2013 IBM Corporation22
IBM FlashSystem impacta en los costes de TI
Reducción del TCO sin cambiar la arquitectura de las aplicaciones
85% de reducción en
procesos bach
50% de reduccion en licencias de
Software
75% de reducción en ‘huella’ de
CPD; 1 PB en una huella
80% de reducción en
consumo energético
100 µs LatenciaSin ‘cuellos de
botella’
Fiabilidad clase ‘Enterprise’
High Availability, 2D Flash RAID & IBM Variable Stripe
RAIDTM
© 2013 IBM Corporation23
Uso de discos Flash: nueva visión del Almacenamiento
Pri
ce /
Per
form
ance
$/IO
/GB
Workload( capacity)
OLTP OLAP VDI HPC/Research
CloudScale
Time
Phase III
Phase II
H Price/Performance
W Capacity
Area Total Cost
Flash “Aplicaciones” candidatas para el dia 1 – Phase I
© 2013 IBM Corporation24
La densidad de los discos Flash seguirá aumentando
El precio/GB utilizable ira cayendo
Aumentará la consolidación de Datos de ‘lower tiers’
Posicionar datos automáticamente en discos Flash
‘End Game’: + Virtualization+ Performance Flash+ Capacity Disk
Storage+ Easy Tier™+ Deep Archive
Virtualizar mas para incrementar el uso y reducir costes
Migrar desde Storage legacy mas ineficiente
Unica interfaz de gestión
Extender funciones avanzadas al Almacenamiento existente
Explotar los discos Flash compartidos para aumentar el rendimiento ‘broadly’
Para el resto de las cargas usar técnicas de Compresión para incrementar el uso de los discos
Reclasificar aplicaciones en
Tier-1, Tier-2 , mezcla
Racionalizar políticas de Data Protection & Recovery para reducir las caídas
Cualificar aplicaciones candidatas para el uso de EasyTier
The IBM Smarter Storage™ ‘Viaje’ hacia el Flash
Identificar cargas/aplicaciones intensivas en rendimiento
Moverlas a dispositivos Flash storage
Integrar discos Flash con tecnologias tipo EasyTier - SVC
Mejorar el rendto del resto de las cargas/aplicaciones
Aumentar la productividad
Sin cambios en aplic.
$€£¥
© 2013 IBM Corporation25
Sistemas “All Flash” de IBM
‘ .. La estrategia ‘Flash’ redefinirá la inversión en tecnología …. ‘
Inversión de aprox. 1B $ en tecnología Flash y en investigación y desarrollo
12 nuevos Centros de Competencia para ayudar a nuestros clientes a integrar en sus infraestructuras la tecnología Flash
© 2013 IBM Corporation26
12 Nuevos Centros de Competencia ‘Flash’ ayudan a su integración …
Pruebas de Concepto
Benchmarks
Estudios de Optimización de la Infraestructura y de ahorro de costes - TCO
La experiencia de IBM acelera la implantación de la tecnología Flash
La experiencia de IBM acelera la implantación de la tecnología Flash
27 © 2013 IBM Corporation
Siguientes pasos…
© 2013 IBM Corporation28
La familia IBM® FlashSystem™ podemos ayudarle !
1. Recolecte información de rendimiento en relación a su entorno: • Host: IOstat, perfmon, sar, etc ..• DB: Oracle AWR, DB2 db2support, etc..• Storage: Symmetrix WLA, NAR files, etc..
2. Envíenos detalle de su rendimiento actual que nos identifique :• Componentes de base de datos que consuman tiempo de CPU (alto IO
Wait) : % uso de CPU, etc .. considerando los 5 eventos más críticos/mas pesados, durante 1 h, y su impacto en el tiempo de respuesta .
• Le ofrecemos :1. Estudio de mejora de rendimiento prevista (en tiempos de respuesta
y en mejora de % de uso de la cpu) con IBM FlashSystem.2. Recomendaciones adicionales, de tuning, que podrían mejorar
todavia mas el tiempo de respuesta global de las aplicaciones .
3. Prueba de concepto (Try & Buy) donde se demostrará la mejora de rendimiento prevista con IBM FlashSystem
© 2013 IBM Corporation30