big data: presente o futuro
DESCRIPTION
Pedro Algaba de PIVOTAL profundiza en conceptos de plena actualidad Big Data en el Segundo Congreso Internacional de Ingeniería de Software.TRANSCRIPT
A NEW PLATFORM FOR A NEW ERA
O
Pedro Algaba, Pre-sales Pivotal
© Copyright 2013 Pivotal. All rights reserved.
Pivotal, El nuevo Spin-out de EMC y VMware � Pivotal integra tecnologías punteras de EMC y
Vmware para construir una plataforma de datos de nueva generación
� Más de 1700 personas, con profundos conocimientos en tecnologías cloud, arquitectura de aplicaciones, datos y analítica
� Esta plataforma permite a las organizaciones construir nuevas aplicaciones de forma ágil, que aprovechan todo el potencial de Big Data y Fast Data.
Private Cloud
Public Cloud
© Copyright 2013 Pivotal. All rights reserved.
Cloud
IT Technology Eras
Mainframe Client-Server
Millions of Apps Billions of Users
* Source: Gartner, 2013: “Hunting and Harvesting in a Digital World: The 2013 CIO Agenda”
$ $ $ $ $ $
Capacidad de Delivery
Presupuesto*
Expectativas del negocio
Los requerimientos del negocio sobrepasan las capacidades de IT…
© Copyright 2013 Pivotal. All rights reserved.
Un poco de historia. 3ª Plataforma 1st
MAINFRAME
Automatización de cuentas bancarias
Mainframes
ISAM
3rd
Cloud-Enabled Datacenters
New Data-fabrics
“CLOUD”
“Post-Sin-Papeles” Nuevas Experiencias Nuevos Modelos de Negocio Liderados por el Nuevo Consumidor Gigantes de Internet Acelerado por IoT
2nd
CLIENT-SERVER & WEB
Automación de procesos (papel) ERP, CRM, Email, …
Relational Databases
Mini’s & PC’s
Valor Negocio
Ruptura Tecnológica
© Copyright 2013 Pivotal. All rights reserved.
Proceso Analítico Tradicional
© Copyright 2013 Pivotal. All rights reserved.
El sueño del mar de datos Fase1: La vida antes de Hadoop • Cada aplicación usa su base
de datos legacy
• Los analistas ejecutan informes y procesos analíticos sobre el Datawarehouse o Datamarts analíticos
© Copyright 2013 Pivotal. All rights reserved.
Que han hecho los pioneros?
Desarrollo ágil de aplicaciones
MA
INFR
AM
E
CLI
ENT-
SER
VER
& W
EB
Almacenar y obtener valor de
grandes volúmenes de datos
Operación y Automatización con escalabilidad Cloud
Nuevas experiencias de usuario Nuevos modelos de negocio Nuevo valor para el negocio
APPS
ANALYTICS DATA
Speed!
© Copyright 2013 Pivotal. All rights reserved.
MA
INFR
AM
E
CLI
ENT-
SER
VER
& W
EB
...ETC
Desarrollo Ágil de Aplicaciones
Almacenar y obtener valor de
grandes volúmenes de datos
Operación y Automatización con independencia de
Cloud
Internet of Things (dispositivos y ,áquinas)
Interoperar con el Legacy
Habilitando a las organizaciones
New user experiences New business models New business value
APPS
ANALYTICS DATA
Speed!
© Copyright 2013 Pivotal. All rights reserved.
Un Universo Digital De Oportunidades
RICH DATA Y el valor creciente de INTERNET DE LAS COSAS
© Copyright 2013 Pivotal. All rights reserved.
Industrias En Cambio Estructural Redes, Dispositivos móviles, “Cosas”…Big & Fast Data
© Copyright 2013 Pivotal. All rights reserved.
La oportunidad Hadoop
� Gestiona grandes cantidades de datos – Escalabilidad a bajo coste
� Usar nuevas fuentes de datos: – Formatos nativos – Mayor granularidad – Tendencias emergentes – Nuevas oportunidades, etc.
� Las herramientas de base de datos tradicionales no sirven – No fueron pensadas para casos de uso Big Data – No escalan, son caras, estructuras de datos rígidas
© Copyright 2013 Pivotal. All rights reserved.
Datos Estructurados
Datos no Estructurados
Enterprise
Datos Entorno
Datos Geográficos
Datos Financieros
Datos Logísticos
Social, Video
Partner Public
10101010100101010 011001010101110010 1101010100101011111
Telemetría, M2M
Origen y Tipos Big (& Fast!) Data
© Copyright 2013 Pivotal. All rights reserved.
Evolución con Hadoop…
© Copyright 2013 Pivotal. All rights reserved.
• Hadoop es usado basicamente como area de staging y de proceso batch (Big ETL)
El sueño del mar de datos Fase 2: Se introduce Hadoop
© Copyright 2013 Pivotal. All rights reserved.
A N A L Í T I C A S
APROVECHA EL
PODER DEL
BIG DATA
© Copyright 2013 Pivotal. All rights reserved.
No Es Lo Que Parece No es el tradicional “business intelligence”
• Datos estructurados vs todos los datos • Relación y causalidad vs correlación • Datos convencionales vs nuevas fuentes • Descubrimientos insospechados • Experimentación, Investigación y Desarrollo • M2M Internet de las cosas • M2H Internet de las cosas
© Copyright 2013 Pivotal. All rights reserved.
El Concepto Del Data Lake.
Analytic Data Marts
SQL Services
Operational Intelligence
In-Memory Database
Run-Time Applications
HDFS
Data Staging Platform
Data Mgmt. Services
Pivotal HD Stream
Ingestion Streaming Services
Software-Defined Datacenter
New Data-fabrics
In-Memory Grid
...ETC
© Copyright 2013 Pivotal. All rights reserved.
Metamorfosis Negocio
Monetización de Datos
Optimización Del Negocio Nuevas
Revelaciones Monitorización Del Negocio
Modelo Evolutivo Analítico
+ Hadoop
+ Analíticas Predictivas, Prescriptivas
+ Tiempo Real, Ciencia de los Datos Traditional
BI/DW
Source: Schmarzo, Big Data Understanding How Data Powers Big Business
© Copyright 2013 Pivotal. All rights reserved.
Energía
Big Data Transforma El Negocio Afecta A Todas Las Industrias
Salud Gobierno Ciberseguridad
Seguros Finanzas Telco Retail
Publicidad Juego
© Copyright 2013 Pivotal. All rights reserved.
‘Hemos estimado que esta nueva ola de innovación puede elevar el PIB global hasta 10-15 B$ ($10-15 trillion) en os próximos 20 años a través del crecimiento en la productividad.’ - GE
El Internet De Las Cosas & Big Data
© Copyright 2013 Pivotal. All rights reserved.
TI tiene la mayor prioridad para el negocio de la última década. La generación de ingresos ocupa el #1 en los planes de inversión en tecnología a 5 años – Gartner
Un mayor número de CEO percibe TI como una fuente de innovación y crecimiento
Source: Gartner, “The 2014 Gartner CEO and Senior Executive Survey: ‘Risk-On’ Attitudes Will Accelerate Digital Business” 9 April 2014 G00260067
La Empresa Definida Por Software Emerge
© Copyright 2013 Pivotal. All rights reserved.
• Aplicaciones analíticas y transaccionales utilizan los datos que viven en Hadoop, sin requerir otros gestores de bases de datos diferenciados
El sueño del mar de datos Fase 3: Consolidación del “Data Lake”
OLTP
Online Apps
Analytic Apps
© Copyright 2013 Pivotal. All rights reserved.
APPS
ANALYTICS DATA
MA
INFR
AM
E
CLI
ENT-
SER
VER
& W
EB
...ETC
Cloud Fabric “El nuevo sistema operativo”
Data Fabric “La nueva Base de Datos”
App Fabric “El nuevo Middleware”
“The new Hardware”
Nueva arquitectura de software
© Copyright 2013 Pivotal. All rights reserved.
Cloud Fabric: “Linux para el Cloud”
...ETC
Cloud Fabric “El nuevo sistema operativo”
© Copyright 2013 Pivotal. All rights reserved.
Cloud Fabric: “Linux para el Cloud”
...ETC
Cloud Fabric “El nuevo sistema operativo”
• Abstracción - Portabilidad del Cloud
• Automatización - Aprovisionamiento,
Monitorización, Ciclo de Vida
• Extensibilidad - Registro de servicios
© Copyright 2013 Pivotal. All rights reserved.
Porqué Pivotal?
� Plataforma Unificada para Big & Fast Data:
– Datos estructurados y no estructurados – Integración de datos entre las distintas
aplicaciones: Batch, Analítco y OLTP – Todo en HDFS
� Pivotal ofrece la inovación y agilidad de una start-up, pero con el respaldo de EMC y Vmware
© Copyright 2013 Pivotal. All rights reserved.
Elastic Runtime Java, Spring, Ruby, Node.JS Built-in “Middleware” Services
Operation Manager Installation, Management, Monitoring, Upgrades/Updates
...ETC
Pivotal One: La Plataforma para desarrollar software en la era del Cloud y Big Data….
Pivo
tal O
ne
Pivotal One CO-INNOVATION Agile Software Development
Data Lake Solutions
PIVOTAL MySQL
Pivotal One SERVICES
A NEW PLATFORM FOR A NEW ERA