big data: presente y futuro. ponente: francisco gallego

F R A N C I S C O G A L L E G O

1. Bienvenida y presentación.

2. Conceptos básicos.

3. Historia.

4. Catalizadores.

5. UC’s

6. Empleo relacionado.

7. ¿Por qué CICE?

8. Cuestiones.

BIG DATA: PRESENTE Y FUTURO


El burro delante…

Francisco Gallego Sánchez-Bermejo

• Ingeniero informático, con más de 10 años de

experiencia en el sector TIC, especializado en

sistemas informacionales. Cuento con más de

50 proyectos realizados por mis equipos en el

área de BI / Big Data.

• Ahora ocupo el puesto de Director de proyectos

en T-Systems Iberia que compagino con mi

puesto de Director del área de BI / Big Data en

CICE.


Clientes

Francisco Gallego Sánchez-Bermejo



3. Historia.

4. Catalizadores.

5. UC’s


7. ¿Por qué CICE?

8. Cuestiones.



¿De cuando es el Big Data?

Pequeño examen amistoso.


¿Qué es una base de datos (TIC)?

Una base de datos es una colección de datos organizada de forma que un

programa de ordenador pueda seleccionar rápidamente los fragmentos

de información que necesite.

TRADICIONALES o RELACIONALES o

SQL

NO-RELACIONALES o No-SQL


¿Qué es una base de datos (TIC)?

Una base de datos es una colección de datos organizada de forma que un

programa de ordenador pueda seleccionar rápidamente los fragmentos

de información que necesite.

TRADICIONALES o RELACIONALES o

SQL

NO-RELACIONALES o No-SQL

Utilizan solo y en exclusiva para

obtener la información el lenguaje

de consulta denominado SQL

No o no solo utilizan para obtener la

información el lenguaje de consultas

denominado SQL


¿Qué es Big Data?

Big Data (BgD) Una nueva generación de tecnologías y arquitecturas

diseñadas para extraer Valor económico de grandes volúmenes de datos

heterogéneos que debido a su Volumen, Variedad o Velocidad no pueden

ser tratados de manera convencional, ya que superan los límites y

capacidades de las herramientas de software habitualmente utilizadas para

su captura, gestión y procesamiento.

Value


¿Si hablamos de Big Data que tecnología predomina?

Big Data (BgD) Vamos a ver dos tecnologías que son las que marcan ahora

mismo el mercado como predominantes.

Hadoop Spark


¿Si hablamos de Big Data que tecnología predomina?

Big Data (BgD) Vamos a ver dos tecnologías que son las que marcan ahora

mismo el mercado como predominantes.

Hadoop Spark

Apache Hadoop es un framework de

software que soporta aplicaciones

distribuidas bajo una licencia libre.

Permite a las aplicaciones trabajar

con miles de nodos y petabytes de

datos. Hadoop se inspiró en los

documentos Google para

MapReduce y Google File System

(GFS).

Spark es una plataforma de

computación de código abierto para

análisis y procesos avanzados.

Spark fue diseñado para soportar en

memoria algoritmos iterativos en

memoria que se pudiesen

desarrollar sin escribir un conjunto

de resultados cada vez que se

procesaba un dato.


¿Pero solo están Hadoop y Spark?

La respuesta es un NO rotundo y el número de aplicaciones y soluciones

Big Data no deja de crecer

2013 2016


¿Y cada proyecto debe revisar todo esto?

La respuesta también es un NO rotundo, pues no da tiempo, la gente utiliza

distribuciones que ya marcan un poco las herramientas a utilizar por

categoría y facilitan su integración.

Cloudera HortonWorks



3. Historia.

4. Catalizadores.

5. UC’s


7. ¿Por qué CICE?

8. Cuestiones.



El hombre y la necesidad de almacenar información

Erase…Desde que el hombre es hombre siempre hasentido la necesidad de almacenar la informaciónque iba recopilando en su vida, con las limitacioneso capacidades que disponía.

Prueba de ello son todas las representaciones quetenemos desde tiempos inmemoriales, comopinturas rupestres, tablillas de barro, jeroglíficos ypapiros. Hoy son discos duros, memorias portableso el Cloud o “Nube”.


Aviso de problemas de almacenamiento analógico

Fuente: Winshuttle

1944: Fremont Rider, bibliotecario de laUniversidad Wesleyana, estimó que cada 16 añoslas bibliotecas de EEUU duplicaban su información.

Rider calculó que para esa tasa Yale tendría en elaño 2040 aproximadamente 200 millones devolúmenes, que ocuparían 9.656 km de estanteríasy necesitarían más de 6.000 personas para sugestión.


El uso de los primeros “discos duros”

Fuente: Winshuttle

1950: Aparece el tambor magnético, tambiénllamado memoria de tambor, padre delos dispositivo de almacenamiento de datos quehoy más manejamos.

Fue una de las primeras memorias decomputadora, inventada en 1932 por GustavTauschek, en Austria, fue extensamente usada enlos años 1950 y 1960.

Es un comienzo real de almacenamiento digital dela información.


Memoria virtual

Fuente: Winshuttle; Wikipedia

1956: Fritz-Rudolf Güntsch descubrió esteconcepto, con la intención de un almacenamientoadministrador por software, encapsulandocualquier cuestión de hardware.

La memoria virtual es una técnica de gestión de lamemoria que permite que el sistema operativodisponga, tanto para el software de usuario comopara sí mismo, de mayor cantidad de memoria queesté disponible físicamente. Gracias a ella se puedehacer multi-tarea y multi-programación.


Sistema de computación centralizada


1966: Los primeros computadores no teníanterminales separados como tales, sus primitivosdispositivos de entrada-salida fueron incorporadosen ellos.

Sin embargo, por razones de coste, pronto seencontró que era extremadamente útil quemúltiples personas pudieran usar un mismocomputador simultáneamente tiempo compartido.La automatización de la información había saltadodel sector científico al de los negocios.


Bases de datos relacionales


1970: En el año 1970, Edgar F. Codd de IBM,publicó un artículo en el que se explicaba la formaen la que podía accederse a la informaciónalmacenada en bases de datos de gran tamaño sinsaber cómo estaba estructurada la información odónde residía dentro de la base de datos.

Hasta ese momento, para recuperar la informaciónse necesitaban conocimientos informáticosrelativamente sofisticados.


La aparición de SQL


1974: SQL (por sus siglas en inglés StructuredQuery Language; en español lenguaje de consultaestructurada) es un lenguaje declarativo de accesoa bases de datos relacionales que permiteespecificar diversos tipos de operaciones en ellas.

Una de sus características es la capacidad deefectuar consultas con el fin de recuperar, de formasencilla, información de bases de datos, así comohacer cambios en ellas.


Bases de datos relacionales


1985:Barry Devlin y Paul Murphy definieron unaarquitectura para los informes y análisis de negocioen IBM. Es lo que se conocería en 1988 comoEDWH (Enterprise Data Ware House).

En el centro neurálgico de dicha arquitectura, y enel almacenamiento de datos en general, seencuentra la necesidad de almacenamientohomogéneo y de alta calidad de datoshistóricamente completos y exactos.


Business Intelligence 1.0


1989:Howard Dresner amplió el popular términogenérico « Business Intelligence (BI)» o Inteligenciaempresarial, inicialmente acuñado por Hans PeterLuhn en el año 1958.

Dresner lo definió como los «conceptos y métodosque mejoran la toma de decisiones de negociomediante el uso de sistemas de apoyo basados endatos reales».


Expansión de World Wide Web


1995:El uso de internet empezó a proliferar, y conello el volumen de datos, y el crecimientotecnológico relacionado con la inteligenciaempresarial.

El crecimiento de la información y del uso deinternet hizo que se tuvieran que generar nuevasaplicaciones ERP.


BI 2.0


1996:Las aplicaciones BI se reciclan, y pasan a seraplicaciones Web, en vez de Desktop.

Su utilización se orientan cada vez más para losusuarios avanzados en vez de expertos IT.

Las aplicaciones comienzan a permitir entre lasaplicaciones la reutilización de los informes, elámbito pasa de departamental a empresarial, y suorientación es a “modelo de servicio”.


Aparición del termino “Big Data”


1997: Michael Cox y David Ellsworth(investigadores de la NASA), afirmaban en un artículo que los datos empezaban a ser un problema para los sistemas informáticos lo que denominaron «problema del Big Data».

Por otra parte Michael Lesk publicó ”How much information is there in the world?”, cuya conclusion es que en un futuro se podrá almacenar toda la información por la capacidad de los sistemasfuturos.


Aparición del termino “IoT”


1999: El término "Internet de las cosas" o IoT, porsus siglas en inglés, fue acuñado por elemprendedor británico Kevin Ashton, cofundadordel Auto-ID Center del MIT.

"Si tuviéramos equipos que supieran todo lo quehay que saber acerca de las cosas, a partir de datosque recopilados sin nuestra ayuda, seríamoscapaces de monitorizar y contar todo, y reducir asíconsiderablemente los costes, los desperdicios ylas pérdidas."


Aparición del termino “3V’s”


2001: Doug Laney, analista de Gartner, publicó unartículo titulado 3D Data Management: ControllingData Volume, Velocity, and Variety.

A día de hoy, las tres V siguen siendo lasdimensiones comúnmente aceptadas del Big Data.

Además por esa misma época aparece la definicióndel modelo SaaS (Software as a Service).


Consolidación de “Web Services” y “Usabilidad”


2002: La modalidad de gestión e intercambio deinformación entre plataformas por losdenominados Web Services se consolida.

Las empresas entienden que en la modalidad deSaaS la orientación al usuario es clave, y lausabilidad de las aplicaciones es un factordeterminante, por lo que la investigación ydesarrollo de esta modalidad coge fuerza.


El centro de la información las BD corporativas


2005: En todos los entorno empresariales las base de datos centralizan o están comenzando a centralizar gran parte de la información de la compañía, aquellos más avanzados implementan una arquitectura data warehouse, y con un conjunto de aplicaciones de inteligencia empresarial, bajo el paraguas Business Intelligence 2.0.


Explosión de redes sociales


2005: Del 2005 al 2009 aparecen las principalesredes sociales, inundando de información no-estructurada los sistemas de información de estascompañías.

2005-Facebook2006-Twitter2008-Pinterest2009-LinkedIn2010-Instagram


El centro de la información las BD corporativas


2006: Apache Hadoop es un framework desoftware que soporta aplicaciones distribuidas bajouna licencia libre. Permite a las aplicacionestrabajar con miles de nodos y petabytes de datos.

Su inventor fue Doug Cutting, y creóHadoop durante su instancia en Yahoo, inspiradoen los documentos Google para MapReduce yGoogle File System (GFS). Hoy en día trabaja enCloudera, distribución de Big Data que gira entornoa Hadoop.


BI es una prioridad imprescindible

Fuente: Winshuttle; Wikipedia,

2009: El BI es imprescindible en todas lascompañías como punto para obtener mejorascompetitivas, es decir transformar datos en valor.

El nº de aplicaciones que disputan el mercado esabundante.


Cloud para todo


2010: Un estudio realizado en el año 2010 constatóque las implantaciones de SaaS se habíanduplicado, al ser un 15 % en el año 2009 y un 7 %en el 2008.

El trabajo y el nº de soluciones relacionadas con el“Dato” en la nube proliferan sin freno.


Las comunicaciones acompañan


2013: La Internet Society llevó a cabo elLanzamiento Mundial de IPv6.

El IPv6 fue desarrollado por la Internet EngineeringTask Force (IETF) para resolver el problema delagotamiento de direcciones IPv4 (el formato de 32bits del protocolo IPv4 soporta "únicamentey"4300 millones de direcciones IP).


Avances Big Data


2013: Hay dos grandes avances en el mundo delBig Data, por un lado la posibilidad de hacerconsultas federadas, es decir consultas donde losorígenes de datos son heterogéneos y numerosos.

El segundo avance es la posibilidad de lanzarinformes desde memoria, que ofrece unrendimiento más efectivo y con un resultado másreal.

Las empresas empiezan a trabajar en RAM, Hana.


El Real Time se puede demostrar: Spark


2014: Aparece una tecnología que permite eltratamiento de la información en tiempo real,Spark.

Apache Spark es un framework open source para elprocesamiento de datos masivos diseñado con tresprioridades en mente: velocidad, facilidad de uso, ycapacidades avanzadas de analítica. Este últimopunto está siendo clave en el uso de estátecnología pues se usa mucho para temaspredictivos.


El año del IoT


2014: El número de dispositivos que se conectan aInternet es muy numeroso, según Gartner, había3.700 millones de "cosas" conectadas en uso en2014 y esa cifra se elevará hasta los 4.900 millonesen 2015.

Las Smart cities son un claro ejemplo que el IoTcomienza a estar entre nosotros de una manerasostenible. Según estimaciones de Gartner habrámás de 1100 millones de dispositivos conectados yen uso en diversas ciudades en 2015.


BI y Big Data convergen


2014: Se define la nueva versión del BI 3.0, en laque se encuentra el Big Data como partetecnológica.

El modelo incluye los Data-lakes junto conestructura de DWH, denominando a estaarquitectura DWH 2.0. Se incluye el real-time comocapacidad de procesamiento de la información.


Futuro: más y más datos.


2020: La información se espera que siga creciendopues el número de dispositivos y la generación deinformación de los mismos seguirá creciendo hastaordenes de magnitud increíbles.

Los expertos apuntan a un aumento estimado del4300 % en la generación de datos anuales para2020.


Conclusión


Cigoto Embrión Bebe Crece


Conclusión


2012 2013


Conclusión


2014 2015


Conclusión


2014 2014


Actualidad y futuro




3. Historia.

4. Catalizadores.

5. UC’s


7. ¿Por qué CICE?

8. Cuestiones.



Catalizadores



Catalizadores


COSTES ALMACENAMIENTO COMUNICACIONES SOCIEDAD Y DISCIPLINA VALOR


Catalizadores: Coste de almacenamiento.


La reducción de los costes en el almacenamiento de los dispositivos físicos sin duda ha sido uno delos elementos más determinantes en la aparición de lo hoy conocido como Big Data.



Catalizadores: Comunicaciones.


La capacidad que han ofrecido las telecomunicaciones han propiciado y soportado nuevas formas decaptar información.


Exabytes


Catalizadores: Sociedad y Disciplina.


La sociedad también ha ejercido una fuerte presión, pues cada vez se demanda más información, ylas disciplinas como el BI han sabido ir gestionando la información para que sea útil.



Catalizadores: Valor.


El uso de Big Data para obtener valor es el más atractivo para que las empresas pujen por estatecnología.




¿Inhibidores?


¿Los inhibidores podrían ser en un futuro los mismos que han permitido la aparición del Big Data?



3. Historia.

4. Catalizadores.

5. UC’s


7. ¿Por qué CICE?

8. Cuestiones.



Casos de usos


Como se puede ver existen un gran número de casos de uso ya identificados, y hasta por sector.


Casos de usos


Eficiencia tecnológica: son los que ahorran costes obien en plataforma, en tiempo o aumentan laproductividad.

Conseguir mantener o más cuota de mercado: esdecir conseguir mayor fidelizar a los clientes,adecuar los gustos o bien captar nuevos clientes.

Monetización de la información: conseguir venderla información de manera anónima a terceros.

No-Comerciales: estos pueden ser ayuda aldiagnostico de pacientes, o mejora antecatástrofes.

Eficiencia

tecnológica

Cuota de

mercadoMonetización

información

No-

Comerciales


Casos de usos

Fuente: Winshuttle; Wikipedia, Ticbeat, Forbes, Centro de

innovación BBVA

T-Systems: el proyecto Ocean ha reducido lostiempos de procesamiento de 72 horas a 6 horassobre los datos VoIP de la D-Telekom.

Pratt & Whitney: Utilizando los datos estántratando de lograr el mantenimiento proactivo ypredictivo. Esta empresa dedicada a la aviaciónestá intentando reducir los servicios demantenimiento no planificado en sus aparatos.

Macys: Macy's es uno de los comercios minoristasmás importantes de los Estados Unidos, quedestaca por su e-commerce. Utilizando la BigData ha conseguido mejorar sus ingresos y laexperiencia del usuario. Gracias a la velocidad deanálisis y los informes obtenidos con esta nuevatecnología, han reducido en 500.000 dólares elgasto anual de analítica.

Eficiencia

tecnológica

Cuota de


información

No-

Comerciales


Casos de usos


innovación BBVA

Unidad Editorial: empresa de todo el grupo estáhaciendo una gran apuesta para conseguir mejorarsus cuotas de mercado a través de inferencia dedatos, y la sectorización los clientes.

Kroger: tiene un programa de tarjeta de fidelidadque está clasificada en el número uno de laindustria de la alimentación en EEUU. Más del 90%de sus clientes utilizan la tarjeta cuando compran.

Macy's: sabe hoy perfectamente el impacto de susnewsletters y notificaciones y conoce mejor a losclientes más satisfechos, lo que les gusta y lo queno. Hoy, el uso de estos datos, les permitesegmentar al máximo sus envíos, de manera queenvían menos emails, pero con mucho másimpacto y han conseguido reducir las abandonoshasta en un 20%.

Eficiencia

tecnológica

Cuota de


información

No-

Comerciales


Casos de usos

BBVA: ayuda a los comercios a mejorar sus ventas.La entidad bancaria ha puesto a disposición detodos los clientes que tengan contratado unTerminal Punto de Venta (TPV) Commerce360. Esuna herramienta de tecnología big data, sin costealguno, y que genera información estadística yagregada sobre el negocio del comercio y de suentorno más cercano.

Telefónica: quiere plantarles cara a las grandesfirmas de Internet en su propio terreno, el del usode los datos cobrando a las grandes o pidiendopermiso.

Facebook: todos sabemos que el modeloeconómico de Facebook está basado en lamonetización de la información de sus clientes, yen la publicidad dirigida a ellos.

Eficiencia

tecnológica

Cuota de


información

No-

Comerciales


innovación BBVA


Casos de usos

HP Vertica: Gracias al Big la información masivaayudó a ganar la elecciones a Obama en 2012el primer candidato a unas eleccionespresidenciales que decidió utilizar unacombinación de la base de datos analíticos conmodelos predictivos.

Microsoft: Microsoft acaba de presentar en estesentido su ambicioso Project Hanover, con el queva a trabajar para ayudar a acabar con el cáncer.

BBVA: Una de las empresas que más ha apostadopor ello ha sido BBVA, que acaba de anunciar unacolaboración con UN Global Pulse, un proyecto quemedirá la resiliencia de las zonas afectadas pordesastres naturales a través de los datos.

Eficiencia

tecnológica

Cuota de


información

No-

Comerciales


innovación BBVA


Casos de usos

Bynse: empresa que usa el Big Data para laagricultura.

Proximus: una 'startup' montada por tresexalumnos de la UCIII de Madrid que pensaron enaplicar sus conocimientos sobre 'big data' parasaber qué ocurre en los pasillos de unsupermercado.

Carto: una empresa que ha sabido dar a la parteanalítica a GIS.

BigML: es la mejor en España a nivel de ML.

LogTrust: sistema propietario Big Data en Real-Time.

BlinkFire: análisis adaptado a los deportes.

Eficiencia

tecnológica

Cuota de


información

No-

Comerciales

STARTUP NACIONALES


innovación BBVA



3. Historia.

4. Catalizadores.

5. UC’s


7. ¿Por qué CICE?

8. Cuestiones.



Empleo

Big Data: los empleos más demandados en laactualidad, así como los que se esperan ser másdemandados en el futuro, tienen una relacióndirecta o indirecta con la información.


innovación BBVA , El país Digital

http://www.forbes.com/sites/louiscolumbus/2015/11/16/where-big-data-jobs-will-be-in-2016/


Empleo

Big Data: Recientemente laprensa nacional refuerza lo quecomentaba anteriormente, lospuestos más demandados sonlos relacionados con tecnologíasde la información, ademáscuentan los problemas paracaptar este talento, por lo elsueldo es interesante.


innovación BBVA , El país Digital, Expansion Cinco Dias

http://www.forbes.com/sites/louiscolumbus/2015/11/16/where-big-data-jobs-will-be-in-2016/

http://www.expansion.com/emprendedores-empleo/empleo/2016/10/26/5810f7a6e2704e90318b4634.html

http://cincodias.com/cincodias/2015/01/30/sentidos/1422612761_107465.html


Empleo (Perfiles)

Analista de negocio:El analista de negocio es la persona que poseeciertos conocimientos técnicos sobre laconstrucción de sistemas informáticos y al mismotiempo comprende en detalle, y está al corrientede las necesidades del usuario que requiere deesos sistemas para realizar su trabajo.


innovación BBVA , El país Digital, Netmind

BI BgD

X X

Estudios base recomendados:Empresariales o similar con altos conocimientos

de informática, o informática con gran

conocimiento del negocio.


Empleo (Perfiles)

Arquitecto de Datos:Es la persona responsable del diseño y laimplementación del ciclo de vida de la arquitecturarelacionada con la Data, inclusive el cluster. Defineel modo de convivencia de todas las aplicacionesBig Data en el ecosistema o distribuciónseleccionada.



BI BgD

X X

Estudios base recomendados:Informática de sistemas, con gran idea en

comunicaciones, seguridad, hardware y

ecosistema del dato.


Empleo (Perfiles)

Administrador de Base de Datos:Es el encargado de mantener y definir lasestructuras físicas y lógicas que la Base de datosnecesite para dar soporte al negocio, en función dela tecnología.



BI BgD

X X

Estudios base recomendados:Informática de gestión, con alta experiencia en la

gestión y diseño físicos y lógicos del dato,

además de cierta práctica en programación.


Empleo (Perfiles)

Científico de datos:Es el encargado de por medio de modelosmatemáticos y de conocimientos tecnológicosobtener el valor de para el negocio en los datos,determinando patrones, tendencias o resolviendolas preguntas del mercado.



BI BgD

X X

Estudios base recomendados:Matemáticas o estadística, con algún curso o

experiencia en informática, y gran capacidad

analítica.


Empleo (Perfiles)

Ingeniero de datos o Data Developer:Son los encargados de llevar a cabo el desarrollo delas aplicaciones BI o Big Data, por tanto susconocimientos son de uso y utilización de lasherramientas



BI BgD

X X

Estudios base recomendados:Informático de gestión con experiencia en

lenguajes de programación, y con ciertos

conocimientos a nivel de uso de bases de datos.


Empleo (Perfiles)

Analista de datos:Su labor principal será obtener, procesar y realizaranálisis de datos siguiendo las fases indicadas,además es el principal encargado de asegurar unacorrecta visualización, de manera que lainformación permita tomar decisiones u obtenerconclusiones.



BI BgD

X X

Estudios base recomendados:Informático de gestión con experiencia en

herramientas de BI, o persona con estudios

sobre UX con altos conocimientos en informática.


Empleo (Perfiles)

Equipo habitual para proyectoEl equipo cuenta de manera más recurrente con losperfiles de Analista de negocio, Científico de datose Ingenieros de datos.

Los Arquitectos y Administradores de Base dedatos suelen estar, pero más en una primera fasede análisis y diseño, y luego durante el ciclo de vidade los sistemas dando soporte.

El Analista de Datos, también suele participarbastante pero más en fases o bien de diseño, obien de implementación asegurando que lainformación y el cómo se muestra se hace deacuerdo a lo esperado.



EQUIPO PROYECTO


Empleo (Perfiles)

CDO o Chief Data Officer:No todo es a nivel de operación, también hay unnuevo rol más a nivel estratégico, el CDO querealiza la doble acción de proteger los datos yresultados obtenidos y la gestión de los datos deacuerdo a las políticas, normativas y estándares dela empresa.



BI BgD

X X

CDO


¿Quiero aprender tecnología del dato?



CDO

Mejor de la mano de los expertos:El paradigma que afrontamos en cuanto a numerosas

tecnologías y de formas muy diferentes no es fácil por

la auto-formación, pregunta a los que saben…


2. Historia.

3. Catalizadores.

4. UC’s


6. ¿Por qué CICE?

7. Cuestiones.



CICE



• 35 años nos avalan en la docencia de tecnología.

• Temario actualizado y orientado al 360º del Dato.

• Sesiones online y grabadas.

• Educadores y profesionales imparten la materia.

• Instalaciones optimas para aprender la materia.

• Excelentes relaciones con empresas del sector.

• Bolsa de empleo con las principales empresas.

• Precio competitivo con relación a otros master.

big data: presente y futuro. ponente: francisco gallego

Data & Analytics