mejor proyecto big data
TRANSCRIPT
![Page 1: Mejor proyecto big data](https://reader031.vdocuments.pub/reader031/viewer/2022020314/5a66cc537f8b9ab87e8b4ab3/html5/thumbnails/1.jpg)
Candidatura Mejor Proyecto BigData realizado para
![Page 2: Mejor proyecto big data](https://reader031.vdocuments.pub/reader031/viewer/2022020314/5a66cc537f8b9ab87e8b4ab3/html5/thumbnails/2.jpg)
Integrado con fuentes de datos
Captura de datos/sensores
Tiempo real
Almacenamiento distribuido
y Almacenamiento
en cloud
Arquitectura lambda
procesada con herramientas de
Hortonworks
Analiza comportamientos machine learning
Visualización en tiempo real y en
Dashboards personalizados
Servicios Consultoría
Industria 4.0Telecos
SmarcitiesSanitario
¿Qué ofrecemos en ZYLK?
Implantamos en su compañía una solución completa de analítica avanzada basada en la suite de Hortonworks y en nuestro know-how
Le permitimos sacar valor a sus datos
![Page 3: Mejor proyecto big data](https://reader031.vdocuments.pub/reader031/viewer/2022020314/5a66cc537f8b9ab87e8b4ab3/html5/thumbnails/3.jpg)
Luego aplicamos una capa de analítica avanzada
Captura Integración Arquitectura Análisis Casos de Uso
Fuente de datos
Visualización
Utilizamos arquitectura lambda en tiempo real con las herramientas Big Data de Hortonworks
Extracción Proceso VisualizaciónAlmacenaje
¿Cómo lo hacemos?Data Analysis
Predicción
![Page 4: Mejor proyecto big data](https://reader031.vdocuments.pub/reader031/viewer/2022020314/5a66cc537f8b9ab87e8b4ab3/html5/thumbnails/4.jpg)
¿Cómo lo hacemos?
Hortonworks Dataflow y Ambari Resource Manager
Se necesita un periodo de consulta inicial seguido de la adquisición de datos API’s para ofrecer un valor de modelización del sistema y técnicas
de machine learning
![Page 5: Mejor proyecto big data](https://reader031.vdocuments.pub/reader031/viewer/2022020314/5a66cc537f8b9ab87e8b4ab3/html5/thumbnails/5.jpg)
Casos de Éxito : EUSKALTELLa Inteligencia del Dato al Servicio de las Telecomunicaciones
![Page 6: Mejor proyecto big data](https://reader031.vdocuments.pub/reader031/viewer/2022020314/5a66cc537f8b9ab87e8b4ab3/html5/thumbnails/6.jpg)
Big Data
Smart Data
¿Cómo puedo aportar valor a mis clientes?
¿Cómo convencer a negocio?
![Page 7: Mejor proyecto big data](https://reader031.vdocuments.pub/reader031/viewer/2022020314/5a66cc537f8b9ab87e8b4ab3/html5/thumbnails/7.jpg)
x2.5 year-on-year
Mejoramos la experiencia del usuario
yMejoramos procesos de
negocio
![Page 8: Mejor proyecto big data](https://reader031.vdocuments.pub/reader031/viewer/2022020314/5a66cc537f8b9ab87e8b4ab3/html5/thumbnails/8.jpg)
Caso 1: Widget consumo de datos en T.R.Experiencia de usuario
![Page 9: Mejor proyecto big data](https://reader031.vdocuments.pub/reader031/viewer/2022020314/5a66cc537f8b9ab87e8b4ab3/html5/thumbnails/9.jpg)
Caso 2: Prevención de Averías en RedProcesos de negocio
![Page 10: Mejor proyecto big data](https://reader031.vdocuments.pub/reader031/viewer/2022020314/5a66cc537f8b9ab87e8b4ab3/html5/thumbnails/10.jpg)
¿Cómo puedo aportar valor a terceros con mis
datos?
![Page 11: Mejor proyecto big data](https://reader031.vdocuments.pub/reader031/viewer/2022020314/5a66cc537f8b9ab87e8b4ab3/html5/thumbnails/11.jpg)
Caso 3: Replicate Projecthttp://replicate-project.eu/
Este proyecto ha recibido fondos del programa de investigación e innovación H2020 de la Unión Europea en el marco del contrato nº 691735
Mejoramos la sostenibilidad de los recursos de la ciudad
![Page 12: Mejor proyecto big data](https://reader031.vdocuments.pub/reader031/viewer/2022020314/5a66cc537f8b9ab87e8b4ab3/html5/thumbnails/12.jpg)
Euskaltel: Replicate ProjectEl Dato en las Telecomunicaciones
ü Aproximadamente 150 millones de eventos/día ingeridos en Apache Kafkaü 100 cores, 300 GB de memoria, 4 TB HDFS storage
OBJETIVODisponer de un sistema de detección de eventos en tiempo real a fin de
mejorar la experiencia de usuario y la sostenibilidad de recursos de una ciudad gracias al mantenimiento predictivo
Representación como una serie temporal#peticiones#fallos#código error #...
Análisis: Detección de fallos a partir de umbrales obtenidos a partir de un periodo sin fallos
![Page 13: Mejor proyecto big data](https://reader031.vdocuments.pub/reader031/viewer/2022020314/5a66cc537f8b9ab87e8b4ab3/html5/thumbnails/13.jpg)
Replicate Project
Smart MobilitySimulación
Este proyecto ha recibido fondos del programa de investigación e innovación H2020 de la Unión Europea en el marco del contrato nº 691735
Wifi Kalean +
Big Data
Datos agregados, anonimizadosy en tiempo real
PREDICCIÓN Y MEJORA EN LA TOMA DE DECISIONES
ü Tráficoü Obras en la ciudadü Parkingsü Rutas turísticas etc..
![Page 14: Mejor proyecto big data](https://reader031.vdocuments.pub/reader031/viewer/2022020314/5a66cc537f8b9ab87e8b4ab3/html5/thumbnails/14.jpg)
Replicate Project
Smart MobilitySimulación
Este proyecto ha recibido fondos del programa de investigación e innovación H2020 de la Unión Europea en el marco del contrato nº 691735
SMART
MOBILITY
Mapa de calor con datos
reales
![Page 15: Mejor proyecto big data](https://reader031.vdocuments.pub/reader031/viewer/2022020314/5a66cc537f8b9ab87e8b4ab3/html5/thumbnails/15.jpg)
Ejemplo: Código 200
# peticiones (LTE & Wifi Kalean ): millones de conexiones por díaAnálisis código éxito (OK)
Los umbrales no siempre funcionan
![Page 16: Mejor proyecto big data](https://reader031.vdocuments.pub/reader031/viewer/2022020314/5a66cc537f8b9ab87e8b4ab3/html5/thumbnails/16.jpg)
Ejemplo: Código 200
Detección de OutliersEstadísticos en ventanas de tiempo y algoritmos de regresión
![Page 17: Mejor proyecto big data](https://reader031.vdocuments.pub/reader031/viewer/2022020314/5a66cc537f8b9ab87e8b4ab3/html5/thumbnails/17.jpg)
Arquitectura Multicapa
1
2
3
4
5
Nifi
Kafka, Hbase
Flink
EAG
![Page 18: Mejor proyecto big data](https://reader031.vdocuments.pub/reader031/viewer/2022020314/5a66cc537f8b9ab87e8b4ab3/html5/thumbnails/18.jpg)
Arquitectura Multicapa
API Ingesta
ü Procesos ETLü Back Pressure Control & Guaranted Delivery
1
![Page 19: Mejor proyecto big data](https://reader031.vdocuments.pub/reader031/viewer/2022020314/5a66cc537f8b9ab87e8b4ab3/html5/thumbnails/19.jpg)
Arquitectura Multicapa
Arquitectura Lambda2
![Page 20: Mejor proyecto big data](https://reader031.vdocuments.pub/reader031/viewer/2022020314/5a66cc537f8b9ab87e8b4ab3/html5/thumbnails/20.jpg)
Arquitectura Multicapa
Micro servicios3
![Page 21: Mejor proyecto big data](https://reader031.vdocuments.pub/reader031/viewer/2022020314/5a66cc537f8b9ab87e8b4ab3/html5/thumbnails/21.jpg)
Arquitectura Multicapa
API Datos
Procesos Distribuidosü Programación Funcionalü Analítica Avanzada
o Ventanaso Heurísticoso Algoritmos de ML
4
![Page 22: Mejor proyecto big data](https://reader031.vdocuments.pub/reader031/viewer/2022020314/5a66cc537f8b9ab87e8b4ab3/html5/thumbnails/22.jpg)
Arquitectura Multicapa
API Gateway
EAGDatos Agregados y anonimizados
5
![Page 23: Mejor proyecto big data](https://reader031.vdocuments.pub/reader031/viewer/2022020314/5a66cc537f8b9ab87e8b4ab3/html5/thumbnails/23.jpg)
Time & Windows
Event timeProcessing timeIngestion time
![Page 24: Mejor proyecto big data](https://reader031.vdocuments.pub/reader031/viewer/2022020314/5a66cc537f8b9ab87e8b4ab3/html5/thumbnails/24.jpg)
Visualización
Zeppelinü Intérpretesü Unificación de fuentesü Computación bajo demandaü Standalone Vs. cluster
![Page 25: Mejor proyecto big data](https://reader031.vdocuments.pub/reader031/viewer/2022020314/5a66cc537f8b9ab87e8b4ab3/html5/thumbnails/25.jpg)
Casos de Uso y Conclusiones
Canal Onlineü Experiencia de UsuarioMarketingü Dimensionamiento de serviciosReplicateü El dato como valor añadido
¿Qué valor aporta?ü Facilita el dimensionado de serviciosü Mejora de la experiencia de usuarioü Añade funcionalidad sin penalizar transacciones (Canal online, aplicación
móvil)ü Elimina Islas (un único sumidero de información)
![Page 26: Mejor proyecto big data](https://reader031.vdocuments.pub/reader031/viewer/2022020314/5a66cc537f8b9ab87e8b4ab3/html5/thumbnails/26.jpg)