Soluciones  para  Mejorar  la    Toma  de  Decisiones  

 La  Analítica  en  Tiempo  Real  y  Batch  usando  WSO2  DAS  

BIG  DATA  –  Conceptos  Clave  

Análisis,   procesamiento   y   almacenamiento   de  grandes  colecciones  de  datos,  de  fuentes  diversas,  utilizando   metodologías   y   herramientas   para  apoyar  la  Toma  de  Decisiones.  

Velocidad  -­‐>  Cantidad  de  tiempo  que  toma  a  la  Data  en  ser  procesada.  Variedad      -­‐>  Múltiples  formatos  y  tipos  de  datos.  Veracidad  -­‐>  Relación  entre  Señal  (Data  con  valor)  vs  Ruido  (Data  sin  valor).  Valor                      -­‐>  Utilidad  de  los  datos  para  una  empresa.  

BIG  DATA  –  Nuestro  Modelo  El  Ecosistema  Big  Data  

BIG  DATA  -­‐  Aplicación  

•  Optimización  Operacional.  •  Inteligencia   Accionable   (Reglas   de  Negocio  Adaptables).  

•  IdentiUicación  nuevos  mercados.    •  Detección  de  fallas  y  fraude.  •  Registros  más  detallados.    •  Predicciones  más  precisas.    •  Mejorar  la  toma  de  decisiones.  •  Realizar  descubrimientos  CientíUicos.  

BIG  DATA  –  Nuestro  Modelo  Modelo  de  Implementación  

BIG  DATA  –  Nuestro  Modelo  Modelo  Tecnológico  

WSO2  DAS  

 Agregar  Datos  

 Analizar  Datos  

 Presentar  los  Resultados  

Capacidades  de  WSO2  DAS  

Consultas  

Visualizaciones  

APIs  

 Datos  

Análisis  en  tiempo  real  

Análisis  Interactivos  

Análisis  Predictivos  

Análisis  en  “Batch”  

Alertas  

Análisis  en  Tiempo  Real  

El   Análisis   en   tiempo   real   signiUica   que   WSO2  DAS   puede   procesar   y   tomar   decisiones  inmediatamente  cuando  acceden  a  DAS.    La   información  se   ingiere  por  medio  de  un  data  agent.    El   data   agent   es   una   pequeña   aplicación   que  envía  un  evento  al  Ulujo  de  CEP.    El   Ulujo   de   CEP   sigue   una   secuencia   donde   se  valida  que  ruta  debe  seguir.    Si  es  necesario  se  disparan  alertas.  

Push  Event  Stream  

Real-­‐time  Process  

Application  

Data  Agent  

•  El  data  agent  consiste  de  una  aplicación  Java  desplegada  en  el  WSO2  AS.  

•  Es  un  intermediario  entre  la  fuente  de  datos  y  DAS  

•  Produce  una  salida  en  forma  de  JSON,  que  es  entendible  por  WSO2  DAS,  este  JSON  contendrá  un  registro  o  data  que  se  procesará  en  DAS  

Flujo  CEP  en  WSO2  DAS  

•  Los  componentes  en  un  Ulujo  CEP:  •  Receivers:  Capturan  un  mensaje  con  determinada  estructura  •  Event  Stream:  Actuan  como  colas  de  mensajes,  son  el  riel  donde  se  conducira  el  evento  

•  Execution  Plan:  usan  Siddhi  para  determinar  que  caminos  debe  tomar  un  evento,  pueden  modiUicar  el  evento  

•  Publisher:    Exponen  o  comunican  un  evento.  

El  Execution  Plan  y  Siddhi  

Para  evaluar  el  camino  lógico  que  debe  tomar  un  evento,  se  utiliza   el   execution   plan,   este   plan   de   ejecución,   es   un  bloque  de  código  Siddhi.    Siddhi  es  un   lenguaje  similar  a  SQL,   la  principal  diferencia  es  que  Siddhi  no  busca  registros  en  una  base  de  datos,  sino  que  evalúa  los  eventos  que  se  reciben  en  un  Ulujo  CEP.  

Ejemplo  de  Código  Siddhi  

El  Análisis  Batch  

Si   un   Ulujo   de   eventos   se   conUigura  para   que   sea   persist ido ,   se  almacenarán   los  eventos  que  pasen  por   ese   Ulujo   en   una   base   de   datos  enlazada,   en   vez   de   ser   analizados  de  inmediato,  el  evento  se  procesará  por   tareas   programadas   o   a  demanda  del  usuario  usando  scripts  e n   S p a r k S Q L ,   t r a s   e s e  procesamiento   se   puede   o   bien  visualizar   la   información   o   generar  nuevas  alertas    

Ejemplo  de  consultas  SparkSQL  

Ejemplo  de  scripts  programados  

Como  DAS  Comunica  los  Resultados  

Los   event   publishers   pueden   publicar   los   eventos  procesados  de  formas  tales  como  correos  electrónicos,  logs,  notiUicaciones  push,  JMS,  servicios  web,  etc.    

Como  DAS  Representa  Visualmente  

BIG  DATA  –  Nuestro  Modelo  Aplicación  –  Caso  de  Uso  Sector  Industrial  

A   partir   de   esta   información   (provenientes   de   los   Equipos   en   planta)   se   deben  determinar,   procesar,   analizar   datos   para   determinar   y   ciertas   condiciones   que  permitieran   generar   registros,   alarmas,  mas   información   de   interés   operativo   para   la  Planta  (y  el  negocio).    

•  Información  proveniente  de  Planta  -­‐  Sondas  distribuidas  (Recogida  por  el  Data  Server  del  SCADA)  

•  Información  analizada  desde  Herramientas  OUimáticas  (No  escalables  para  un  Entorno  de  Inteligencia  Operacional  Exigente)    

•  Necesidad  de  Lectura  y  visualización  de  Información  >  Limitante  actual.    •    Necesidad   de   procesamiento   y   análisis   de   información   para   toma   de  

decisión  Operacional  relacionadas  >  Análisis  del  dato  deseado  

Situación  Actual  

BIG  DATA  –  Nuestro  Modelo  Qué  se  Buscaba?  -­‐  Caso  de  Uso  Sector  Industrial  

•  Escalabilidad  Coste  Total  (Implantación  de  futuro).  •  Manejo  de  un  Volumen  de  Datos  elevado.  •  Debe  incorporar  Agilidad  de  consulta  de  Datos.  •  Realizar  Análisis  Complejos.  •  Debe  poder  extraer  y  analizar  datos  desde  diferentes  tipos  de  orígenes  (Cruzar  

información  de  diferentes  orígenes).  •  Herramienta  de  Visualización  data   “en  Bruto”  y  Procesada  de  uso  por  Analista  

de  negocio  –  PerUil  no  técnico.    Toma  de  decisiones  en  tiempo  real  y  temprana  –  Inteligencia  Operacional  (hacia  un  

predictivo)          

Mejor  disponibilidad  en  Planta  >  Mejorar  producción  >  Mejorar  ventas  y  Calidad  de  los  productos    

 

BIG  DATA  –  Nuestro  Modelo  La  Solución  –  Caso  de  Uso  Sector  Industrial  

Funcionalidad  y  Resultados  de  la  Solución    

•  Calculo  en  Dase  de  Datos  (NoSQL)  •  Alertas  y  Alarmas  en  tiempo  real  (E-­‐mail  &  Push  Message)  •  Visualización  de  Datos  Brutos  y  Analizados.  •  Analítica  en  Tiempo  Real.  •  Analítica  Interactiva  >  Obtención  de  resultados  rápidos  a  través  de   consultas   AdHoc   de   un   conjunto   de   Datos.   Permite  búsquedas   complejas   por   textos   utilizando   el   sistema   de  ideación  disminuido  de  Apache  Lucene.  

•  Analítica  en  Batch  >  Se  reUiere  al  análisis  de  datos  persistidos.  La  solución  esta   orientada   a   la   sumarización   y   análisis   de   evolución   de   datos.   Se   uso  implementado  Spark  SQL  con  el  WSO2  DAS.  

•  Como   Base   de   Datos   se   implemento   Apache   Cassandra   (Base   de   Datos  NoSQL)  distribuida  y  preparada  para  Big  Data.   (Ventaja,  es  software   libre  (Apache   Software   Foundation).   Permite   accesar   a   grandes   volúmenes   de  datos  en  forma  distribuida,  es  un  sistema  descentralizado  donde  cada  nodo  tiene  la  misma  información.  

•  Visualización   de   Datos   con   WSO2   DAS   y   Herramientas   desacopladas   de  Visualización.  

Funcionalidad  y  Resultados  de  la  Solución    

What´s  next  

•  Analítica   Predictiva   >   Se   reUiere   a   la   predicción   de   valores   a  partir  de  datos  históricos  obtenidos  del  sistema  SCADA.  

 •  Utilizar   la   tecnología   de  Machine   Learning   (con  WSO2  ML)  para  “enseñar”  al  algoritmo  a  través  de  diferentes  ejecución  de  la   distribución   de   siguen   los   juegos   de   datos   para   predecir  comportamientos  anómalos  en  la  variables  analizadas  

www.ticxar.com  scontreras@ticxar.com