procesamiento de la información en la era del iot ...jpadilla.docentes.upbbga.edu.co/bigdata... ·...

Procesamiento de la Información en la era del

IoT: Aplicación a la Agricultura

Prof. Jhon Jairo Padilla Aguilar, PhD.

JHON

Cuadro de texto

Estas diapositivas tienen como base las diapositivas del profesor Ángel Cobo Ortega en el curso titulado "Introducción al Business Intelligence", impartido en la UPB en 2015.

UPB-Bucaramanga- Encuentro Riegonets Montevideo 2015

2

Motivación

●IoT: Internet de las Cosas➢ Gran cantidad de sensores para diferentes objetos●Aplicaciones IoT:➢ Domótica➢ Smart Cities➢ Agricultura● Herramientas de hardware simples y baratas: Motes,

Arduino, raspberry-pi, etc.


3

Caso Agricultura● Se utiliza gran cantidad de sensores inalámbricos

ubicados en diferentes puntos del terreno

● La cantidad de Sensores es grande

● Cada sensor está generando datos de texto plano

● Datos generados por la medición de diferentes tipos de variables

● Se genera una gran cantidad de datos al día

● ¿Qué hacer con toda esa información?


4

Qué tipo de información interesa?●Estamos acostumbrados a gráficos de curvas en Ingeniería●Pero esto qué dice al agricultor?●Muchos agricultores no tienen formación para interpretar esas gráficas

●Un empresario agrícola necesita información sobre:–Qué pasa con el clima?

–Qué pasa con el suelo?

–Cómo evoluciona la producción?

–Qué soluciones hay para lo que está ocurriendo?

–Qué salió mal?


5

Cómo procesar toda esa información y sacar conclusiones útiles?

●Se requiere el uso de herramientas automatizadas

●Se requiere hacer un procesamiento inicial a los datos

●Se requiere el uso de algoritmos que obtengan conclusiones

●Cuáles de esas conclusiones son adecuadas para la situación particular?


6

La solución está en herramientas de big data y Business Intelligence

Business Intelligence en Agricultura???


7

Business Intelligence (BI)

➢ Business Intelligence hace referencia al uso de la tecnología para recopilar y gestionar de manera efectiva la información de forma que se mejore la efectividad de los negocios.

➢ BI es el proceso de transformar datos en información y conocimiento usando técnicas computarizadas con objeto de permitir a los usuarios tomar decisiones basadas en hechos.


8

Business Intelligence

Business Data

InformaciónConocimiento

Decisión


9

Business Intelligence

Concepto que engloba…Arquitecturas, herramientas, bases de datos, herramientas analíticas,

aplicaciones y metodologías

Su principal objetivo esFacilitar el acceso interactivo a los datos, su manipulación y permitir a los

gestores y analistas desarrollar sus propios análisis.Transformación de datos en información que pueda ser utilizada en los

procesos de toma de decisión.Tomar las mejores decisiones rápidamente y alcanzar posiciones de ventaja

competitiva

Método para la gestión empresarial con un enfoque racional y basado en hechos

Identificar la información útil y relevante para la toma de decisionesMétricas más importantes para la empresa: indicadores estratégicos de gestión

KPI (Key Performance Indicators)


10

Necesidad de BI

Según un estudio de IBM, la mayor parte de las empresas utilizan solo entre el 2% y el 4% de la información que recopilan y almacenan.

las organizaciones disponen de sistemas de información pero…

En ocasiones no son adecuados para aportar la información necesaria a los usuarios finales.

Sistemas transaccionales orientados a resolver los problemas de la operación diaria.


11

Necesidad del BI

La información que llega a los Directivos suele ser:

Poco oportuna y amistosa

Voluminosa y poco relevante

Sin focalizar y poco confiable

Diferente entre las áreas y en ocasiones confusa

Sin cobertura completa de factores críticos


12

Beneficios del BI

BI permite a las organizaciones…

✔ Diseñar estrategias de negocio e identificar oportunidades

✔ Realizar un seguimiento y gestionar sus procesos de negocio.

✔ Incremento y predicción de ganancias

✔ Reducción de costes

✔ Mejorar la eficiencia operacional.

✔ Mejorar las relaciones con sus clientes, gracias a un mayor conocimiento.

✔ Desarrollar ofertas diferenciadas de productos.

✔ Posibilidad de obtener información y análisis antes irrealizables

✔ Generación de nuevas oportunidades de negocio

✔ Conocimiento de las relaciones entre productos

✔ Excelente imagen externa de la organización


13

La información presentada a los empresariosLos gerentes y directivos necesitan que la información que les llegue sea:

Focalizada: menor cantidad y mayor valor agregado.

Amigable: información con formato amistoso y esquemas de navegación intuitivos.

Oportuna: información según la necesidad del momento.

Con cobertura completa de factores clave

Integra, relevante y confiable.

Altos niveles de seguridad y control.

Mayor disponibilidad de tiempo para el análisis y mejora de la comunicación


14

Componentes principales del BI

➢ Data warehouse

➢ Business Analytics: herramientas para la manipulación y análisis de los datos

✔ Informes y consultas

✔ Tecnología OLAP

✔ Data, text, web mining y técnicas matemáticas y estadísticas

➢ Business Performance Management (BPM): monitoreo y análisis de funcionamiento

✔ Informes avanzados

✔ Planificación y predicción

➢ Interfaz de usuario

✔ Cuadros de mando: balanced scorecard & dashboards

✔ Herramientas de visualización

✔ Análisis de KPI (Key Performance Indicators)

✔ GIS (Sistemas de Información Geográfica)

✔ Portal corporativo


15

Fuentes de datos

Data warehouse

Construcción del data warehouse

Accesos

Estrategias BPM (Business Process

Management ) Informes, resultados

PERSONAL TÉCNICOUSUARIOS DE

NEGOCIODIRECTIVOS/EJECUTIVOS

ENTORNO DATA WAREHOUSE

ENTORNO BUSINESS ANALYTICS

RENDIMIENTO Y ESTRATEGIA

INTERFAZ DE USUARIO

• Browser• Portal• Cuadros de mando

Arquitectura de BI


16

Framework de Data Warehouse

ERP

OLT

Web

External data

Fuentes de datos

Data mart(marketing)

Accesos

Data mart(Ingeniería)

Data mart(finanzas)

Data mart(…)

EnterpriseData

Warehouse

Metadatos

Réplicas

Extracción

Transformación

Carga

ETL

Informes

OLAP

Dashboard

Aplicaciones de visualización

Web

Data mining

Personalizadas

AP

I/M

idd

lew

are


17

El proceso del BI

Limpieza e integración

Evaluación y presentación

Data Warehouse

Databases

Selección y transformación

Data Mining


18

Etapas de un proceso de BI➢ Identificar y conocer el dominio de aplicación

Descubrir conocimiento previos y objetivos de la aplicación➢ Creación de un conjunto de datos objetivo: selección de datos➢ Limpieza y preprocesado de los datos

Puede suponer el 60% del esfuerzo➢ Reducción de datos y transformación

Selección de rasgos, reducción de la dimensionalidad➢ Aplicación de técnicas de data mining

Clasificación, regresión, clustering,...Elección de algoritmos apropiados

➢ Evaluación de patrones y presentación del conocimientoVisualización, transformación, eliminación de patrones redundantes,…

➢ Uso del conocimiento descubierto


19

Tecnologías de apoyo al BI

✔ Sistemas de Información Integrados

✔ Almacenes de datos: Data Warehousing

✔ OLAP

✔ Cuadros de mando: executive Dashboards

✔ Visualización: visual analytics

✔ Sistemas de soporte para la decisión: Decision Support Systems (DSS)

✔ Sistemas expertos

✔ Minería de datos y business analytics


20

Arquitectura de un Sistema de Business Intelligence

Sistemas deproducción

Extraer Cargar

Transformar

DataWarehouse

Reporting OLAP GUI

DataMiningFuentes

de datosexternas


21

Pentaho: Herramienta de BI Open Source


22

¿Por qué Pentaho?

Tiempos de integración y costos de infraestructura menores con respecto a otras soluciones BI

Una gran comunidad de soporte Fácilmente escalable y adecuado para big data Gran variedad de formatos y fuentes de datos Módulos independientes con sus propias

comunidades de desarrollo Arquitectura de tres capas:

– Capa de integración de datos– Capa de gestión y administración del sistema– Capa de presentación


23

Community Edition vs Enterprise Edition

La versión “community” es recomendada para:– Personas interesadas en dar los primeros pasos en

el BI– Formación y capacitación de estudiantes– Programadores de software open source

La versión libre exige la instalación, configuración y mantenimiento con los propios recursos.

Únicos soportes oficiales: – Foro: http://forums.pentaho.org – Wiki: http://wiki.pentaho.com

http://forums.pentaho.org/

http://wiki.pentaho.com/


24

Arquitectura funcional del sistema Pentaho BI


25

Herramientas BI open source

Soluciones completas– Pentaho Community Edition, JasperReports, SpagoBI, BIRT

Herramientas ETL– Kettle, Clover , Enhydra Octopus

Desarrollos OLAP– Mondrian, JPivot

Dashboards– JetSpeed, JBoss Portal

Bases de Datos– MySQL , PostgreSQL

Herramientas de minería de datos– Weka


26

Principales herramientas de Pentaho

Aplicación Funcionalidad

Pentaho BI Server

Servidor de aplicación para que el usuario final puede visualizar los diferentes informes, cubos OLAP, cuadros de mando, etc.

Pentaho Data Integration

Entorno gráfico que permite realizar los procesos de extracción, transformación y carga de los datos

Pentaho Report Designer

Herramienta de escritorio que permite el diseño, creación y publicación de informes mediante una interfaz gráfica.

Aggregation Designer

Herramienta gráfica que ayuda a mejorar la eficiencia de un cubo construido con Mondrian (Schema Workbench).

Schema Workbench

Herramienta gráfica que permite la creación de cubos OLAP para el análisis.

Metadata Editor Herramienta que permite agregar una capa de metadatos a una fuente de datos existente.


27

Instalación

Requisitos:– Se recomienda al menos 2GB RAM y 1GB de espacio HD– Posibilidad de utilización en diferentes sistemas operativos:

Windows, Linux, MacOS– Necesidad del Sun Java Runtime Environment (JRE) versión

1.5– Navegador Web para el acceso a la interface Web de

Pentaho

La Community Edition requiere la instalación de las diferentes componentes de manera independiente– Descomprimir la carpeta de cada herramienta– Cada herramienta viene con un “script” de inicio


28

Herramientas ETL


29

Herramientas ETL

ETL = Extract, Transform and Load– Herramientas para la obtención,

transformación y volcado de datos desde diferentes orígenes y a diferentes destinos

– Extracción: acceso a bases de datos, ficheros CSV, fuentes de noticias RSS, portales de datos abiertos,…

– Transformación: hacer cálculos, unir tablas, seleccionar atributos, filtrar datos,...

– Carga: generar ficheros de texto, cargar en bases de datos, hojas de cálculo,…


30

Pentaho Data Integration

También conocida como “Kettle”, es la herramienta ETL de Pentaho

Cuenta con diferentes herramientas internas:– Spoon: herramienta gráfica de escritorio

para el diseño de transformaciones y trabajos

– Pan: ejecuta transformaciones definidas con spoon

– Kitchen: permite planificar la ejecución de trabajos en modo batch.


31

Transformaciones y trabajos

Transformación: realización de tareas con los datos a través de diferentes pasos (steps) enlazados por saltos (hops):– Entrada– Salida– Transformación– Utilidad

Trabajo (job): nivel superior a las transformaciones utilizado para el control del flujo de ejecución de las mismas


32

Saltos (hops)

Marcan el flujo de realización de las acciones (pasos)

Posibilidad de paralelizar la acción– Ejemplo: enviar los datos a diferentes pasos


33

Interfaz gráfica de Kettle

Inicio a través del script Spoon.bat Permite trabajar con un repositorio que

actuará de almacén de todas las transformaciones


34

Creación de trabajos en PDI

Los trabajos permiten coordinar las actividades ETL:– Determinar el flujo de ejecución de las

transformaciones– Poder establecer condiciones para la

ejecución• Si el fichero existe…, si la tabla de la base de

datos existe…

– Enviar notificaciones de éxito o fracaso por email.


35

Minería de Datos


36

Proceso de descubrimiento de conocimiento KDD (Knowledge Discovery in Databases)

Datos•Recogen un conjunto de hechos (BD)•Identificación, selección, preparación de datos.

Datos•Recogen un conjunto de hechos (BD)•Identificación, selección, preparación de datos.

Minería de Datos

Patrones•Expresiones que describen un subconjunto de los datos.•Los patrones descubiertos han de ser válidos, novedosos para el sistema.

Patrones•Expresiones que describen un subconjunto de los datos.•Los patrones descubiertos han de ser válidos, novedosos para el sistema.

Interpretación y

evaluación

Conocimiento

Información almacenada en una entidad y que puede ser utilizada por la inteligencia de acuerdo a ciertos objetivos.

Conocimiento

Información almacenada en una entidad y que puede ser utilizada por la inteligencia de acuerdo a ciertos objetivos.

“Conjunto de técnicas y herramientas aplicadas al proceso no trivial de extraer y presentar conocimiento implícito, previamente desconocido, potencialmente útil y humanamente comprensible, a partir de grandes conjuntos de datos, con objeto de predecir de forma automatizada tendencias y comportamientos y/o descubrir

de forma automatizada modelos previamente desconocidos”(Piatetsky-Shapiro et al, 1992).


37

Objetivo de la Minería de Datos

OBJETIVO: dado un conjunto de datos descubrir patrones y modelos que sean:– Válidos: se puedan aplicar con cierta certeza a

nuevos datos– Útiles: se pueda actuar sobre ellos– Inesperados: que no sean obvios para el sistema– Entendibles: que sean interpretables por los

humanos


38

Proceso de descubrimiento de conocimiento

Datos DatosObjetivo

Selección

ConocimientoConocimiento

DatosPreprocesados

Patrones

Minería de datos

Interpretación/Evaluación

Pre-procesamiento

Exploración y limpieza

Integración Transformación:

normalización Selección Reducción de la

dimensión Discretización

Reglas de asociación y correlación

clasificación clustering ... ...

Selección de patrones

Interpretación de patrones

Visualización de patrones


39

Etapas de la minería de datos

1. Objetivos: Determinación de los objetivos que se quieren alcanzar.

2. Pre-procesamiento: limpieza, integración, selección, transformación y reducción de los datos.

3. Aplicación de las técnicas de explotación de datos : determinación de modelos a utilizar, realizando análisis estadísticos y visualizando gráficamente los datos para tener una primera aproximación.

4. Análisis y evaluación de resultados: verifica si los resultados son coherentes y los coteja con lo analizado estadística y gráficamente.

(Ferri et al., 2004)


40

Técnicas de minería de datos

Métodos descriptivos– Encontrar patrones interpretables que

describan los datos• Ejemplo: clustering

Métodos predictivos– Usar algunas variables para predecir

valores futuros desconocidos para otras variables• Ejemplo: sistemas recomendadores


41

Ejemplo de minería de datos

1854: epidemia de cólera en Londres

El físico John Snow descubrió el origen de la epidemia visualizando los casos en un mapa– Identificación de

grupos (clustering)– Presencia de pozos

de agua que habían sido contaminados http://en.wikipedia.org/wiki/1854 Broad Street cholera outbreak


42

La Minería de Datos puede…

Extraer conocimiento Identificar comportamientos Generar predicciones Identificar tendencias o

cambios en éstas Descubrir las relaciones entre

la información. Buscar lo inesperado Buscar asociaciones Detectar tipologías Detectar ciclos temporales

(Aluja, 2001)


43

Herramientas para la extracción de conocimiento

Clementine / SPSS MicroStrategy Data Mining Services Microsoft SQL Server SAS Enterprise Miner SAS Analytics Open source

– Weka– Orange– Rapid miner– R

Portal dedicado a minería de datos, minería web y extracción de conocimiento: KDNuggets (http://www.kdnuggets.com/software/suites.html)

http://www.kdnuggets.com/software/suites.html


44

Minería de Texto (Text Mining)

Tareas de la minería de texto: (Brücher et al.,2002)– Recuperación: búsqueda de documentos relevantes– Clasificación: asignación de documentos a grupos

relacionados:• Clasificación supervisada: categorías predefinidas• Clasificación no supervisada (clustering)

Rama de la minería de datos especializada en la identificación, extracción y gestión de conocimiento a partir de colecciones de

documentos textuales. (Baeza and Riveiro, 1999)


45

Minería de Texto (Text Mining)

Rama de la minería de datos especializada en la identificación, extracción y gestión de conocimiento a partir de colecciones de

documentos textuales. (Baeza and Riveiro, 1999)

Etapas principales:– Preprocesamiento: transformación a información estructurada.– Descubrimiento: utilización de algoritmos para la generación de

conocimiento.

Tareas de la minería de texto: (Brücher et al.,2002)– Recuperación: búsqueda de documentos relevantes– Clasificación: asignación de documentos a grupos relacionados:

• Clasificación supervisada: categorías predefinidas• Clasificación no supervisada (clustering)


46

Etapa de preprocesamiento

Transformación del texto original a una forma más adecuada para la aplicación de las técnicas de minería de texto.

• Filtrado y tokenización• Eliminación de stopwords• Lematización y stemming

Representación de documentos Representación vectorial

(Salton, 1971) Ponderación con el esquema tf-idf

Cálculo de similitud Uso de la medida del coseno o

separación angular


47

Etapa de descubrimiento: algoritmos de clasificación y clustering

Clasificación Clustering

Aprendizaje supervisado: necesita pre-clasificación de documentos

Aprendizaje no supervisado: necesita número de clusters o umbrales de similitud

Basados en reglas: • Árboles de decisión • Reglas de decisión

Métodos de particiones• Single-pass• K-medias

Clasificadores lineales• Algoritmo de Rocchio• Enfoques Bayesianos• Basados en regresión• Métodos basados en vectores:• SVM y centroides• Perceptrón

Métodos jerárquicos• Single link• Complete link• Average Link• Método de Ward

Clasificadores basados en ejemplos• k-Nearest Neighbor

Métodos basados en modelos• Mapas auto-organizativos• Métodos estadísticos: RPCL y PLSI


48

Sistemas de Clasificación jerárquicos y facetados

Categoría

Categoría Categoría

Categoría Categoría Objeto

ObjetoObjeto

Faceta

Subfaceta Subfaceta

Faceta


Objeto Objeto


Temática

Usabilidad(U)

Idioma

Accesibilidad (A)

Programación (P)

Blog (B)

Foro (F)

Portal (P)

Español (E)

Inglés (I)

Tipología

--------------------

Documento

Servicio Web

Usabilidad (U)

Blog (B)

Programación (P)

Foro (F)

Portal (P)

E I E I E I

Blog (B)

Foro (F)

Portal (P)

E I E I E I

Blog (B)

Foro (F)

Portal (P)

E I E I E I

Accesibilidad (A)

E = EspañolI = Inglés

--------------------

Documento


49

Clustering

Creación de grupos de objetos relacionados

Asignación de cada objeto a un grupo (cluster) buscando:– Alto grado de

asociación entre sí dentro de cada cluster (minimización distancia intra-cluster)

– Diferenciación con los objetos de otros clusters (maximización distancia inter-clusters)


50

Algoritmos de clustering

Métodos de particiones– Métodos de pasada única– Métodos de recolocación

• Algoritmos de las k-medias• Método de las medianas

Métodos jerárquicos– Aglomerativos

• CURE• BIRCH

– Divisivos• PDDP• Basados en árboles de recubrimiento mínimo

Clustering difuso Redes neuronales y algoritmos genéticos


51

Clustering basado en Swarm Intelligence

Swarm Intelligence– Hace referencia a diversas técnicas

utilizadas en el ámbito de la Inteligencia Artificial

– Se basan en la idea de que grupos de agentes extremadamente sencillos y poco o nada organizados pueden exhibir un comportamiento complejo, incluso inteligente, utilizando reglas y mecanismos de comunicación local simples.

– Un colectivo de agentes sociales pueden llevar a cabo actuaciones de nivel complejo y formar sistemas descentralizados y auto-organizativos.

– Ejemplos:• PSO (Particle Swarm

Optimization) • ACO (Ant Colony Optimization)• Ant clustering


52

Resultados de un algoritmo ACO

Estado inicial: 250 documentos colocados aleatoriamente en

una rejilla 60x60

Después de 250.000 operaciones básicas de

hormiga

Economía

Contabilidad

Marketing

Recursos Humanos

Sistemas de Información

C1 C2

C3 C4

C5


53

Visualización de la Información: Dashboards y Reportes


54

Executive Dashboards: cuadros de mando

Permiten realizar un seguimiento de la evolución del negocio– Gestión por objetivos: ventas, satisfacción

del cliente,…

Key Performance Indicators (KPI) Visualización de los indicadores

– Gráficos y controles visuales– Códigos de colores


55

Pautas para el diseño de dashboards

Presentación de las métricas con diferentes elementos (valores numéricos, gráficos, indicadores de alertas,…)

Evitar una saturación visual con excesiva información Considerar la utilización de diferentes dispositivos

para el acceso (dispositivos móviles) Permitir la configuración mediante la inclusión de

diferentes widgets. Considerar aspectos de usabilidad y accesibilidad Evaluación heurística de los cuadros de mando para

identificar posibles problemas de usabilidad.


56

Ejemplos de Dashboards


57


58

Arranque de Pentaho BI Platform

Arrancar el servidor BI– Script star-pentaho

dentro del directorio /bi-server-ce/

Inicio de la consola de usuario– http://

localhost:8080/pentaho/Login

http://localhost:8080/pentaho/Login




59

Análisis OLAP con Pentaho

Mondrian Schema Workbench Basado en JPivot


60

Dashboards con Pentaho

Community Dashboard Editor (CDE)


61

Dashboards con Pentaho


62

Creación de Informes con Pentaho

Pentaho Report Designer


63

Aplicaciones del DSS

Planificación de la estrategia de producción óptima para unos factores de producción dados

Análisis de riesgos operativos

Orientar la decisiones en relación a localización, piensos, tamaños comerciales,…


64


65


66


67

Ejemplo de planificación de un horizonte temporal de 5 años


68

Riesgo operativo: influencia de la localización

Comparación de dos localizaciones:– Islas Canarias– Mediterráneo (Levante)

Análisis comparativo de estrategias de producción óptimas y anti-óptimas

Condiciones ambientales en Canarias resultan mejores:– Más rápido crecimiento, mayores retornos de la inversión

El riesgo operativo en Canarias también es mayor que en Levante

Best schedule (mean values in 50 runs)

Worst schedule (mean values in 50 runs)

Operational risk

Location Num lots

Gross margin Num lots Gross margin

CANARY ISLANDS

5 191,24 €/m3 4 135,96 €/m3

40,66%

LEVANTE 4 138,86 €/m3 4 119, 96 €/m3 15,76%

Condiciones:Horizonte temporal: 5 años, máxima densidad de biomasa: 20 kgrs/m3, tipo de interés 5%, retardo máximo: 60 días, pesos admisibles de cosecha: 300-700 grs, tamaños de alevines. 3-10 grs


69

Comparación entre ambas localizaciones en un horizonte temporal de 5 años

procesamiento de la información en la era del iot ...jpadilla.docentes.upbbga.edu.co/bigdata... ·...

Documents