HERRAMIENTAS ETL

TALEND OPEN STUDIOData Integration

Índice

Introducción Herramientas ETL Las dos grandes Conociendo Talend Trabajando con Talend Ejemplo Práctico

Introducción

Complejidad de los sistemas actuales

Nuevas necesidades de negocio

La realidad empresarial

Necesidades de integración

Herramientas ETL

Wikipedia

“ETL son las siglas en inglés de Extraer,  Transformar  y  Cargar (Extract, Transform and Load). Es el proceso que permite a las organizaciones mover datos desde múltiples fuentes, reformatearlos y limpiarlos, y cargarlos en otra base de datos,data mart, o data warehouse para analizar, o en otro sistema operacional para apoyar un proceso de negocio.”

Herramientas ETL

Extracción

Obtener datos desde sistemas origen

Homogeneización de estructuras

Preparar los datos para el procesamiento

Etapas del proceso

Herramientas ETL

Transformación

Aplicar reglas de negocio

Acciones comunes:

- Filtro de columnas

- Normalización / Desnormalización

- Mapeo de valores

- Cálculos de KPIs

Etapas del proceso

Herramientas ETL

Carga

Volcado de datos en sistema de destino

Diferentes estrategias de escritura

Etapas del proceso

Conociendo TalendEntorno gráfico Open-Source

IDE basado en Eclipse

Más de 600 componentes disponibles

Generador código Java

Basado en Jobs o Trabajos

Conociendo Talend

Ecosistema TOS: data integration, mdm, esb, bigdata, etc

Distribuciones Communiy y Enterprise

Resultado final : sh y war

Conociendo Talend

Casos de Uso comunes

Migración de Datos

Intercambio de Ficheros entre sistemas

Sincronización de Datos

Conociendo Talend

Community vs Enterprise distribution

Entorno de trabajo colaborativo

Análisis del flujo de datos

Ayudas en la depuración

Exportación avanzada de documentación

Usos de Joblets

Soporte profesional

Las dos Grandes

Pentaho Data Integration

Entorno de desarrollo escritorio (Spoon)

Basado en Java

Desarrollo ágil e intuitivo

Resultado final en ficheros XML (.kjb .ktr)

Basado en los conceptos de trabajos y transformaciones

Kettle

Kettle

Talend vs Kettle

CARACTERÍSTICACARACTERÍSTICA TalendTalend KettleKettle

Funcionamiento Generador de código Java Interprete Java

Facilidad de uso Curva de aprendizaje más empinada Muy sencillo

Definición de esquemas Más restrictivo Más libertad

Documentación de apoyo Abundante

Componentes Más componentes Menos Componentes

Talend vs Kettle

CARACTERÍSTICA Talend Kettle

Velocidad de proceso Talend puede ser más rápido dependiendo de los componentes utilizados.

Plataformas SpagoBIJasperServer Pentaho

Trabajando con Talend

Jobs

Contextos

Metadata

Componentes

Ejemplo Práctico