transformaciÓn y explotaciÓn del ign con herramientas
TRANSCRIPT
![Page 1: TRANSFORMACIÓN Y EXPLOTACIÓN DEL IGN CON HERRAMIENTAS](https://reader036.vdocuments.pub/reader036/viewer/2022071810/62d4215831adf34df36f6ae8/html5/thumbnails/1.jpg)
19as Jornadas SIG Libre
Girona, 26 de Marzo 2015
TRANSFORMACIÓN Y EXPLOTACIÓN DE DATOS HIDROGRÁFICOS DEL IGN
CON HERRAMIENTAS ETL
Rafael Sierra Requena
Instituto Geográfico Nacional (IGN)
![Page 2: TRANSFORMACIÓN Y EXPLOTACIÓN DEL IGN CON HERRAMIENTAS](https://reader036.vdocuments.pub/reader036/viewer/2022071810/62d4215831adf34df36f6ae8/html5/thumbnails/2.jpg)
29as Jornadas SIG Libre
Girona, 26 de Marzo 2015
1. INTRODUCCIÓN
Adaptación información geográfica IGN a nuevos escenarios en tecnológicos (INSPIRE)
Uso herramientas Extract-Transform-Load (ETL) para automatizar procesos de transformación de datos y análisis espacial
1.1. Objetivo
Aplicación: DATOS HIDROGRÁFICOS
![Page 3: TRANSFORMACIÓN Y EXPLOTACIÓN DEL IGN CON HERRAMIENTAS](https://reader036.vdocuments.pub/reader036/viewer/2022071810/62d4215831adf34df36f6ae8/html5/thumbnails/3.jpg)
39as Jornadas SIG Libre
Girona, 26 de Marzo 2015
1. INTRODUCCIÓN
1.2. Uso de herramientas ETL opensource
Extract Transform Load
![Page 4: TRANSFORMACIÓN Y EXPLOTACIÓN DEL IGN CON HERRAMIENTAS](https://reader036.vdocuments.pub/reader036/viewer/2022071810/62d4215831adf34df36f6ae8/html5/thumbnails/4.jpg)
49as Jornadas SIG Libre
Girona, 26 de Marzo 2015
1. INTRODUCCIÓN
- Mejorar la adaptación de inf. geográfica existente al esquema hidrografía INSPIRE, con modelos de datos unificados: representación y análisis de red.
1.3. Ejemplo transformaciones de datos: Hidrografía
m
Necesidades cambio de modelo de datos hidrografía:
![Page 5: TRANSFORMACIÓN Y EXPLOTACIÓN DEL IGN CON HERRAMIENTAS](https://reader036.vdocuments.pub/reader036/viewer/2022071810/62d4215831adf34df36f6ae8/html5/thumbnails/5.jpg)
59as Jornadas SIG Libre
Girona, 26 de Marzo 2015
2. MODELO DE DATOS HIDROGRÁFICOS IGN
![Page 6: TRANSFORMACIÓN Y EXPLOTACIÓN DEL IGN CON HERRAMIENTAS](https://reader036.vdocuments.pub/reader036/viewer/2022071810/62d4215831adf34df36f6ae8/html5/thumbnails/6.jpg)
69as Jornadas SIG Libre
Girona, 26 de Marzo 2015
La Base Topográfica Nacional a escala 1:25.000 (BTN25) es un conjunto de datos vectoriales tridimensionales de carácter topográfico, que contiene múltiples datos hidrográficos.
Estos datos son capturados mediante restitución fotogramétrica o digitalización sobre ortofotos, junto con datos de otras fuentes
organismos oficiales (estatales, CCAA, diputaciones, municipios, etc)
2. MODELO DE DATOS HIDROGRÁFICOS IGN
Mapa Topográfico Nacional 1:25.000 (MTN25)
Sistemas de información Geográfica (SIG)Usos:
2.1. Base Topográfica Nacional (BTN25)
![Page 7: TRANSFORMACIÓN Y EXPLOTACIÓN DEL IGN CON HERRAMIENTAS](https://reader036.vdocuments.pub/reader036/viewer/2022071810/62d4215831adf34df36f6ae8/html5/thumbnails/7.jpg)
79as Jornadas SIG Libre
Girona, 26 de Marzo 2015
La Base Topográfica Nacional a escala 1:25.000 (BTN25) es un conjunto de datos vectoriales tridimensionales de carácter topográfico, que contiene múltiples datos hidrográficos.
Estos datos son capturados mediante restitución fotogramétrica o digitalización sobre ortofotos, junto con datos de otras fuentes
organismos oficiales (estatales, CCAA, diputaciones, municipios, etc)
2. MODELO DE DATOS HIDROGRÁFICOS IGN
Mapa Topográfico Nacional 1:25.000 (MTN25)
Sistemas de información Geográfica (SIG)Usos:
2.1. Base Topográfica Nacional (BTN25)
![Page 8: TRANSFORMACIÓN Y EXPLOTACIÓN DEL IGN CON HERRAMIENTAS](https://reader036.vdocuments.pub/reader036/viewer/2022071810/62d4215831adf34df36f6ae8/html5/thumbnails/8.jpg)
89as Jornadas SIG Libre
Girona, 26 de Marzo 2015
2. MODELOS DE DATOS HIDROGRÁFICOS IGN
Se ha modificado la estructura de BTN25 (v1) para orientarlo a un modelo de explotación SIG, BTN25 (v2), y al mismo tiempo siga utilizándose como base para actualizar el MTN25.
2.2. Cambios en Base Topográfica Nacional (BTN25)
Requisitos:
Continuidad geométrica
Codigos identificadores
de rio (DGA)
BTN25v1
BTN25v2
![Page 9: TRANSFORMACIÓN Y EXPLOTACIÓN DEL IGN CON HERRAMIENTAS](https://reader036.vdocuments.pub/reader036/viewer/2022071810/62d4215831adf34df36f6ae8/html5/thumbnails/9.jpg)
99as Jornadas SIG Libre
Girona, 26 de Marzo 2015
Nueva línea de producción de información geográfica de referencia (IGR)
2. MODELOS DE DATOS HIDROGRÁFICOS IGN
Requisitos:
Actualización semi-automática continua datos sensores aerotransportados (imágenes aéreas, satélite o LIDAR)
Mayor resolución
Mayor homogeneidad de datos
Disminuir tiempo de actualización
2.3. Generación de información geográfica de referencia (IGR)
![Page 10: TRANSFORMACIÓN Y EXPLOTACIÓN DEL IGN CON HERRAMIENTAS](https://reader036.vdocuments.pub/reader036/viewer/2022071810/62d4215831adf34df36f6ae8/html5/thumbnails/10.jpg)
109as Jornadas SIG Libre
Girona, 26 de Marzo 2015
2. MODELOS DE DATOS HIDROGRÁFICOS IGN
2.3. Generación de información geográfica de referencia (IGR)
BTN25v2
HidrografiaIGR
GeometríasSemántica
![Page 11: TRANSFORMACIÓN Y EXPLOTACIÓN DEL IGN CON HERRAMIENTAS](https://reader036.vdocuments.pub/reader036/viewer/2022071810/62d4215831adf34df36f6ae8/html5/thumbnails/11.jpg)
119as Jornadas SIG Libre
Girona, 26 de Marzo 2015
2. MODELOS DE DATOS HIDROGRÁFICOS IGN
BTN25v1
BTN25v2
HidrografiaIGR
2.4. Transformaciones y relación entre productos del IGN
![Page 12: TRANSFORMACIÓN Y EXPLOTACIÓN DEL IGN CON HERRAMIENTAS](https://reader036.vdocuments.pub/reader036/viewer/2022071810/62d4215831adf34df36f6ae8/html5/thumbnails/12.jpg)
129as Jornadas SIG Libre
Girona, 26 de Marzo 2015
3. TRANSFORMACIONES CON ETL
![Page 13: TRANSFORMACIÓN Y EXPLOTACIÓN DEL IGN CON HERRAMIENTAS](https://reader036.vdocuments.pub/reader036/viewer/2022071810/62d4215831adf34df36f6ae8/html5/thumbnails/13.jpg)
139as Jornadas SIG Libre
Girona, 26 de Marzo 2015
3.1. Software.
Las herramientas Extract - Transform - Load (ETL) testeadas son software libre (opensource)
Humboldt Alignment Editor
(Hale)
Geokettle 2.5
Talend SpatialData Integrator 5.4
3. TRANSFORMACIONES CON ETL
Humboldt: http://www.esdi-humboldt.eu/home.html
HALE: http://www.dhpanel.eu/humboldt-framework/hale.html
Talend: http://www.talend.com/
Talend Spatial: http://talend-spatial.github.io/
Kettle: http://community.pentaho.com/projects/data-integration/
Geokettle: http://www.spatialytics.org/projects/geokettle/
![Page 14: TRANSFORMACIÓN Y EXPLOTACIÓN DEL IGN CON HERRAMIENTAS](https://reader036.vdocuments.pub/reader036/viewer/2022071810/62d4215831adf34df36f6ae8/html5/thumbnails/14.jpg)
149as Jornadas SIG Libre
Girona, 26 de Marzo 2015
3.2. Tipos de transformaciones
Las transformaciones de estructura (objetos, atributos y valores) que se realizan mediante un "mapeo" con herramientas ETL.
Las transformaciones de geometrías son procesos mas complicados y en algunos casos se han podido abordar de forma semi-automática mediante análisis espacial con herramientas ETL .
3. TRANSFORMACIONES CON ETL
SpatialDatamodel
ETL Tools
SpatialDatamodel
a) Mapeo entre modelos de datos
b) Control de calidad y análisis espacial
![Page 15: TRANSFORMACIÓN Y EXPLOTACIÓN DEL IGN CON HERRAMIENTAS](https://reader036.vdocuments.pub/reader036/viewer/2022071810/62d4215831adf34df36f6ae8/html5/thumbnails/15.jpg)
159as Jornadas SIG Libre
Girona, 26 de Marzo 2015
3.3. Mapeo entre objetos, atributos y valores.
BTN25v1
BTN25v2
3. TRANSFORMACIONES CON ETL
![Page 16: TRANSFORMACIÓN Y EXPLOTACIÓN DEL IGN CON HERRAMIENTAS](https://reader036.vdocuments.pub/reader036/viewer/2022071810/62d4215831adf34df36f6ae8/html5/thumbnails/16.jpg)
3.3. Mapeo entre objetos, atributos y valores
3. TRANSFORMACIONES CON ETL
![Page 17: TRANSFORMACIÓN Y EXPLOTACIÓN DEL IGN CON HERRAMIENTAS](https://reader036.vdocuments.pub/reader036/viewer/2022071810/62d4215831adf34df36f6ae8/html5/thumbnails/17.jpg)
179as Jornadas SIG Libre
Girona, 26 de Marzo 2015
3.3. Mapeo entre objetos, atributos y valores.
BTN25v2
HIIGR
3. TRANSFORMACIONES CON ETL
![Page 18: TRANSFORMACIÓN Y EXPLOTACIÓN DEL IGN CON HERRAMIENTAS](https://reader036.vdocuments.pub/reader036/viewer/2022071810/62d4215831adf34df36f6ae8/html5/thumbnails/18.jpg)
189as Jornadas SIG Libre
Girona, 26 de Marzo 2015
3.3. Mapeo entre objetos, atributos y valores
3. TRANSFORMACIONES CON ETL
Ejemplo: cursos de agua (RIOS y CANALES)
![Page 19: TRANSFORMACIÓN Y EXPLOTACIÓN DEL IGN CON HERRAMIENTAS](https://reader036.vdocuments.pub/reader036/viewer/2022071810/62d4215831adf34df36f6ae8/html5/thumbnails/19.jpg)
3.4. Análisis espacial y control de calidad
- Orientación y validez de las geometrías lineales de ríos en BTN25
3. TRANSFORMACIONES CON ETL
![Page 20: TRANSFORMACIÓN Y EXPLOTACIÓN DEL IGN CON HERRAMIENTAS](https://reader036.vdocuments.pub/reader036/viewer/2022071810/62d4215831adf34df36f6ae8/html5/thumbnails/20.jpg)
209as Jornadas SIG Libre
Girona, 26 de Marzo 2015
3.4. Análisis espacial y control de calidad
- Asignación de códigos identificadores de ríos y nombres geográficos
3. TRANSFORMACIONES CON ETL
![Page 21: TRANSFORMACIÓN Y EXPLOTACIÓN DEL IGN CON HERRAMIENTAS](https://reader036.vdocuments.pub/reader036/viewer/2022071810/62d4215831adf34df36f6ae8/html5/thumbnails/21.jpg)
219as Jornadas SIG Libre
Girona, 26 de Marzo 2015
3.5. Transformación a INSPIRE
HIIGR
HYINSPIRE
3. TRANSFORMACIONES CON ETL
![Page 22: TRANSFORMACIÓN Y EXPLOTACIÓN DEL IGN CON HERRAMIENTAS](https://reader036.vdocuments.pub/reader036/viewer/2022071810/62d4215831adf34df36f6ae8/html5/thumbnails/22.jpg)
229as Jornadas SIG Libre
Girona, 26 de Marzo 2015
3.5. Transformación a INSPIRE
3. TRANSFORMACIONES CON ETL
![Page 23: TRANSFORMACIÓN Y EXPLOTACIÓN DEL IGN CON HERRAMIENTAS](https://reader036.vdocuments.pub/reader036/viewer/2022071810/62d4215831adf34df36f6ae8/html5/thumbnails/23.jpg)
239as Jornadas SIG Libre
Girona, 26 de Marzo 2015
3.6. Resultados
BTN25v2
BTN25v1
ETL Tools
3. TRANSFORMACIONES CON ETL
![Page 24: TRANSFORMACIÓN Y EXPLOTACIÓN DEL IGN CON HERRAMIENTAS](https://reader036.vdocuments.pub/reader036/viewer/2022071810/62d4215831adf34df36f6ae8/html5/thumbnails/24.jpg)
249as Jornadas SIG Libre
Girona, 26 de Marzo 2015
3.6. Resultados
HIIGR
BTN25v2
ETL Tools
3. TRANSFORMACIONES CON ETL
HIINSPIRE
ETL Tools
![Page 25: TRANSFORMACIÓN Y EXPLOTACIÓN DEL IGN CON HERRAMIENTAS](https://reader036.vdocuments.pub/reader036/viewer/2022071810/62d4215831adf34df36f6ae8/html5/thumbnails/25.jpg)
259as Jornadas SIG Libre
Girona, 26 de Marzo 2015
4. EXPLOTAR DATOS DESDE SERVICIOS WEB CON ETL
![Page 26: TRANSFORMACIÓN Y EXPLOTACIÓN DEL IGN CON HERRAMIENTAS](https://reader036.vdocuments.pub/reader036/viewer/2022071810/62d4215831adf34df36f6ae8/html5/thumbnails/26.jpg)
269as Jornadas SIG Libre
Girona, 26 de Marzo 2015
4.1. Explotar datos de un servicio web con ETL
4. EXPLOTAR DATOS SERVICIOS WEB CON ETL
ETL
a) Petición de datos a un servidor que devuelve fichero (*.xml,*.gml)
c) Lee y Transformar estos datos (mapeo o análisis espacial)
d) Carga el resultado en un almacén de datos
Funciones automatizadas por una ETL:
![Page 27: TRANSFORMACIÓN Y EXPLOTACIÓN DEL IGN CON HERRAMIENTAS](https://reader036.vdocuments.pub/reader036/viewer/2022071810/62d4215831adf34df36f6ae8/html5/thumbnails/27.jpg)
4.1. Web Feature Service (WFS)
4. EXPLOTAR DATOS SERVICIOS WEB CON ETL
Nos devuelve elementos geométricos alojados en un fichero *.xml
(Cuidado: gran tamaño fichero acotar tamaño en la petición)
![Page 28: TRANSFORMACIÓN Y EXPLOTACIÓN DEL IGN CON HERRAMIENTAS](https://reader036.vdocuments.pub/reader036/viewer/2022071810/62d4215831adf34df36f6ae8/html5/thumbnails/28.jpg)
28
4.2. Metadata.
4. EXPLOTAR DATOS SERVICIOS WEB CON ETL
Permite a los productores transformar y cargar metadatos dentro del propio catálogo con una estructura determinada (NEM v1.2)
Catálogos de Metadatos (CSW) permitiendo realizar consultas y descubrir información geográfica de una organización.
![Page 29: TRANSFORMACIÓN Y EXPLOTACIÓN DEL IGN CON HERRAMIENTAS](https://reader036.vdocuments.pub/reader036/viewer/2022071810/62d4215831adf34df36f6ae8/html5/thumbnails/29.jpg)
299as Jornadas SIG Libre
Girona, 26 de Marzo 2015
1. Análisis herramientas ETL opensource:
Resultados aceptables (falta testeo en producción)
Necesidad de aumentar funciones análisis espacial
Mejorar accesibilidad a librerías espaciales (GDAL, jts topology suite)
2. Metodología datos hidrográficos:
Los datos siguen en fase de producción
Mayor actualización e interoperabilidad
Mejor explotación con SIG y Servicios web espaciales
5. CONCLUSIONES
![Page 30: TRANSFORMACIÓN Y EXPLOTACIÓN DEL IGN CON HERRAMIENTAS](https://reader036.vdocuments.pub/reader036/viewer/2022071810/62d4215831adf34df36f6ae8/html5/thumbnails/30.jpg)
309as Jornadas SIG Libre
Girona, 26 de Marzo 2015
Gracias por su atención
Rafael Sierra Requena