presentacion tfm

PUBLICACIÓN DE DATOS ABIERTOS ENLAZADOS EN PUBLICACIÓN DE DATOS ABIERTOS ENLAZADOS EN EL ÁMBITO LEGISLATIVOEL ÁMBITO LEGISLATIVO

TRABAJO DE FIN DE MÁSTER

AutorAutorFrancisco Adolfo Cifuentes SilvaFrancisco Adolfo Cifuentes Silva

22 de Junio de 2011

Universidad de OviedoEscuela de Ingeniería Informática

Máster en Ingeniería Web

DirectorDirectorDr. Jose Emilio Labra GayoDr. Jose Emilio Labra Gayo

Publicación de datos abiertos enlazados en el ámbito legislativoFrancisco Adolfo Cifuentes SilvaFrancisco Adolfo Cifuentes Silva

IntroducciónIntroducción

22 de junio de 201122 de junio de 2011 22

Introducción -Motivación -ObjetivosEstado del arte -Conceptos previos -Casos de éxito -Trabajos relacionadosPropuesta metodológica -Contexto de aplicación -Arquitectura propuesta -Fases de implantaciónCaso de estudio -Antecedentes -Requisitos -Arquitectura implantada -Fases implantadas -Herramientas -WESO DESH -WESO RUS -LodvizResultados y DiscusiónConclusiones y Trabajo futuroDifusión de los resultadosPreguntas

IntroducciónIntroducción

Publicación de datos abiertos enlazados en el ámbito legislativoFrancisco Adolfo Cifuentes SilvaFrancisco Adolfo Cifuentes Silva22 de junio de 201122 de junio de 2011

La Web

33

La Web como BD

LimitantesLimitantesOrientada al usuarioEnlaces sin significadoDifícil extraer información

Cómo mejorarCómo mejorarAgregar metadatos Leíbles por máquinas

Datos enlazados

Documentos etiquetadoscon metadatos

Cómo mejorarCómo mejorarPublicar datos enFormatos interoperables

Mucha información

Mucha información

MotivaciónMotivación


¿Por qué publicar datos enlazados ¿Por qué publicar datos enlazados en el ámbito legislativo?...en el ámbito legislativo?...

O de modo más general... ¿en O de modo más general... ¿en la administración pública?la administración pública?

Generan confianza promoviendo la transparencia en la información.

Facilitan estudios e investigación.

Los datos públicos pertenecen a la nación, son concebidos gracias a los impuestos de los ciudadanos.

Asegurar que la legislación sea conocida (“Certeza jurídica”).


44


MotivaciónMotivación


Muy bien, publiquemos datos enlazados, son muy buenos.

Pero...

¿En qué consisten exactamente?

¿Cómo publicar?

¿Qué se necesita?

¿A quién preguntar?

Además, si son datos de interés general y muy consultados ¿es necesaria alguna otra consideración?

55


ObjetivosObjetivos


Desarrollar un estado del arte relacionado a la publicación de datos enlazados.

Definir una arquitectura y proceso de implantación estandarizados que habiliten la implementación de proyectos de datos enlazados en el contexto de la administración pública.

Probar la metodología a través un caso de estudio.

66


Estado del arteEstado del arte


Grafo RDF sobre HTTPGrafo RDF sobre HTTP


Conceptos previosConceptos previos


RDF – Resource Description FrameworkRDF – Resource Description Framework

Datos enlazadosDatos enlazados

Publicados sobre HTTP.

Referenciar mediante URIs

En cada URI, publicar información bajo estándares abiertos.

Incluir enlaces a otras URI, permitir el descubrimiento de nueva información

http://ejemplo.org/Alumno rdf:type

http://universidades.org/Uniovi

http://uniovi.es/alumnos/Francisco

“Universidad de Oviedo”

http://ejemplo.org/perteneceA

http://ejemplo.org/tiene

http://ejemplo.org/tieneNombre

Sujeto Propiedad Objeto

Francisco rdf:type Alumno

Uniovi tieneNombre Universidad de Oviedo

Francisco perteneceA Uniovi

88



SPARQL – SPARQL – Sparql Protocol And Rdf Query Language

Recomendación W3C Consultar grafos RDF Encaje de patrones

(Pattern matching)


99

PREFIX bcnnorms: <http://datos.bcn.cl/ontologies/bcn-norms#>PREFIX rdf: <http://www.w3.org/1999/02/22-rdf-syntax-ns#>PREFIX dc: <http://purl.org/dc/elements/1.1/>

select distinct ?titulo ?norma ?nombreOrg where {?norma rdf:type ?clase .?norma bcnnorms:createdBy ?org .?org bcnnorms:hasName ?nombreOrg.?norma dc:title ?titulo.?norma bcnnorms:isTreatyWith ?pais.?pais bcnnorms:hasName "España".?norma bcnnorms:type ?tipo .?tipo bcnnorms:hasName "Decreto".?norma bcnnorms:publishDate ?pub_date .FILTER (xsd:dateTime(?pub_date) >= "1990-01-01T00:00:00Z"^^xsd:dateTime && xsd:dateTime(?pub_date) <= "2000-12-31T00:00:00Z"^^xsd:dateTime) . }

Endpoint SPARQLEndpoint SPARQL

Endpoint SPARQLEndpoint SPARQL Cumple SPROT Ejecutar SPARQL Sobre grafo RDF

Mismo recurso, diferentes formatos



Recurso != representación (formatos)

EjemploEjemplo


1010

http://ejemplo.org/Franciscohttp://ejemplo.org/Francisco

http://ejemplo.org/Francisco.html

http://ejemplo.org/Francisco.json

http://ejemplo.org/Francisco.rdf

Negociación de contenidoNegociación de contenido

GET /recurso/Francisco.rdfAccept: application/rdf+xml

GET /recurso/FranciscoAccept: application/rdf+xml

303 See OtherLocation:

http://ejemplo.org/recurso/Francisco.rdf

200 OKContent-type:

Application/rdf+xml;charset=utf-8

http://ejemplo.org/recurso/Francisco.rdf

Casos de éxitoCasos de éxito



Legislation.gov.ukLegislation.gov.uk

New York TimesNew York Times

DBPediaDBPedia

DBLPDBLP

1111

Trabajos relacionadosTrabajos relacionados



1212

Aproximaciones para publicación

TutorialBizer et al, 2008Debilidades

No define arquitectura No describe componentes

LibroHeath y Bizer, 2011Debilidades

Componentes vagamente No describe fases


Propuesta metodológicaPropuesta metodológica


Contexto de aplicaciónContexto de aplicación


Características de los datosCaracterísticas de los datos

Gran volumen de datos

Altamente consultados

Contenidos de interés general

Características de la Características de la organizaciónorganización

Sin equipo de especialistas

Nuevos proyectos no deben interferir con proyectos en curso


1414

Arquitectura propuestaArquitectura propuesta


Puntos fuertePuntos fuertess

Escalabilidad

Eficiencia

Completitud

Basada en componentes

Alta cohesión

Bajo acoplamiento


1515

Fases de implantaciónFases de implantación


Proceso de implantación de datos enlazadosProceso de implantación de datos enlazados

Fase por cada componente

Solución automantenible

Incluye documentación para su uso


1616


Caso de estudioCaso de estudio


AntecedentesAntecedentes


Portal Web de normas

Máximos entre 14.000 y 18.000 consultas diarias

Sistema de búsquedas

Servicios Web

Necesidad de extender sistema a datos enlazados

Sitio web LeyChileSitio web LeyChilehttp://www.leychile.cl


1818

Biblioteca del Congreso Nacional de Chile - BCNBiblioteca del Congreso Nacional de Chile - BCN

RequisitosRequisitos


Peticiones de la BCNPeticiones de la BCN

Publicar normas como datos enlazados

Req.1:Req.1: Ontología de Normas

Req.2: Req.2: Grafo RDF sobre HTTP

Permitir consultar las normas a través de un Endpoint SPARQL

Req. 3:Req. 3: Generación y carga de tripletas RDF + Endpoint SPARQL

Mantener el grafo RDF actualizado

Req. 4:Req. 4: Servicio de actualización

Visualizar gráficamente relaciones entre normas

Req. 5:Req. 5: Herramienta de visualización

Finalmente, ¿cómo utilizar el sistema de datos enlazados?

Req. 6:Req. 6: Portal de documentación


1919

RequisitosRequisitos


Consideraciones adicionalesConsideraciones adicionales

Escalable, se agregarán progresivamente más datos

Sistema autónomo a los sistemas existentes

Aproximadamente 300.000 normas y sus relaciones (modificaciones, concordancias, etc.)

Primera etapa solo datos base de las normas (ttulo, fechas, tipos, relaciones), excluyendo el cuerpo (artculos, capítulos)


2020

Arquitectura implantadaArquitectura implantada


CaracterísticasCaracterísticas

Acceso centralizado Apache 2

MySQL para BD de soporte y cache

Todas las herramientas de código abierto

Componentes intercambiables

TYPO3 CMS como portal web de documentación


2121

Fases implantadasFases implantadas


ContextualizaciónContextualización

¿Qué datos se van a entregar?

Normas legislativas, Organismos del estado, Organizaciones Internacionales, Países con los que se tiene tratado internacional

¿De qué forma?

¿Quién los va a consumir?

Navegador Web y máquinas de búsqueda (RDFa – SEO)

Herramientas de visualización como Lodviz

Aplicaciones de terceras partes


2222



Diseño de ontologíasDiseño de ontologías

Ontología de normas legislativas (OWL+RDFs)

Basada en otros vocabularios (SKOS, FOAF, DC, DBPEDIA, GN)

PREFIX bcnnorms: http://datos.bcn.cl/ontologies/bcn-norms#


2323



Diseño del grafo RDFDiseño del grafo RDF

Patrones de URIs

Definición de RDF de salida por cada patrón de URI

Diseño de URIs de normas basado en estándar FRBR para registros bibliográficos


2424



Implementación del Endpoint SPARQLImplementación del Endpoint SPARQL

Componente Virtuoso sparql

17 Transformaciones Kettle


2525



Requisitos no funcionalesRequisitos no funcionales

Seguridad

Endpoint SPARQL: Basada en permisos de ejecución de usuario

WESO DESH: validación de URIs mediante en expresiones regulares

Administración: Mediante Apache Deny All

Acceso BD producción, usuario con acceso solo lectura

Firewall desde DMZ, solo puerto 80 abierto

Acceso SSH solo desde VPN

Cache

Aun no requerida por configuración de virtuoso optimizada

Monitoreo de rendimiento

Planificado para siguiente iteración


2626



Portal de documentaciónPortal de documentación

TYPO3 CMS, desde la fase de contextualización

Herramientas que implementan fasesHerramientas que implementan fases

WESO DESH

WESO RUD

Lodviz


Portal de documentación

Impl. Grafo RDF sobre HTTP

Impl. Servicio de actualización

Impl. Herramienta de visualización

2727

WESO DESHWESO DESH


Negociación de contenido basada en 303 See Other

Delega formatos de salida en Endpoint SPARQL

Salida en HTML+RDFa usando XSLT

Configuración en XML

Definición de URIs basada en expresiones regulares

Ejecuta SPARQL (CONSTRUCT, ASK, DESCRIBE)

Grafo RDF sobre http: WESO DESH – Datos Enlazados Sobre HTTPGrafo RDF sobre http: WESO DESH – Datos Enlazados Sobre HTTP


2828

WESO RUDWESO RUD


Servicio de carga y actualización RDF: WESO RUD – RDF UpdaterServicio de carga y actualización RDF: WESO RUD – RDF Updater

Basado en Pentaho – Kettle ETL

Ejecuta transformaciones en hilos

Configuración en XML

Qué transformaciones ejecutar

Qué directorios utilizar

Datos de conexiones a BD

Otras conexiones e instrucciones como SSH


2929

LodvizLodviz


Herramienta de visualización: Lodviz – Linked Open Data VisualizationHerramienta de visualización: Lodviz – Linked Open Data Visualization

Permite visualizar datos enlazados en RDF como grafos

Basado en HTML5 y Javascript

Orientado a visualizar vinculaciones entre normas


3030


Resultados y DiscusiónResultados y Discusión


ResultadosResultados


Utilizando la propuesta metodológica se obtuvo lo siguiente:Utilizando la propuesta metodológica se obtuvo lo siguiente:

Creación de más de 8 millones de tripletas sin error a partir de 300.000 normas (aprox. 27 tripletas por norma)

Implementación de un grafo de datos vinculados de normas válido bajo estándares W3C (Utilizando validadores W3C: RDF/XML, Vapour y RDFa)

Implementación altamente escalable

No han aparecido nuevos requisitos a lo largo del desarrollo

Planificación ajustada al tiempo de desarrollo, utilizadas 19 de 21 semanas en implementación

Se da cumplimiento a las cinco estrellas de datos enlazados


3232

DiscusiónDiscusión


Comparativa de metodologíasComparativa de metodologías

AspectoAspecto PropuestaPropuesta Bizer et al 2008Bizer et al 2008 Heath y Bizer Heath y Bizer 20112011

Definición de requisitosDefinición de requisitos Contextualización parcial parcial

Definición de arquitecturaDefinición de arquitectura sí parcial sí

Definición de componentesDefinición de componentes sí parcial parcial

Definición de fasesDefinición de fases sí sí difusa

Diseño de URIsDiseño de URIs sí sí sí

Diseño de ontologíasDiseño de ontologías sí sí sí

Servicio de actualizaciónServicio de actualización sí no no

Portal de documentaciónPortal de documentación sí no no

Métodos de generación de Métodos de generación de datos enlazadosdatos enlazados

único múltiples múltiples


3333

DiscusiónDiscusión


En la propuesta se incorpora una descripción de los componentes de soporte a datos enlazados.

Metodología permite planificar sin dejar fuera elementos importantes.

Se incorporan nuevos componentes útiles.

Adaptabilidad no se hace indispensable por el contexto de aplicación.

8 millones de tripletas al ser un piloto, proyecta enorme incremento al completar normas y agregar datos de otros dominios, por lo que es necesaria la escalabilidad.

Implementación adicional de consultas RESTful.

Implementación cinco estrellas de datos enlazados no ha sido trivial.


3434


Conclusiones y Trabajo futuroConclusiones y Trabajo futuro


ConclusionesConclusiones


La utilidad de la propuesta es válida de forma integral permitiendo su uso en contextos similares al caso de estudio.

No existe actualmente una metodología general de publicación de datos enlazados que de soporte de forma completa al proceso, sin embargo con esta propuesta es posible dar solución a la problemática presente en las administraciones públicas y posiblemente extender a otros dominios con características similares.

Las herramientas de soporte a datos enlazados existentes en la actualidad no dan cumplimiento total a los requisitos, por lo que es un campo abierto para su desarrollo.

Una referencia en fases y arquitectura para el desarrollo de proyectos de datos enlazados se hacen claves a la hora de planificar un proyecto de este tipo.


3636

ConclusionesConclusiones


Existe gran complejidad para visualizar grandes conjuntos de datos enlazados, principalmente por su granularidad.

La mayor parte de los proyectos de datos enlazados son iniciativas de gobierno, aparentemente el sector privado aun no ha visto el real potencial, por lo que es otra área donde hay mucho trabajo que realizar.

Los datos enlazados se basan en tecnología que no es nueva, sin embargo no ha sido adoptada ampliamente. A partir de esto se puede deducir que además de factores económicos, la baja adopción es producto del desconocimiento.

Este trabajo viene a dar en parte una solución a esta brecha de desconocimiento sobre datos abiertos enlazados.


3737

Trabajo futuroTrabajo futuro


Extender propuesta metodológica

Considere distintos escenarios de aplicación

Arquitectura adaptable

Distintos esquemas de componentes

Trabajar sobre las herramientas

Realizar refactoring sobre el código

Agregar nuevas características

Optimizaciones y comparativas con herramientas similares

Liberar como código abierto bajo autoría del grupo WESO de la Uniovi


3838

Trabajo futuroTrabajo futuro


Sobre WESO DESH

Seguridad en grafos RDF

Perfiles de usuario

GUI para configuración y administración

Sobre Lodviz

Permitir visualización de conjuntos de datos grandes

Implementar descubrimiento progresivo de grafos

Estudios de usabilidad


3939


Difusión de los resultadosDifusión de los resultados




Artículos enviados a conferenciasArtículos enviados a conferencias

“Towards an architecture and adoption process for Linked Data technologies in Open Government contexts. A case study for Library of Congress of Chile”

I-Semantics, 7th International Conference on Semantic Systems, 7 al 9 de septiembre de 2011 en Graz, Austria.

“An architecture and process of implantation for Linked Data environments” CAEPIA, Conferencia de la Asociación Española Para la Inteligencia Artificial, 7 al 11

de noviembre de 2011 en San Cristóbal de La Laguna, Tenerife.


4141



Trabajo presentadoTrabajo presentado

“Linked Data para la Biblioteca del Congreso Nacional de Chile - BCN” Reunión Red Temática Española de Linked Data, Universidad Politécnica de Madrid, 6

y 7 de junio de 2011

Preparando Preparando abstractabstract para para special issuespecial issue JCR JCR

"Consuming and Producing Linked Data on Real World Applications"International Journal of Software Engineering and Knowledge Engineering (JCR 2009 IF: 0.327)


4242


PreguntasPreguntas


PreguntasPreguntas


Estándar FRBREstándar FRBR

● TrabajoTrabajo: una: una creación intelectual creación intelectual o artstica, la obra original producida por un autor, o artstica, la obra original producida por un autor, por ejemplo el Hamlet de Shakespeare.por ejemplo el Hamlet de Shakespeare.

● Expresión:Expresión: una clara una clara realización intelectual de una obrarealización intelectual de una obra , por ejemplo la película de , por ejemplo la película de Hamlet en 1990 por Zeffirelli.Hamlet en 1990 por Zeffirelli.

● Manifestación: Manifestación: la la encarnación física de una expresión concretaencarnación física de una expresión concreta, por ejemplo, el , por ejemplo, el formato DVD de la película.formato DVD de la película.

4444


PreguntasPreguntas


Por qué se ha seleccionado VirtuosoPor qué se ha seleccionado Virtuoso

4545


Carga de datos

Consulta 1

Consultas 2

Ref:http://www4.wiwiss.fu-berlin.de/benchmarks-200801/

presentacion tfm

Technology