curso de verano "datos y gobierno abierto" david cabo
DESCRIPTION
Ponencia de David Cabo dentro del curso de verano "Datos y gobierno Abierto" organizado por la iniciativa Aragón Open Data de la Dirección General de Nuevas Tecnologías del Gobierno de Aragón. La ponencia se celebró dentro de los cursos de verano de la Universidad de Zaragoza, en Jaca, del 10 al 12 de Julio de 2013 y se titula "Reutilización de datos abiertos y no tan abiertos"TRANSCRIPT
![Page 1: Curso de Verano "Datos y Gobierno Abierto" David Cabo](https://reader035.vdocuments.pub/reader035/viewer/2022062513/5578cb3bd8b42a85538b5240/html5/thumbnails/1.jpg)
...Preparación de datos para su análisis
David Cabo @dcabo
CC BY-NC-SA
![Page 2: Curso de Verano "Datos y Gobierno Abierto" David Cabo](https://reader035.vdocuments.pub/reader035/viewer/2022062513/5578cb3bd8b42a85538b5240/html5/thumbnails/2.jpg)
![Page 3: Curso de Verano "Datos y Gobierno Abierto" David Cabo](https://reader035.vdocuments.pub/reader035/viewer/2022062513/5578cb3bd8b42a85538b5240/html5/thumbnails/3.jpg)
![Page 4: Curso de Verano "Datos y Gobierno Abierto" David Cabo](https://reader035.vdocuments.pub/reader035/viewer/2022062513/5578cb3bd8b42a85538b5240/html5/thumbnails/4.jpg)
Open data / datos abiertos
- disponible online, gratuita - procesable por ordenadores- licencia abierta, reutilizable
![Page 5: Curso de Verano "Datos y Gobierno Abierto" David Cabo](https://reader035.vdocuments.pub/reader035/viewer/2022062513/5578cb3bd8b42a85538b5240/html5/thumbnails/5.jpg)
http://datos.fundacionctic.org/sandbox/catalog/faceted/
![Page 6: Curso de Verano "Datos y Gobierno Abierto" David Cabo](https://reader035.vdocuments.pub/reader035/viewer/2022062513/5578cb3bd8b42a85538b5240/html5/thumbnails/6.jpg)
![Page 7: Curso de Verano "Datos y Gobierno Abierto" David Cabo](https://reader035.vdocuments.pub/reader035/viewer/2022062513/5578cb3bd8b42a85538b5240/html5/thumbnails/7.jpg)
Generadoelectrónicamente
(buscable)
Imagenescaneada
Tablas Formato complejo
![Page 8: Curso de Verano "Datos y Gobierno Abierto" David Cabo](https://reader035.vdocuments.pub/reader035/viewer/2022062513/5578cb3bd8b42a85538b5240/html5/thumbnails/8.jpg)
Generadoelectrónicamente
(buscable)
Imagenescaneada
Formato complejoTablas
![Page 9: Curso de Verano "Datos y Gobierno Abierto" David Cabo](https://reader035.vdocuments.pub/reader035/viewer/2022062513/5578cb3bd8b42a85538b5240/html5/thumbnails/9.jpg)
Tablas
1. Copiar y pegar a Excel no funciona bien
2. Programas de pago: deskUNPDF, Nitro, Acrobat Pro...
3. Servicios web gratuitos:
• cometdocs.com
• pdftoexcelonline.com
• zamzar.com
![Page 10: Curso de Verano "Datos y Gobierno Abierto" David Cabo](https://reader035.vdocuments.pub/reader035/viewer/2022062513/5578cb3bd8b42a85538b5240/html5/thumbnails/10.jpg)
![Page 11: Curso de Verano "Datos y Gobierno Abierto" David Cabo](https://reader035.vdocuments.pub/reader035/viewer/2022062513/5578cb3bd8b42a85538b5240/html5/thumbnails/11.jpg)
Tablas
Generadoelectrónicamente
(buscable)
Imagenescaneada
Formato complejo
![Page 12: Curso de Verano "Datos y Gobierno Abierto" David Cabo](https://reader035.vdocuments.pub/reader035/viewer/2022062513/5578cb3bd8b42a85538b5240/html5/thumbnails/12.jpg)
Formatos complejos
• Columnas, datos partidos en varias lineas, datos intercalados entre el texto...
• Las herramientas automáticas no suelen ser capaces de extraer la información
• Es necesario:
• extraer el texto del PDF (xpdf / poppler)
• y crear un programa específico (Ruby, Python, Perl... + expresiones regulares)
![Page 13: Curso de Verano "Datos y Gobierno Abierto" David Cabo](https://reader035.vdocuments.pub/reader035/viewer/2022062513/5578cb3bd8b42a85538b5240/html5/thumbnails/13.jpg)
![Page 14: Curso de Verano "Datos y Gobierno Abierto" David Cabo](https://reader035.vdocuments.pub/reader035/viewer/2022062513/5578cb3bd8b42a85538b5240/html5/thumbnails/14.jpg)
![Page 15: Curso de Verano "Datos y Gobierno Abierto" David Cabo](https://reader035.vdocuments.pub/reader035/viewer/2022062513/5578cb3bd8b42a85538b5240/html5/thumbnails/15.jpg)
![Page 16: Curso de Verano "Datos y Gobierno Abierto" David Cabo](https://reader035.vdocuments.pub/reader035/viewer/2022062513/5578cb3bd8b42a85538b5240/html5/thumbnails/16.jpg)
![Page 17: Curso de Verano "Datos y Gobierno Abierto" David Cabo](https://reader035.vdocuments.pub/reader035/viewer/2022062513/5578cb3bd8b42a85538b5240/html5/thumbnails/17.jpg)
Tablas
Generadoelectrónicamente
(buscable)
Formato complejo
Imagenescaneada
![Page 18: Curso de Verano "Datos y Gobierno Abierto" David Cabo](https://reader035.vdocuments.pub/reader035/viewer/2022062513/5578cb3bd8b42a85538b5240/html5/thumbnails/18.jpg)
Imágenes
• El texto original no está disponible: no podemos buscar en él, ni copiarlo
• Software para reconocer carácteres (OCR)
• La fiabilidad depende de la calidad de la entrada (limpieza, resolución, tipo de letra)
• Bastante trabajo:
• Hay que revisar el resultado
• Difícil de automatizar para muchos ficheros
![Page 19: Curso de Verano "Datos y Gobierno Abierto" David Cabo](https://reader035.vdocuments.pub/reader035/viewer/2022062513/5578cb3bd8b42a85538b5240/html5/thumbnails/19.jpg)
OCROpen Source
• Tesseract + OCROpus
• Usado por Google
• No es fácil de instalar y utilizar
Comerciales
• AbbyyReader
• Adobe Acrobat Pro
• Solid
• Google Docs (gratis)
![Page 20: Curso de Verano "Datos y Gobierno Abierto" David Cabo](https://reader035.vdocuments.pub/reader035/viewer/2022062513/5578cb3bd8b42a85538b5240/html5/thumbnails/20.jpg)
![Page 21: Curso de Verano "Datos y Gobierno Abierto" David Cabo](https://reader035.vdocuments.pub/reader035/viewer/2022062513/5578cb3bd8b42a85538b5240/html5/thumbnails/21.jpg)
![Page 22: Curso de Verano "Datos y Gobierno Abierto" David Cabo](https://reader035.vdocuments.pub/reader035/viewer/2022062513/5578cb3bd8b42a85538b5240/html5/thumbnails/22.jpg)
![Page 23: Curso de Verano "Datos y Gobierno Abierto" David Cabo](https://reader035.vdocuments.pub/reader035/viewer/2022062513/5578cb3bd8b42a85538b5240/html5/thumbnails/23.jpg)
![Page 24: Curso de Verano "Datos y Gobierno Abierto" David Cabo](https://reader035.vdocuments.pub/reader035/viewer/2022062513/5578cb3bd8b42a85538b5240/html5/thumbnails/24.jpg)
![Page 25: Curso de Verano "Datos y Gobierno Abierto" David Cabo](https://reader035.vdocuments.pub/reader035/viewer/2022062513/5578cb3bd8b42a85538b5240/html5/thumbnails/25.jpg)
![Page 26: Curso de Verano "Datos y Gobierno Abierto" David Cabo](https://reader035.vdocuments.pub/reader035/viewer/2022062513/5578cb3bd8b42a85538b5240/html5/thumbnails/26.jpg)
https://addons.mozilla.org/en-US/firefox/addon/dafizilla-table2clipboard/
![Page 27: Curso de Verano "Datos y Gobierno Abierto" David Cabo](https://reader035.vdocuments.pub/reader035/viewer/2022062513/5578cb3bd8b42a85538b5240/html5/thumbnails/27.jpg)
![Page 28: Curso de Verano "Datos y Gobierno Abierto" David Cabo](https://reader035.vdocuments.pub/reader035/viewer/2022062513/5578cb3bd8b42a85538b5240/html5/thumbnails/28.jpg)
https://support.google.com/docs/bin/answer.py?hl=en&answer=155182
![Page 29: Curso de Verano "Datos y Gobierno Abierto" David Cabo](https://reader035.vdocuments.pub/reader035/viewer/2022062513/5578cb3bd8b42a85538b5240/html5/thumbnails/29.jpg)
https://scraperwiki.com/
![Page 30: Curso de Verano "Datos y Gobierno Abierto" David Cabo](https://reader035.vdocuments.pub/reader035/viewer/2022062513/5578cb3bd8b42a85538b5240/html5/thumbnails/30.jpg)
http://open.dapper.net/
![Page 31: Curso de Verano "Datos y Gobierno Abierto" David Cabo](https://reader035.vdocuments.pub/reader035/viewer/2022062513/5578cb3bd8b42a85538b5240/html5/thumbnails/31.jpg)
https://ws037.juntadeandalucia.es/riibp/inicio.do
![Page 32: Curso de Verano "Datos y Gobierno Abierto" David Cabo](https://reader035.vdocuments.pub/reader035/viewer/2022062513/5578cb3bd8b42a85538b5240/html5/thumbnails/32.jpg)
![Page 33: Curso de Verano "Datos y Gobierno Abierto" David Cabo](https://reader035.vdocuments.pub/reader035/viewer/2022062513/5578cb3bd8b42a85538b5240/html5/thumbnails/33.jpg)
![Page 34: Curso de Verano "Datos y Gobierno Abierto" David Cabo](https://reader035.vdocuments.pub/reader035/viewer/2022062513/5578cb3bd8b42a85538b5240/html5/thumbnails/34.jpg)
http://trabajanparati.es
![Page 35: Curso de Verano "Datos y Gobierno Abierto" David Cabo](https://reader035.vdocuments.pub/reader035/viewer/2022062513/5578cb3bd8b42a85538b5240/html5/thumbnails/35.jpg)
![Page 36: Curso de Verano "Datos y Gobierno Abierto" David Cabo](https://reader035.vdocuments.pub/reader035/viewer/2022062513/5578cb3bd8b42a85538b5240/html5/thumbnails/36.jpg)
http://www.propublica.org/nerds/item/doc-dollars-guides-collecting-the-data
Ruby, Google Refine, Firebug, Nokogiri, Tesseract
![Page 37: Curso de Verano "Datos y Gobierno Abierto" David Cabo](https://reader035.vdocuments.pub/reader035/viewer/2022062513/5578cb3bd8b42a85538b5240/html5/thumbnails/37.jpg)
¿Preguntas?
David Cabo (@dcabo)