20150430 adlibgebruikersgroep openrefine_v0_6
TRANSCRIPT
WORKSHOP OPEN REFINE
Alina Saenko | PACKED vzw
Inge van Stokkom | Rijksmuseum
30.04.2015
DATA CLEANING
… is arbeidsintensief
Open Refine is een gratis open-source tool
waarmee je data snel kan:analyserenschonen normaliserenverrijken
AGENDA
Wat is Open Refine? Schonen van data Normaliseren en verrijken (RKD, VIAF, AAT,
Wikidata, Geonames…) Exporteren
CEST: http://www.projectcest.be/index.php/Handleiding_Open_Refine
Handout: http://www.projectcest.be/images/3/38/20150430_Handout_Open_Refine_workshop.pdf
OPEN REFINE
Open Refine
WAT?
“a powerful tool for working with messy data”
open-source project - Freebase Gridworks (may 2010)
- aankoop Google -> Google Refine (juli 2010)
- 2010-2012: v.2.0 > v2.5
- Stop Google support > Open refine (October 2012) beta versie 2.6
- 2015: RefinePro – Cloud oplossing
stand alone desktop application, geen internet nodig
data schonen, normaliseren, transformeren naar verschillende formaten
Features?
Facets and filters
Features?
Cluster & Merge
Features?
Google Refine Expression language
Features?
Reconciliation Services
Meer informatie?
• Website: http://openrefine.org/
• Wiki: https://github.com/OpenRefine/OpenRefine/wiki
• GREL reference: https://github.com/OpenRefine/OpenRefine/wiki/Google-refine-expression-language
• Blogs:http://googlerefine.blogspot.comhttp://blog.ouseful.info/http://freeyourmetadata.org/cleanup/
Installeren -> http://openrefine.org/
Download, Unzip, Run …
DATASET UPLOADEN IN OPEN REFINE
DATASET UPLOADEN IN OPEN REFINE
LOOK & FEEL
FACET/FILTER
UNDO/REDO
SORT
ONNODIGE KOLOMMEN VERWIJDEREN
ONNODIGE RIJEN VERWIJDEREN
SCHONEN
WAARDES AANPASSEN (GREL EXPRESSIONS)
CONCEPTEN SCHONEN (CLUSTER AND EDIT)
NORMALISEREN EN VERRIJKEN
SEMI-AUTOMATISCHE IDENTIFICATIE EN VERRIJKING
Vier mogelijkheden:
• Via een export van een authority• Met behulp van een Reconciliation service• Automatisch gegevens ophalen uit externe
standaardterminologieën via URLs• DERI RDF Extension
VIA EEN EXPORT
RECONCILIATION SERVICE - ODIS
RECONCILIATION SERVICE - ODIS
RECONCILIATION SERVICE - ODIS
RECONCILIATION SERVICE - RKD
RECONCILIATION SERVICE - RKD
GEGEVENS OPHALEN - VIAF
GEGEVENS OPHALEN - VIAF
VERRIJKING VIAF
GEGEVENS OPHALEN - AAT
Zie Handout voor Wikidata en Geonames…
EXPORTEREN
EXPORT MAKEN
CUSTOM TABULAR EXPORTER
TEMPLATING
EXPORT VOOR ADLIB
