20150430 adlibgebruikersgroep openrefine_v0_6

WORKSHOP OPEN REFINE

Alina Saenko | PACKED vzw

Inge van Stokkom | Rijksmuseum

30.04.2015

DATA CLEANING

… is arbeidsintensief

Open Refine is een gratis open-source tool

waarmee je data snel kan:analyserenschonen normaliserenverrijken

AGENDA

Wat is Open Refine? Schonen van data Normaliseren en verrijken (RKD, VIAF, AAT,

Wikidata, Geonames…) Exporteren

CEST: http://www.projectcest.be/index.php/Handleiding_Open_Refine

Handout: http://www.projectcest.be/images/3/38/20150430_Handout_Open_Refine_workshop.pdf

OPEN REFINE

Open Refine

WAT?

“a powerful tool for working with messy data”

open-source project - Freebase Gridworks (may 2010)

- aankoop Google -> Google Refine (juli 2010)

- 2010-2012: v.2.0 > v2.5

- Stop Google support > Open refine (October 2012) beta versie 2.6

- 2015: RefinePro – Cloud oplossing

stand alone desktop application, geen internet nodig

data schonen, normaliseren, transformeren naar verschillende formaten

Features?

Facets and filters

Features?

Cluster & Merge

Features?

Google Refine Expression language

Features?

Reconciliation Services

Meer informatie?

• Website: http://openrefine.org/

• Wiki: https://github.com/OpenRefine/OpenRefine/wiki

• GREL reference: https://github.com/OpenRefine/OpenRefine/wiki/Google-refine-expression-language

• Blogs:http://googlerefine.blogspot.comhttp://blog.ouseful.info/http://freeyourmetadata.org/cleanup/

Installeren -> http://openrefine.org/

Download, Unzip, Run …

DATASET UPLOADEN IN OPEN REFINE

DATASET UPLOADEN IN OPEN REFINE

LOOK & FEEL

FACET/FILTER

UNDO/REDO

SORT

ONNODIGE KOLOMMEN VERWIJDEREN

ONNODIGE RIJEN VERWIJDEREN

SCHONEN

WAARDES AANPASSEN (GREL EXPRESSIONS)

CONCEPTEN SCHONEN (CLUSTER AND EDIT)

NORMALISEREN EN VERRIJKEN

SEMI-AUTOMATISCHE IDENTIFICATIE EN VERRIJKING

Vier mogelijkheden:

• Via een export van een authority• Met behulp van een Reconciliation service• Automatisch gegevens ophalen uit externe

standaardterminologieën via URLs• DERI RDF Extension

VIA EEN EXPORT

RECONCILIATION SERVICE - ODIS

RECONCILIATION SERVICE - ODIS

RECONCILIATION SERVICE - ODIS

RECONCILIATION SERVICE - RKD

RECONCILIATION SERVICE - RKD

GEGEVENS OPHALEN - VIAF

GEGEVENS OPHALEN - VIAF

VERRIJKING VIAF

GEGEVENS OPHALEN - AAT

Zie Handout voor Wikidata en Geonames…

EXPORTEREN

EXPORT MAKEN

CUSTOM TABULAR EXPORTER

TEMPLATING

EXPORT VOOR ADLIB

BEDANKT!

alina@packed.be

I.van.Stokkom@rijksmuseum.nl