linked open data 基礎

Linked Open Data基礎LODI 加藤文彦

横浜オープンデータハッカソン, 2013-01-26

Linked Data

•Web技術でデータを公開・共有・統合するためのベストプラクティス

• "データのWeb"

• HTTP, IRI, リンク, グラフモデル, 構造化データ

Webの原則1. IRIをHTML文書の識別

子として使う

2. IRIにはhttpスキームを使う

3. IRIを見るとHTML文書が返ってくる

4. HTML文書には他のIRIへのリンクがある

Linked Dataの原則1. IRIをモノ(Thing)の識

別子として使う

2. IRIにはhttpスキームを使う

3. IRIを見るとモノのデータが返ってくる

4. データには他のIRIへの型付リンクがある

子供

執筆

発行日

誕生日出版社

所在地

"Things, not Strings" by Google

1. オープンライセンス

2. 構造化データ

3. オープンな形式

4. IRIによる識別 / W3C標準

5. 他データへのリンク

Linked Open Data

Linked Data(データのWeb)

Open Data(オープンライセンス)

RDF(グラフデータモデル)

子供

執筆

発行日

誕生日出版社

所在地

子供

執筆

発行日

誕生日出版社

所在地

グラフのシリアライズ形式• Turtle (N3)

• JSON-LD

• RDFa

• Microdata

• RDF/XML

• TriX

• TriG

• ......

As of September 2011

MusicBrainz

(zitgist)

Turismo de

Zaragoza

yovisto

Yahoo! Geo

Planet

World Fact-book

El ViajeroTourism

WordNet (W3C)

WordNet (VUA)

VIVO UF

VIVO Indiana

VIVO Cornell

URIBurner

Sussex Reading

Plymouth Reading

UniRef

UniProt

UK Post-codes

legislationdata.gov.uk

Uberblic

UB Mann-heim

TWC LOGD

Twarql

transportdata.gov.

Traffic Scotland

theses.fr

Thesau-rus W

totl.net

Tele-graphis

TCMGeneDIT

TaxonConcept

Open Library (Talis)

tags2con delicious

t4gminfo

Swedish Open

Cultural Heritage

Surge Radio

RAMEAU SH

statisticsdata.gov.

St. Andrews Resource

ECS South-ampton EPrints

SSW Thesaur

SmartLink

Slideshare2RDF

semanticweb.org

SemanticTweet

Semantic XBRL

SWDog Food

Source Code Ecosystem Linked Data

US SEC (rdfabout)

Scotland Geo-

graphy

ScotlandPupils &Exams

Scholaro-meter

WordNet (RKB

Explorer)

UN/LOCODE

ECS (RKB

Explorer)

RAE2001

New-castle

LAASKISTI

Eurécom

ePrints dotAC

DEPLOY

DBLP (RKB

Explorer)

Crime Reports

Course-ware

CORDIS (RKB

Explorer)CiteSeer

Budapest

researchdata.gov.

ukRen. Energy Genera-

referencedata.gov.

Recht-spraak.

RDFohloh

Last.FM (rdfize)

RDF Book

Mashup

Rådata nå!

Product Types

Ontology

ProductDB

Poké-pédia

patentsdata.go

OxPoints

Ord-nance Survey

Openly Local

Open Library

OpenCyc

Open Corpo-rates

OpenCalais

OpenEI

Open Election

Data Project

OpenData

Thesau-rus

Ontos News Portal

OGOLOD

JanusAMP

Ocean Drilling Codices

New York

ntnusc

NTU Resource

Norwe-gian

NDL subjects

myExperi-ment

Italian Museums

medu-cator

MARC Codes List

Man-chester Reading

Lotico

Weather Stations

London Gazette

Linked Open Colors

lobidResources

lobidOrgani-sations

LinkedMDB

LinkedLCCN

LinkedGeoData

LinkedCT

LinkedUser

FeedbackLOV

Linked Open

Numbers

Eurostat (OntologyCentral)

Linked EDGAR

(OntologyCentral)

Linked Crunch-

lingvoj

Lichfield Spen-ding

LIBRIS

DBLP (L3S)

Linked Sensor Data (Kno.e.sis)

Klapp-stuhl-club

Good-win

Family

National Radio-activity

Jamendo (DBtune)

Italian public

schools

ISTAT Immi-gration

iServe

IdRef Sudoc

NSZL Catalog

Hellenic PD

Hellenic FBD

PiedmontAccomo-dations

GovTrack

GovWILD

GoogleArt

wrapper

GeoWordNet

GeoSpecies

GeoNames

GeoLinkedData

STITCH

Project Guten-berg

MediCare

Euro-stat

DrugBank

Disea-some

DBLP (FU

Berlin)

DailyMed

CORDIS(FUB)

Freebase

flickr wrappr

Fishes of Texas

Finnish Munici-palities

ChEMBL

FanHubz

EventMedia

EUTC Produc-

Eurostat

Europeana

EU Insti-

tutions

ESD stan-dards

Enipedia

Popula-tion (En-AKTing)

NHS(En-

AKTing) Mortality(En-

AKTing)

Energy (En-

AKTing)

Crime(En-

AKTing)

CO2 Emission

(En-AKTing)

education.data.g

ECS South-ampton

ECCO-TCP

Didactalia

DDC Deutsche Bio-

graphie

datadcs

MusicBrainz

(DBTune)

Magna-tune

John Peel

(DBTune)

Classical (DB

AudioScrobbler (DBTune)

Last.FM artists

(DBTune)

DBTropes

Portu-guese

DBpedia

dbpedia lite

Greek DBpedia

DBpedia

data-open-ac-uk

SMCJournals

Pokedex

Airports

NASA (Data Incu-bator)

MusicBrainz(Data

Incubator)

Moseley Folk

Metoffice Weather Forecasts

Discogs (Data

Incubator)

Climbing

data.gov.uk intervals

Data Gov.ie

databnf.fr

Cornetto

reegle

Chronic-ling

America

Chem2Bio2RDF

Calames

businessdata.gov.

Bricklink

Brazilian Poli-

ticians

UniSTS

UniPathway

UniParc

Taxonomy

UniProt(Bio2RDF)

Reactome

PubMedPub

PRO-SITE

ProDom

OMIMMGI

KEGG Reaction

KEGG Pathway

KEGG Glycan

KEGG Enzyme

KEGG Drug

KEGG Com-pound

InterPro

HomoloGene

Gene Ontology

GeneID

Affy-metrix

bible ontology

BibBase

BBC Wildlife Finder

BBC Program

mes BBC Music

Alpine Ski

Austria

Amster-dam

Museum

AGROVOC

US Census (rdfabout)

Geographic

Publications

Government

Cross-domain

Life sciences

User-generated content

Linking Open Data cloud diagram, by Richard Cyganiak and Anja Jentzsch. http://lod-cloud.net/

http://dbpedia.org

http://dbpedia.org/resource/Yokohama

http://wiki.dbpedia.org/Internationalization/Chapters

http://ja.dbpedia.org

http://ja.dbpedia.org/resource/横浜市

http://ja.dbpedia.org/page/横浜市

http://ja.dbpedia.org/data/横浜市

"横浜市"のIRI

HTML表現

データ表現

DBpediaのIRI設計

cf. http://www.w3.org/TR/cooluris/

http://ja.dbpedia.org/resource/東京都

http://ja.dbpedia.org/page/東京都

http://ja.dbpedia.org/data/東京都

"東京都"のIRI

HTML表現

データ表現

% curl -IH 'Accept: text/html' http://ja.dbpedia.org/resource/横浜市TTP/1.1 303 See OtherServer: Virtuoso/06.01.3127 (Linux) x86_64-unknown-linux-gnu Connection: closeContent-Type: text/html; charset=UTF-8Date: Fri, 25 Jan 2013 03:43:38 GMTAccept-Ranges: bytesLink: <http://mementoarchive.lanl.gov/dbpedia/timegate/http://ja.dbpedia.org/resource/横浜市>; rel="timegate"

Location: http://ja.dbpedia.org/page/横浜市Content-Length: 0

http://ja.dbpedia.org/resource/東京都

http://ja.dbpedia.org/page/東京都

http://ja.dbpedia.org/data/東京都

"東京都"のIRI

HTML表現

データ表現

% curl -IH 'Accept: text/n3' http://ja.dbpedia.org/resource/横浜市

HTTP/1.1 303 See OtherServer: Virtuoso/06.01.3127 (Linux) x86_64-unknown-linux-gnu Connection: closeDate: Fri, 25 Jan 2013 03:44:13 GMTAccept-Ranges: bytesTCN: choiceVary: negotiate,acceptContent-Location: /data/横浜市.n3

Content-Type: text/n3; qs=0.8Link: <http://mementoarchive.lanl.gov/dbpedia/timegate/http://ja.dbpedia.org/resource/横浜市>; rel="timegate"

Location: http://ja.dbpedia.org/data/横浜市.n3

Content-Length: 0

Q. DBpedia に〇〇がない

A. Wikipediaに書け

Q. DBpedia に〇〇の位置情報がない

A. Wikipedia 編集しろ

Q. DBpedia に〇〇の型やリンクがない

A. DBpedia Mappings Wiki編集しろ

http://mappings.dbpedia.org

Q. 〇〇編集したけどないんだよ！

A. 現状不定期更新．正直スマン．今年度中にWikipediaダンプが更新されたら自動更新されるようになる予定

http://linkedgeodata.org

http://linkedgeodata.org/triplify/node355845257

Q. LinkedGeoData に〇〇がない

A. OpenStreetMap 編集(ry

クエリ言語

• データの検索や操作を行うための言語• データモデルやDBシステムに合わせて設計

• 例: SQL

–データモデル: 関係モデル

–DBシステム: RDBMS

• LODのデータモデル: グラフモデル

グラフのクエリ

• グラフの最小単位: 3つ組 (トリプル)

• グラフパターン1. 完全一致

• dbp:東京都 dbp-owl:country dbp:日本 .

2. 変数によるパターンマッチ

• dbp:東京都 dbp-owl:country ?country .

3. 1と2の組み合わせ

dbp:東京都 dbp:日本dbpedia-‐owl:country

:Amy :Bob :Cathy

:Lee:May

:like :like

:dislike

:dislike :dislike

:dislike

:dislike :dislike

:dislike

好き嫌いグラフ

:Amy :Bob :Cathy

:Lee:May

:like :like

:dislike

:dislike :dislike

:dislike

:dislike :dislike

:dislike

Amyが好きな人グラフパターン:Amy :like ?person .

:Amy :Bob :Cathy

:Lee:May

:like :like

:dislike

:dislike :dislike

:dislike

:dislike :dislike

:dislike

“Amyが好きな人”が好きな人グラフパターン:Amy :like ?person1 .?person1 :like ?person2 .

SPARQL• LOD用クエリ言語

– データモデル: RDF (ラベル付き有向グラフ)

– プロトコル: HTTP

• W3C仕様

– 1.0: Recommendations

– 1.1: Working Drafts

SPARQLエンドポイント

• SPARQLクエリを受け付ける場所– SPARQLエンドポイントURI

• プログラムからSPARQLを使うときに指定

– 入力フォームがある場合もあり

DBpedia Japanese SPARQLエンドポイント

dbp-‐owl:AdministraMveRegiondbp:サイボーグ009

dbp-‐owl:ComicsCreator

dbp:宮城県

dbp:石ノ森章太郎

rdfs:label

rdf:type

rdfs:label

dbp-‐prop:生年

dbp-‐owl:notableWork

dbp-‐owl:award

dbp-‐owl:birthPlace

rdf:type

サイボーグ009

宮城県 foaf:Person

1938石ノ森章太郎

rdf:type

rdfs:labeldbp:村井嘉浩

dbp-‐owl:leaderName

DBpedia Japaneseのグラフ例

dbp:手塚治虫文化賞

dbp-‐owl:Comics

rdf:type

dbp:宮城県

rdfs:label

rdf:type

rdfs:label

dbp-‐prop:生年

dbp-‐owl:award

rdf:type

サイボーグ009

rdf:type

dbp-‐owl:Comics

rdf:type

クエリ: 石ノ森章太郎の出身地PREFIX dbp: <hYp://ja.dbpedia.org/resource/>PREFIX dbp-‐owl: <hYp://dbpedia.org/ontology/>

SELECT ?birthPlaceWHERE { dbp:石ノ森章太郎 dbp-‐owl:birthPlace ?birthPlace .

• SELECT: 取得したい変数を指定• SELECT * は全ての変数指定と同等• 結果形式: XML, JSON, CSV, TSV, ...

• WHERE: {}内にグラフパターンの組み合わせを記述• LIMIT: 件数の制限• 100だと1-‐100まで取得• LIMITがない場合は全件取得• 量が多い場合はサーバに負荷をかけるので注意

• PREFIX: URIを短縮して記述するための仕組み• dbp:東京都 = <hYp://ja.dbpedia.org/resource/東京都>

PREFIX dbp: <hYp://ja.dbpedia.org/resource/>PREFIX dbp-‐owl: <hYp://dbpedia.org/ontology/>

SELECT ?birthPlaceWHERE { dbp:石ノ森章太郎 dbp-‐owl:birthPlace ?birthPlace .

dbp:宮城県

rdfs:label

rdf:type

rdfs:label

dbp-‐prop:生年

dbp-‐owl:award

rdf:type

サイボーグ009

rdf:type

dbp-‐owl:Comics

rdf:type

クエリ: 手塚治虫文化賞を受賞した漫画家PREFIX dbp: <hYp://ja.dbpedia.org/resource/>PREFIX dbp-‐owl: <hYp://dbpedia.org/ontology/>

SELECT ?creatorWHERE { ?creator rdf:type dbp-‐owl:ComicsCreator ; dbp-‐owl:award dbp:手塚治虫文化賞 .

dbp:宮城県

rdfs:label

rdf:type

rdfs:label

dbp-‐prop:生年

dbp-‐owl:award

rdf:type

サイボーグ009

rdf:type

dbp-‐owl:Comics

rdf:type

クエリ: 手塚治虫文化賞を受賞した漫画家の代表的な漫画PREFIX dbp: <hYp://ja.dbpedia.org/resource/>PREFIX dbp-‐owl: <hYp://dbpedia.org/ontology/>

SELECT ?creatorName ?comicNameWHERE { ?creator a dbp-‐owl:ComicsCreator ; dbp-‐owl:award dbp:手塚治虫文化賞 ;

dbp-‐owl:notableWork ?comic ; rdfs:label ?creatorName . ?comic a dbp-‐owl:Comics ; rdfs:label ?comicName .}

石ノ森章太郎

SPARQL 1.0• データ取得・検索– SELECT

–ASK

–CONSTRUCT

–DESCRIBE

• どこでもほぼ使用可能

SELECT

例) 任意の3つ組を100件取得

SELECT ?s ?p ?o

WHERE {

?s ?p ?o .

LIMIT 100

ASK• ASK: グラフパターンにマッチするものがあるか• 結果yes か no

例) 石ノ森章太郎の出身地が含まれているかどうかPREFIX dbp: <hYp://ja.dbpedia.org/resource/>PREFIX dbp-‐owl: <hYp://dbpedia.org/ontology/>

ASK WHERE { dbp:石ノ森章太郎 dbp-‐owl:birthPlace ?birthPlace .

CONSTRUCT• CONSTRUCT: 新しいグラフを作成して取得• 結果形式: RDF/XML, Turtle, …

例) foaf:nameプロパティの3つ組をそのまま取得PREFIX foaf: <hYp://xmlns.com/foaf/0.1/>

CONSTRUCT { ?s foaf:name ?o .}WHERE { ?s foaf:name ?o .}

DESCRIBE• DESCRIBE: リソースに関するグラフを取得• 実装依存• 多くの場合は対象リソースを直接含む3つ組の集合• 結果形式: RDF/XML, Turtle, …

例) http://ja.dbpedia.org/resource/横浜市に関するグラフを取得DESCRIBE <http://ja.dbpedia.org/resource/横浜市>

SPARQL 1.1• データ作成・更新・削除

‒ INSERT / UPDATE / DELETE / LOAD / DROP

• 様々な機能追加

‒ プロパティパス，集約，条件，数値関数，文字列関数，サブクエリ，Federatedクエリなど

• 実装に差あり

SPARQL Endpointリスト

• http://www.w3.org/wiki/SparqlEndpoints

• http://ckan.net/dataset?res_format=api%2Fsparql&q=sparql

• http://labs.mondeca.com/sparqlEndpointsStatus/

http://thedatahub.org/dataset?res_format=api%2Fsparql

公開SPARQLエンドポイントの状態確認サイト

http://labs.mondeca.com/sparqlEndpointsStatus/

http://lod.ac/apps/lodac_location/58

SPARQLクエリ例

• https://docs.google.com/document/d/1P-bZzbuEevNxEuAfjpcARxagVJf1ajuC-aDUabJ-Sw0/edit

ツール・ライブラリまとめhttp://linkeddata.jp/wiki/ツール

linked open data 基礎

Technology

linked open data: cnr

linked open data and american art

open data meti linked open data

linked open data business

linked open hotel 06.03.13

도서관 linked open data의 필요성

linked open data （lod）の基礎講座

open data and linked data

linked open data & semantic web

linked open data in bibliotheken

web semàntic i linked open data

linked open data annual conference

open data & linked data

bibliotheken und linked open data

linked open data チャレンジ

open data, datasharing, sematic web, linked open data

linked open data技術

linked open (meta)data

linked open (library) data

linked open data / atvērtie saistītie dati