betreutvonprof.klaus-peterfähnrich dissertations ...jens-lehmann.org/files/2010/phd_defense.pdf ·...

82
Learning OWL Class Expressions betreut von Prof. Klaus-Peter Fähnrich Dissertations-Verteidigungsvortrag Dipl.-Inf. Jens Lehmann 9. Juni 2010 Jens Lehmann (Universität Leipzig) Learning OWL Class Expressions 9. Juni 2010 1 / 56

Upload: others

Post on 12-Oct-2020

0 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: betreutvonProf.Klaus-PeterFähnrich Dissertations ...jens-lehmann.org/files/2010/phd_defense.pdf · LearningOWLClassExpressions betreutvonProf.Klaus-PeterFähnrich Dissertations-Verteidigungsvortrag

Learning OWL Class Expressionsbetreut von Prof. Klaus-Peter Fähnrich

Dissertations-Verteidigungsvortrag

Dipl.-Inf. Jens Lehmann

9. Juni 2010

Jens Lehmann (Universität Leipzig) Learning OWL Class Expressions 9. Juni 2010 1 / 56

Page 2: betreutvonProf.Klaus-PeterFähnrich Dissertations ...jens-lehmann.org/files/2010/phd_defense.pdf · LearningOWLClassExpressions betreutvonProf.Klaus-PeterFähnrich Dissertations-Verteidigungsvortrag

Was bedeutet “Learning OWL Class Expressions”?

gegeben:Hintergrundwissen (speziell: OWL/DL Wissensbasis)positive und negative Beispiele (speziell: Objekte in Wissensbasis)

gesucht:logische Formel (speziell: OWL Class Expression), die möglichst allepositiven und keines der negativen Beispiele abdeckt

Prof. FähnrichDr. Auer

Tim Berners-LeeRichard Wagner

Hintergrundwissen

Researcher and affiliation hasValue UniversitätLeipzig

Jens Lehmann (Universität Leipzig) Learning OWL Class Expressions 9. Juni 2010 2 / 56

Page 3: betreutvonProf.Klaus-PeterFähnrich Dissertations ...jens-lehmann.org/files/2010/phd_defense.pdf · LearningOWLClassExpressions betreutvonProf.Klaus-PeterFähnrich Dissertations-Verteidigungsvortrag

Gliederung

1 Motivation

2 Überblick zu Beschreibungslogiken und OWL

3 Refinementoperatoren in OWL/DLsTheoretische ErkenntnisseEntwicklung von Refinementoperatoren

4 Lernalgorithmen auf Basis von Refinement-OperatorenOCELSkalierbarkeit

5 Evaluation

6 Implementierung und Anwendung

7 Zusammenfassung und weitere Arbeit

Jens Lehmann (Universität Leipzig) Learning OWL Class Expressions 9. Juni 2010 3 / 56

Page 4: betreutvonProf.Klaus-PeterFähnrich Dissertations ...jens-lehmann.org/files/2010/phd_defense.pdf · LearningOWLClassExpressions betreutvonProf.Klaus-PeterFähnrich Dissertations-Verteidigungsvortrag

Gliederung

1 Motivation

2 Überblick zu Beschreibungslogiken und OWL

3 Refinementoperatoren in OWL/DLsTheoretische ErkenntnisseEntwicklung von Refinementoperatoren

4 Lernalgorithmen auf Basis von Refinement-OperatorenOCELSkalierbarkeit

5 Evaluation

6 Implementierung und Anwendung

7 Zusammenfassung und weitere Arbeit

Jens Lehmann (Universität Leipzig) Learning OWL Class Expressions 9. Juni 2010 4 / 56

Page 5: betreutvonProf.Klaus-PeterFähnrich Dissertations ...jens-lehmann.org/files/2010/phd_defense.pdf · LearningOWLClassExpressions betreutvonProf.Klaus-PeterFähnrich Dissertations-Verteidigungsvortrag

Motivation - Forschungsperspektive

Prädikatenlogik

Horn-Logik

Beschreibungs-

Learning OWLClass Expressions

Inductive Logic Programming

OWLLogik

ML-Problem

überwacht

Konzept-Lernen

Induktion

symbolisch

seit Anfang 90er Jahre Induktive Logikprogrammierungnur wenige Ansätze basieren auf BeschreibungslogikenWeb Ontology Language (OWL) wird 2004 W3C-Standardsteigende Anzahl von RDF/OWL Wissensbasen, aber ILP noch starkauf Logikprogrammierung fixiert Forschungslücke

Jens Lehmann (Universität Leipzig) Learning OWL Class Expressions 9. Juni 2010 5 / 56

Page 6: betreutvonProf.Klaus-PeterFähnrich Dissertations ...jens-lehmann.org/files/2010/phd_defense.pdf · LearningOWLClassExpressions betreutvonProf.Klaus-PeterFähnrich Dissertations-Verteidigungsvortrag

Motivation - Anwendungsperspektive

Ontology-Engineering schwierig und einHauptproblem im Semantic Web

Domänenexperten oft keineOntologie-Expertenhalbautomatische Hilfsmethoden zurKonstruktion ausdrucksstarker Ontologien

Verbesserung von Lösungen existierenderLernproblemedirekte Nutzung des Wissens im SemanticWeb statt Konvertierung um ML-Werkzeugeanwenden zu können

Ontologienetzwerk

Machine LearningProbleme

Jens Lehmann (Universität Leipzig) Learning OWL Class Expressions 9. Juni 2010 6 / 56

Page 7: betreutvonProf.Klaus-PeterFähnrich Dissertations ...jens-lehmann.org/files/2010/phd_defense.pdf · LearningOWLClassExpressions betreutvonProf.Klaus-PeterFähnrich Dissertations-Verteidigungsvortrag

Gliederung

1 Motivation

2 Überblick zu Beschreibungslogiken und OWL

3 Refinementoperatoren in OWL/DLsTheoretische ErkenntnisseEntwicklung von Refinementoperatoren

4 Lernalgorithmen auf Basis von Refinement-OperatorenOCELSkalierbarkeit

5 Evaluation

6 Implementierung und Anwendung

7 Zusammenfassung und weitere Arbeit

Jens Lehmann (Universität Leipzig) Learning OWL Class Expressions 9. Juni 2010 7 / 56

Page 8: betreutvonProf.Klaus-PeterFähnrich Dissertations ...jens-lehmann.org/files/2010/phd_defense.pdf · LearningOWLClassExpressions betreutvonProf.Klaus-PeterFähnrich Dissertations-Verteidigungsvortrag

Kurzeinführung zu OWL/DLs

Description Logics: Familie von Sprachen zur WissensrepräsentationFragmente der Prädikationlogikweniger ausdrucksstark als Prädikatenlogik, aber in der Regelentscheidbare Inferenzproblemeintuitive variablenfreie Syntax

Basis der Ontologiesprache OWLOWL steht für Web Ontology LanguageW3C recommendation seit 2004 (OWL 2 seit 2009)

Jens Lehmann (Universität Leipzig) Learning OWL Class Expressions 9. Juni 2010 8 / 56

Page 9: betreutvonProf.Klaus-PeterFähnrich Dissertations ...jens-lehmann.org/files/2010/phd_defense.pdf · LearningOWLClassExpressions betreutvonProf.Klaus-PeterFähnrich Dissertations-Verteidigungsvortrag

Kurzeinführung zu OWL/DLs

Description Logics: Familie von Sprachen zur WissensrepräsentationFragmente der Prädikationlogikweniger ausdrucksstark als Prädikatenlogik, aber in der Regelentscheidbare Inferenzproblemeintuitive variablenfreie SyntaxBasis der Ontologiesprache OWLOWL steht für Web Ontology LanguageW3C recommendation seit 2004 (OWL 2 seit 2009)

Jens Lehmann (Universität Leipzig) Learning OWL Class Expressions 9. Juni 2010 8 / 56

Page 10: betreutvonProf.Klaus-PeterFähnrich Dissertations ...jens-lehmann.org/files/2010/phd_defense.pdf · LearningOWLClassExpressions betreutvonProf.Klaus-PeterFähnrich Dissertations-Verteidigungsvortrag

Grundstrukturen in OWL/DLs

Repräsentation von Wissen mit Rollen, Konzepten und Objekten

Objekte/Individuenentsprechen KonstantenBeispiele: MARIA, LEIPZIG

Konzepte/Klassenentsprechen einstelligen PrädikatenMenge von ObjektenBeispiele: Student, Auto, Land

Rollen/Propertiesentsprechen zweistelligen Prädikatenbeschreiben Verbindung zwischen ObjektenBeispiele: hatKind, istTeilVon

können zu (komplexen) Konzepten kombiniert werden, z.B.:Kind u ∃hatElternteil.Professor

komplexes Konzept =̂ OWL Class Expression

Jens Lehmann (Universität Leipzig) Learning OWL Class Expressions 9. Juni 2010 9 / 56

Page 11: betreutvonProf.Klaus-PeterFähnrich Dissertations ...jens-lehmann.org/files/2010/phd_defense.pdf · LearningOWLClassExpressions betreutvonProf.Klaus-PeterFähnrich Dissertations-Verteidigungsvortrag

Grundstrukturen in OWL/DLs

Repräsentation von Wissen mit Rollen, Konzepten und ObjektenObjekte/Individuen

entsprechen KonstantenBeispiele: MARIA, LEIPZIG

Konzepte/Klassenentsprechen einstelligen PrädikatenMenge von ObjektenBeispiele: Student, Auto, Land

Rollen/Propertiesentsprechen zweistelligen Prädikatenbeschreiben Verbindung zwischen ObjektenBeispiele: hatKind, istTeilVon

können zu (komplexen) Konzepten kombiniert werden, z.B.:Kind u ∃hatElternteil.Professor

komplexes Konzept =̂ OWL Class Expression

Jens Lehmann (Universität Leipzig) Learning OWL Class Expressions 9. Juni 2010 9 / 56

Page 12: betreutvonProf.Klaus-PeterFähnrich Dissertations ...jens-lehmann.org/files/2010/phd_defense.pdf · LearningOWLClassExpressions betreutvonProf.Klaus-PeterFähnrich Dissertations-Verteidigungsvortrag

Grundstrukturen in OWL/DLs

Repräsentation von Wissen mit Rollen, Konzepten und ObjektenObjekte/Individuen

entsprechen KonstantenBeispiele: MARIA, LEIPZIG

Konzepte/Klassenentsprechen einstelligen PrädikatenMenge von ObjektenBeispiele: Student, Auto, Land

Rollen/Propertiesentsprechen zweistelligen Prädikatenbeschreiben Verbindung zwischen ObjektenBeispiele: hatKind, istTeilVon

können zu (komplexen) Konzepten kombiniert werden, z.B.:Kind u ∃hatElternteil.Professor

komplexes Konzept =̂ OWL Class Expression

Jens Lehmann (Universität Leipzig) Learning OWL Class Expressions 9. Juni 2010 9 / 56

Page 13: betreutvonProf.Klaus-PeterFähnrich Dissertations ...jens-lehmann.org/files/2010/phd_defense.pdf · LearningOWLClassExpressions betreutvonProf.Klaus-PeterFähnrich Dissertations-Verteidigungsvortrag

Grundstrukturen in OWL/DLs

Repräsentation von Wissen mit Rollen, Konzepten und ObjektenObjekte/Individuen

entsprechen KonstantenBeispiele: MARIA, LEIPZIG

Konzepte/Klassenentsprechen einstelligen PrädikatenMenge von ObjektenBeispiele: Student, Auto, Land

Rollen/Propertiesentsprechen zweistelligen Prädikatenbeschreiben Verbindung zwischen ObjektenBeispiele: hatKind, istTeilVon

können zu (komplexen) Konzepten kombiniert werden, z.B.:Kind u ∃hatElternteil.Professor

komplexes Konzept =̂ OWL Class Expression

Jens Lehmann (Universität Leipzig) Learning OWL Class Expressions 9. Juni 2010 9 / 56

Page 14: betreutvonProf.Klaus-PeterFähnrich Dissertations ...jens-lehmann.org/files/2010/phd_defense.pdf · LearningOWLClassExpressions betreutvonProf.Klaus-PeterFähnrich Dissertations-Verteidigungsvortrag

Grundstrukturen in OWL/DLs

Repräsentation von Wissen mit Rollen, Konzepten und ObjektenObjekte/Individuen

entsprechen KonstantenBeispiele: MARIA, LEIPZIG

Konzepte/Klassenentsprechen einstelligen PrädikatenMenge von ObjektenBeispiele: Student, Auto, Land

Rollen/Propertiesentsprechen zweistelligen Prädikatenbeschreiben Verbindung zwischen ObjektenBeispiele: hatKind, istTeilVon

können zu (komplexen) Konzepten kombiniert werden, z.B.:Kind u ∃hatElternteil.Professor

komplexes Konzept =̂ OWL Class Expression

Jens Lehmann (Universität Leipzig) Learning OWL Class Expressions 9. Juni 2010 9 / 56

Page 15: betreutvonProf.Klaus-PeterFähnrich Dissertations ...jens-lehmann.org/files/2010/phd_defense.pdf · LearningOWLClassExpressions betreutvonProf.Klaus-PeterFähnrich Dissertations-Verteidigungsvortrag

Wissensbasen

Eine DL-Wissensbasis hat folgende Struktur:

WissensbasisTBox T (Terminologie/Schema)

, z.B.Student ≡ Person u ∃studiertAn.UniversitätDoktorand v ∃arbeitetAn.(Universität t Hochschule)

ABox A (“assertions”/Instanzdaten)

, z.B.Doktorand(SEBASTIAN)arbeitetAn(SEBASTIAN, LEIPZIG_UNIVERSITÄT)

Jens Lehmann (Universität Leipzig) Learning OWL Class Expressions 9. Juni 2010 10 / 56

Page 16: betreutvonProf.Klaus-PeterFähnrich Dissertations ...jens-lehmann.org/files/2010/phd_defense.pdf · LearningOWLClassExpressions betreutvonProf.Klaus-PeterFähnrich Dissertations-Verteidigungsvortrag

Wissensbasen

Eine DL-Wissensbasis hat folgende Struktur:

WissensbasisTBox T (Terminologie/Schema), z.B.Student ≡ Person u ∃studiertAn.UniversitätDoktorand v ∃arbeitetAn.(Universität t Hochschule)

ABox A (“assertions”/Instanzdaten)

, z.B.Doktorand(SEBASTIAN)arbeitetAn(SEBASTIAN, LEIPZIG_UNIVERSITÄT)

Jens Lehmann (Universität Leipzig) Learning OWL Class Expressions 9. Juni 2010 10 / 56

Page 17: betreutvonProf.Klaus-PeterFähnrich Dissertations ...jens-lehmann.org/files/2010/phd_defense.pdf · LearningOWLClassExpressions betreutvonProf.Klaus-PeterFähnrich Dissertations-Verteidigungsvortrag

Wissensbasen

Eine DL-Wissensbasis hat folgende Struktur:

WissensbasisTBox T (Terminologie/Schema), z.B.Student ≡ Person u ∃studiertAn.UniversitätDoktorand v ∃arbeitetAn.(Universität t Hochschule)

ABox A (“assertions”/Instanzdaten), z.B.Doktorand(SEBASTIAN)arbeitetAn(SEBASTIAN, LEIPZIG_UNIVERSITÄT)

Jens Lehmann (Universität Leipzig) Learning OWL Class Expressions 9. Juni 2010 10 / 56

Page 18: betreutvonProf.Klaus-PeterFähnrich Dissertations ...jens-lehmann.org/files/2010/phd_defense.pdf · LearningOWLClassExpressions betreutvonProf.Klaus-PeterFähnrich Dissertations-Verteidigungsvortrag

Gliederung

1 Motivation

2 Überblick zu Beschreibungslogiken und OWL

3 Refinementoperatoren in OWL/DLsTheoretische ErkenntnisseEntwicklung von Refinementoperatoren

4 Lernalgorithmen auf Basis von Refinement-OperatorenOCELSkalierbarkeit

5 Evaluation

6 Implementierung und Anwendung

7 Zusammenfassung und weitere Arbeit

Jens Lehmann (Universität Leipzig) Learning OWL Class Expressions 9. Juni 2010 11 / 56

Page 19: betreutvonProf.Klaus-PeterFähnrich Dissertations ...jens-lehmann.org/files/2010/phd_defense.pdf · LearningOWLClassExpressions betreutvonProf.Klaus-PeterFähnrich Dissertations-Verteidigungsvortrag

Refinementoperator - Definition

gegeben sei eine DL L und eine quasi-geordneten Raum 〈C(L),vT 〉über Konzepten in Lρ : C(L)→ 2C(L) ist ein downward L refinement operator wenn füralle C ∈ C(L) gilt:

D ∈ ρ(C) impliziert D vT C

Notation: oft C ρ D statt D ∈ ρ(C)

Refinementkette (refinement chain):

> ρ Person ρ Mann ρ Mann u ∃hatKind.>

Jens Lehmann (Universität Leipzig) Learning OWL Class Expressions 9. Juni 2010 12 / 56

Page 20: betreutvonProf.Klaus-PeterFähnrich Dissertations ...jens-lehmann.org/files/2010/phd_defense.pdf · LearningOWLClassExpressions betreutvonProf.Klaus-PeterFähnrich Dissertations-Verteidigungsvortrag

Lernen mit Refinementoperatoren

> Start mitallgemeinstemKonzept (top down)

Jens Lehmann (Universität Leipzig) Learning OWL Class Expressions 9. Juni 2010 13 / 56

Page 21: betreutvonProf.Klaus-PeterFähnrich Dissertations ...jens-lehmann.org/files/2010/phd_defense.pdf · LearningOWLClassExpressions betreutvonProf.Klaus-PeterFähnrich Dissertations-Verteidigungsvortrag

Lernen mit Refinementoperatoren

>

Auto . . .Person

Start mitallgemeinstemKonzept (top down)Operatorspezialisiert

Jens Lehmann (Universität Leipzig) Learning OWL Class Expressions 9. Juni 2010 14 / 56

Page 22: betreutvonProf.Klaus-PeterFähnrich Dissertations ...jens-lehmann.org/files/2010/phd_defense.pdf · LearningOWLClassExpressions betreutvonProf.Klaus-PeterFähnrich Dissertations-Verteidigungsvortrag

Lernen mit Refinementoperatoren

>

Auto . . .Person

0,45

too weak 0,73

Start mitallgemeinstemKonzept (top down)OperatorspezialisiertHeuristik bewertetunter Nutzung vonpos/neg Beispielen

Jens Lehmann (Universität Leipzig) Learning OWL Class Expressions 9. Juni 2010 15 / 56

Page 23: betreutvonProf.Klaus-PeterFähnrich Dissertations ...jens-lehmann.org/files/2010/phd_defense.pdf · LearningOWLClassExpressions betreutvonProf.Klaus-PeterFähnrich Dissertations-Verteidigungsvortrag

Lernen mit Refinementoperatoren

>

Auto . . .Person

Person u ∃ besucht.> . . .

0,45

too weak 0,73

0,78

Start mitallgemeinstemKonzept (top down)OperatorspezialisiertHeuristik bewertetunter Nutzung vonpos/neg BeispielenFortsetzung bisAbbruchkriterium

Jens Lehmann (Universität Leipzig) Learning OWL Class Expressions 9. Juni 2010 16 / 56

Page 24: betreutvonProf.Klaus-PeterFähnrich Dissertations ...jens-lehmann.org/files/2010/phd_defense.pdf · LearningOWLClassExpressions betreutvonProf.Klaus-PeterFähnrich Dissertations-Verteidigungsvortrag

Lernen mit Refinementoperatoren

>

Auto . . .Person

Person u ∃ besucht.>

. . .

. . .

Person u ∃ besucht.Verteidigung

0,45

too weak 0,73

0,78

0,97

Start mitallgemeinstemKonzept (top down)OperatorspezialisiertHeuristik bewertetunter Nutzung vonpos/neg BeispielenFortsetzung bisAbbruchkriterium

=Lernalgorithmus

Jens Lehmann (Universität Leipzig) Learning OWL Class Expressions 9. Juni 2010 17 / 56

Page 25: betreutvonProf.Klaus-PeterFähnrich Dissertations ...jens-lehmann.org/files/2010/phd_defense.pdf · LearningOWLClassExpressions betreutvonProf.Klaus-PeterFähnrich Dissertations-Verteidigungsvortrag

Eigenschaften von RefinementoperatorenEin L downward refinement operator ρ ist

finite (endlich) falls ρ(C) für jedes C ∈ C(L) endlich ist

redundant falls mehrere ρ-Refinementketten von einem Konzept C zueinem Konzept D existierenproper (echt) falls C ρ D impliziert C 6≡T Dcomplete (vollständig) falls es für alle C ,D ∈ C(L) mit D @T C einKonzept E ≡T D mit C ρ · · · ρ E gibtweakly complete (schwach vollständig) falls für alle C ∈ C(L) mitC @T > ein Konzept D ≡ C mit > ρ · · · ρ D gibtideal = vollständig + echt + endlich

Jens Lehmann (Universität Leipzig) Learning OWL Class Expressions 9. Juni 2010 18 / 56

Page 26: betreutvonProf.Klaus-PeterFähnrich Dissertations ...jens-lehmann.org/files/2010/phd_defense.pdf · LearningOWLClassExpressions betreutvonProf.Klaus-PeterFähnrich Dissertations-Verteidigungsvortrag

Eigenschaften von RefinementoperatorenEin L downward refinement operator ρ ist

finite (endlich) falls ρ(C) für jedes C ∈ C(L) endlich istredundant falls mehrere ρ-Refinementketten von einem Konzept C zueinem Konzept D existieren

proper (echt) falls C ρ D impliziert C 6≡T Dcomplete (vollständig) falls es für alle C ,D ∈ C(L) mit D @T C einKonzept E ≡T D mit C ρ · · · ρ E gibtweakly complete (schwach vollständig) falls für alle C ∈ C(L) mitC @T > ein Konzept D ≡ C mit > ρ · · · ρ D gibtideal = vollständig + echt + endlich

Jens Lehmann (Universität Leipzig) Learning OWL Class Expressions 9. Juni 2010 18 / 56

Page 27: betreutvonProf.Klaus-PeterFähnrich Dissertations ...jens-lehmann.org/files/2010/phd_defense.pdf · LearningOWLClassExpressions betreutvonProf.Klaus-PeterFähnrich Dissertations-Verteidigungsvortrag

Eigenschaften von RefinementoperatorenEin L downward refinement operator ρ ist

finite (endlich) falls ρ(C) für jedes C ∈ C(L) endlich istredundant falls mehrere ρ-Refinementketten von einem Konzept C zueinem Konzept D existierenproper (echt) falls C ρ D impliziert C 6≡T D

complete (vollständig) falls es für alle C ,D ∈ C(L) mit D @T C einKonzept E ≡T D mit C ρ · · · ρ E gibtweakly complete (schwach vollständig) falls für alle C ∈ C(L) mitC @T > ein Konzept D ≡ C mit > ρ · · · ρ D gibtideal = vollständig + echt + endlich

Jens Lehmann (Universität Leipzig) Learning OWL Class Expressions 9. Juni 2010 18 / 56

Page 28: betreutvonProf.Klaus-PeterFähnrich Dissertations ...jens-lehmann.org/files/2010/phd_defense.pdf · LearningOWLClassExpressions betreutvonProf.Klaus-PeterFähnrich Dissertations-Verteidigungsvortrag

Eigenschaften von RefinementoperatorenEin L downward refinement operator ρ ist

finite (endlich) falls ρ(C) für jedes C ∈ C(L) endlich istredundant falls mehrere ρ-Refinementketten von einem Konzept C zueinem Konzept D existierenproper (echt) falls C ρ D impliziert C 6≡T Dcomplete (vollständig) falls es für alle C ,D ∈ C(L) mit D @T C einKonzept E ≡T D mit C ρ · · · ρ E gibtweakly complete (schwach vollständig) falls für alle C ∈ C(L) mitC @T > ein Konzept D ≡ C mit > ρ · · · ρ D gibt

ideal = vollständig + echt + endlich

Jens Lehmann (Universität Leipzig) Learning OWL Class Expressions 9. Juni 2010 18 / 56

Page 29: betreutvonProf.Klaus-PeterFähnrich Dissertations ...jens-lehmann.org/files/2010/phd_defense.pdf · LearningOWLClassExpressions betreutvonProf.Klaus-PeterFähnrich Dissertations-Verteidigungsvortrag

Eigenschaften von RefinementoperatorenEin L downward refinement operator ρ ist

finite (endlich) falls ρ(C) für jedes C ∈ C(L) endlich istredundant falls mehrere ρ-Refinementketten von einem Konzept C zueinem Konzept D existierenproper (echt) falls C ρ D impliziert C 6≡T Dcomplete (vollständig) falls es für alle C ,D ∈ C(L) mit D @T C einKonzept E ≡T D mit C ρ · · · ρ E gibtweakly complete (schwach vollständig) falls für alle C ∈ C(L) mitC @T > ein Konzept D ≡ C mit > ρ · · · ρ D gibtideal = vollständig + echt + endlich

Jens Lehmann (Universität Leipzig) Learning OWL Class Expressions 9. Juni 2010 18 / 56

Page 30: betreutvonProf.Klaus-PeterFähnrich Dissertations ...jens-lehmann.org/files/2010/phd_defense.pdf · LearningOWLClassExpressions betreutvonProf.Klaus-PeterFähnrich Dissertations-Verteidigungsvortrag

Eigenschaften von Refinementoperatoren

Eigenschaft Effektunvollständig Verpassen von Lösungenredundant doppelte Teilbäume,

schlechtere Performanceunecht schlechtere Performanceunendlich Refinementberechnung

terminiert nicht immer

Schlüsselfrage: Welche Eigenschaften können kombiniert werden?

Jens Lehmann (Universität Leipzig) Learning OWL Class Expressions 9. Juni 2010 19 / 56

Page 31: betreutvonProf.Klaus-PeterFähnrich Dissertations ...jens-lehmann.org/files/2010/phd_defense.pdf · LearningOWLClassExpressions betreutvonProf.Klaus-PeterFähnrich Dissertations-Verteidigungsvortrag

Theorem zu Eigenschaften von L Refinementoperatoren

Theorem

Maximale kombinierbare Mengen von Eigenschaften von LRefinementoperatoren für L ∈ {ALC,ALCN ,SHOIN ,SROIQ} sind:

1 {schwach vollständig, vollständig, endlich}2 {schwach vollständig, vollständig, echt}3 {schwach vollständig, nicht-redundant, endlich}4 {schwach vollständig, nicht-redundant, echt}5 {nicht-redundant, endlich, echt}

Jens Lehmann (Universität Leipzig) Learning OWL Class Expressions 9. Juni 2010 20 / 56

“Concept Learning in Description Logics Using Refinement Operators”,J. Lehmann, P. Hitzler, Machine Learning journal, 2010

“Foundations of Refinement Operators for Description Logics”,J. Lehmann, P. Hitzler, ILP conference, 2008

Page 32: betreutvonProf.Klaus-PeterFähnrich Dissertations ...jens-lehmann.org/files/2010/phd_defense.pdf · LearningOWLClassExpressions betreutvonProf.Klaus-PeterFähnrich Dissertations-Verteidigungsvortrag

Theorem zu Eigenschaften von L Refinementoperatoren

keine idealen Operatoren in OWL und den meistenBeschreibungslogiken außer EL-FamilieTheorem widerlegt teilweise vorher publizierte ResultateIndikator dafür dass Lernen in DLs schwierig istAlgorithmen sollten Maßnahmen ergreifen um Nachteile derOperatoren auszugleichenZiel 1: Entwicklung eines OWL Refinementoperators nahe antheoretischen BeschränkungenZiel 2: effizienter idealer Refinementoperator für leichtgewichtige ELBeschreibungslogik

Jens Lehmann (Universität Leipzig) Learning OWL Class Expressions 9. Juni 2010 21 / 56

Page 33: betreutvonProf.Klaus-PeterFähnrich Dissertations ...jens-lehmann.org/files/2010/phd_defense.pdf · LearningOWLClassExpressions betreutvonProf.Klaus-PeterFähnrich Dissertations-Verteidigungsvortrag

Definition von ρ

ρ(C) =

{{⊥} ∪ ρ>(C) if C = >ρ>(C) otherwise

ρB (C) =

∅ if C = ⊥{C1 t · · · t Cn | Ci ∈ MB (1 ≤ i ≤ n)} if C = >{A′ | A′ ∈ sh↓(A)} if C = A (A ∈ NC )

∪{A u D | D ∈ ρB (>)}{¬A′ | A′ ∈ sh↑(A)} if C = ¬A (A ∈ NC )

∪{¬A u D | D ∈ ρB (>)}{∃r.E | A = ar(r), E ∈ ρA(D)} if C = ∃r.D∪ {∃r.D u E | E ∈ ρB (>)}∪ {∃s.D | s ∈ sh↓(r)}

{∀r.E | A = ar(r), E ∈ ρA(D)} if C = ∀r.D∪ {∀r.D u E | E ∈ ρB (>)}∪ {∀r.⊥ |

D = A ∈ NC and sh↓(A) = ∅}∪ {∀s.D | s ∈ sh↓(r)}

{C1 u · · · u Ci−1 u D u Ci+1 u · · · u Cn | if C = C1 u · · · u CnD ∈ ρB (Ci ), 1 ≤ i ≤ n} (n ≥ 2)

{C1 t · · · t Ci−1 t D t Ci+1 t · · · t Cn | if C = C1 t · · · t CnD ∈ ρB (Ci ), 1 ≤ i ≤ n} (n ≥ 2)

∪ {(C1 t · · · t Cn) u D |D ∈ ρB (>)}

Basisoperator (Auszug)

Jens Lehmann (Universität Leipzig) Learning OWL Class Expressions 9. Juni 2010 22 / 56

Page 34: betreutvonProf.Klaus-PeterFähnrich Dissertations ...jens-lehmann.org/files/2010/phd_defense.pdf · LearningOWLClassExpressions betreutvonProf.Klaus-PeterFähnrich Dissertations-Verteidigungsvortrag

Definition von ρ

ρ(C) =

{{⊥} ∪ ρ>(C) if C = >ρ>(C) otherwise

ρB (C) =

∅ if C = ⊥{C1 t · · · t Cn | Ci ∈ MB (1 ≤ i ≤ n)} if C = >{A′ | A′ ∈ sh↓(A)} if C = A (A ∈ NC )

∪{A u D | D ∈ ρB (>)}{¬A′ | A′ ∈ sh↑(A)} if C = ¬A (A ∈ NC )

∪{¬A u D | D ∈ ρB (>)}{∃r.E | A = ar(r), E ∈ ρA(D)} if C = ∃r.D∪ {∃r.D u E | E ∈ ρB (>)}∪ {∃s.D | s ∈ sh↓(r)}

{∀r.E | A = ar(r), E ∈ ρA(D)} if C = ∀r.D∪ {∀r.D u E | E ∈ ρB (>)}∪ {∀r.⊥ |

D = A ∈ NC and sh↓(A) = ∅}∪ {∀s.D | s ∈ sh↓(r)}

{C1 u · · · u Ci−1 u D u Ci+1 u · · · u Cn | if C = C1 u · · · u CnD ∈ ρB (Ci ), 1 ≤ i ≤ n} (n ≥ 2)

{C1 t · · · t Ci−1 t D t Ci+1 t · · · t Cn | if C = C1 t · · · t CnD ∈ ρB (Ci ), 1 ≤ i ≤ n} (n ≥ 2)

∪ {(C1 t · · · t Cn) u D |D ∈ ρB (>)}

Basisoperator (Auszug)

Jens Lehmann (Universität Leipzig) Learning OWL Class Expressions 9. Juni 2010 22 / 56

Page 35: betreutvonProf.Klaus-PeterFähnrich Dissertations ...jens-lehmann.org/files/2010/phd_defense.pdf · LearningOWLClassExpressions betreutvonProf.Klaus-PeterFähnrich Dissertations-Verteidigungsvortrag

Definition von ρ

{∃r .E | A = ar(r),E ∈ ρA(D)} if C = ∃r .D∪ {∃r .D u E | E ∈ ρB(>)}

∪ {∃s.D | s ∈ sh↓(r)}

Beispiele:

∃nimmtTeilAn.SozialeZusammenkunft

∃nimmtTeilAn.Meeting

Student u ∃nimmtTeilAn.SozialeZusammenkunft

∃leitet.SozialeZusammenkunft

Jens Lehmann (Universität Leipzig) Learning OWL Class Expressions 9. Juni 2010 23 / 56

Page 36: betreutvonProf.Klaus-PeterFähnrich Dissertations ...jens-lehmann.org/files/2010/phd_defense.pdf · LearningOWLClassExpressions betreutvonProf.Klaus-PeterFähnrich Dissertations-Verteidigungsvortrag

Definition von ρ

{∃r .E | A = ar(r),E ∈ ρA(D)} if C = ∃r .D∪ {∃r .D u E | E ∈ ρB(>)}

∪ {∃s.D | s ∈ sh↓(r)}

Beispiele:

∃nimmtTeilAn.SozialeZusammenkunft

∃nimmtTeilAn.Meeting

Student u ∃nimmtTeilAn.SozialeZusammenkunft

∃leitet.SozialeZusammenkunft

Jens Lehmann (Universität Leipzig) Learning OWL Class Expressions 9. Juni 2010 23 / 56

Page 37: betreutvonProf.Klaus-PeterFähnrich Dissertations ...jens-lehmann.org/files/2010/phd_defense.pdf · LearningOWLClassExpressions betreutvonProf.Klaus-PeterFähnrich Dissertations-Verteidigungsvortrag

Definition von ρ

{∃r .E | A = ar(r),E ∈ ρA(D)} if C = ∃r .D∪ {∃r .D u E | E ∈ ρB(>)}

∪ {∃s.D | s ∈ sh↓(r)}

Beispiele:

∃nimmtTeilAn.SozialeZusammenkunft

∃nimmtTeilAn.Meeting

Student u ∃nimmtTeilAn.SozialeZusammenkunft

∃leitet.SozialeZusammenkunft

Jens Lehmann (Universität Leipzig) Learning OWL Class Expressions 9. Juni 2010 23 / 56

Page 38: betreutvonProf.Klaus-PeterFähnrich Dissertations ...jens-lehmann.org/files/2010/phd_defense.pdf · LearningOWLClassExpressions betreutvonProf.Klaus-PeterFähnrich Dissertations-Verteidigungsvortrag

ρ Eigenschaften

ρ↓ ist vollständigρ↓ ist unendlich, z.B. gibt es unendlich viele Refinementschritte derForm:

> ρ↓ C1 t C2 t C3 t . . .

ρ↓ ist unecht, aber kann erweitert werden zu einem echten Operatorρcl↓ (Refinements zeitaufwändiger zu berechnen)ρ↓ ist redundant: ∀r1.A1 t ∀r2.A1 ρ↓ ∀r1.(A1 u A2) t ∀r2.A1

ρ↓

ρ↓

∀r1.A1 t ∀r2.(A1 u A2) ρ↓ ∀r1.(A1 u A2) t ∀r2.(A1 u A2)

Jens Lehmann (Universität Leipzig) Learning OWL Class Expressions 9. Juni 2010 24 / 56

“Concept Learning in Description Logics Using Refinement Operators”,J. Lehmann, P. Hitzler, Machine Learning journal, 2010

“A Refinement Operator Based Learning Algorithm for the ALC DescriptionLogic”, J. Lehmann, P. Hitzler, ILP conference, 2008

Page 39: betreutvonProf.Klaus-PeterFähnrich Dissertations ...jens-lehmann.org/files/2010/phd_defense.pdf · LearningOWLClassExpressions betreutvonProf.Klaus-PeterFähnrich Dissertations-Verteidigungsvortrag

EL-Operator

Konstruktor Syntaxtop >Konjunktion C u Dexistenzielle Restriktion ∃r .C

Tabelle: EL Konzeptkonstruktoren

{A′}

{B}

r′ r

r

motiviert durch niedrige Reasoning-Komplexität von EL und EL Profilin OWL 2EL weit verbreitet z.B. Snomed-CT, Gen-Ontologien

EL-Konzepte (class expressions) als Bäume repräsentierenReasoning durch sogenannte “Simulationen” auf BäumenRefinement und Reasoning sind stark miteinander verwoben

Jens Lehmann (Universität Leipzig) Learning OWL Class Expressions 9. Juni 2010 25 / 56

Page 40: betreutvonProf.Klaus-PeterFähnrich Dissertations ...jens-lehmann.org/files/2010/phd_defense.pdf · LearningOWLClassExpressions betreutvonProf.Klaus-PeterFähnrich Dissertations-Verteidigungsvortrag

EL-Operator

Konstruktor Syntaxtop >Konjunktion C u Dexistenzielle Restriktion ∃r .C

Tabelle: EL Konzeptkonstruktoren

{A′}

{B}

r′ r

r

motiviert durch niedrige Reasoning-Komplexität von EL und EL Profilin OWL 2EL weit verbreitet z.B. Snomed-CT, Gen-OntologienEL-Konzepte (class expressions) als Bäume repräsentierenReasoning durch sogenannte “Simulationen” auf BäumenRefinement und Reasoning sind stark miteinander verwoben

Jens Lehmann (Universität Leipzig) Learning OWL Class Expressions 9. Juni 2010 25 / 56

Page 41: betreutvonProf.Klaus-PeterFähnrich Dissertations ...jens-lehmann.org/files/2010/phd_defense.pdf · LearningOWLClassExpressions betreutvonProf.Klaus-PeterFähnrich Dissertations-Verteidigungsvortrag

Operatoreffizienz auf verschiedenen Ontologien

GeneCTONGalenProcessTransportEarthrealmTambis0

10000

20000

30000

40000

50000#axioms

GeneCTONGalenProcessTransportEarthrealmTambis0

0,04

0,08

0,12

0,16

0,2

#ti

me p

er

ref. in m

s

< 1 ms pro Refinement (gemessen über “random refinement chains”)

Jens Lehmann (Universität Leipzig) Learning OWL Class Expressions 9. Juni 2010 26 / 56

“Ideal Downward Refinement in the EL Description Logic”,J. Lehmann, C. Haase, Int. Conf. on Inductive Logic Programming, 2009

Page 42: betreutvonProf.Klaus-PeterFähnrich Dissertations ...jens-lehmann.org/files/2010/phd_defense.pdf · LearningOWLClassExpressions betreutvonProf.Klaus-PeterFähnrich Dissertations-Verteidigungsvortrag

Gliederung

1 Motivation

2 Überblick zu Beschreibungslogiken und OWL

3 Refinementoperatoren in OWL/DLsTheoretische ErkenntnisseEntwicklung von Refinementoperatoren

4 Lernalgorithmen auf Basis von Refinement-OperatorenOCELSkalierbarkeit

5 Evaluation

6 Implementierung und Anwendung

7 Zusammenfassung und weitere Arbeit

Jens Lehmann (Universität Leipzig) Learning OWL Class Expressions 9. Juni 2010 27 / 56

Page 43: betreutvonProf.Klaus-PeterFähnrich Dissertations ...jens-lehmann.org/files/2010/phd_defense.pdf · LearningOWLClassExpressions betreutvonProf.Klaus-PeterFähnrich Dissertations-Verteidigungsvortrag

Algorithmen - Übersicht

1 OCEL - OWL Class Expression Learner2 ELTL - EL Tree Learner3 CELOE - Class Expression Learning for Ontology Engineering

Jens Lehmann (Universität Leipzig) Learning OWL Class Expressions 9. Juni 2010 28 / 56

Page 44: betreutvonProf.Klaus-PeterFähnrich Dissertations ...jens-lehmann.org/files/2010/phd_defense.pdf · LearningOWLClassExpressions betreutvonProf.Klaus-PeterFähnrich Dissertations-Verteidigungsvortrag

OCEL

verwendet ρ für top-down SucheOCEL ist vollständig - falls Lösung existiert, kann sie gefunden werdenstark konfigurierbar, z.B. flexible Wahl von Ziel-/Hypothesensprache,Terminierungskriterium und Heuristikimplementiert Redundanzeliminierung mit niedriger Komplexität bzgl.Größe des Suchbaumskann unendliche Operatoren verwenden durch schrittweiselängenbeschränkte Knotenexpansion

Jens Lehmann (Universität Leipzig) Learning OWL Class Expressions 9. Juni 2010 29 / 56

Page 45: betreutvonProf.Klaus-PeterFähnrich Dissertations ...jens-lehmann.org/files/2010/phd_defense.pdf · LearningOWLClassExpressions betreutvonProf.Klaus-PeterFähnrich Dissertations-Verteidigungsvortrag

Schrittweise Längenbeschränkte Knotenexpansion

>0,47 [0] Länge der

Kinderkonzeptebegrenzt durchhorizontalexpansion (he)

Jens Lehmann (Universität Leipzig) Learning OWL Class Expressions 9. Juni 2010 30 / 56

Page 46: betreutvonProf.Klaus-PeterFähnrich Dissertations ...jens-lehmann.org/files/2010/phd_defense.pdf · LearningOWLClassExpressions betreutvonProf.Klaus-PeterFähnrich Dissertations-Verteidigungsvortrag

Schrittweise Längenbeschränkte Knotenexpansion

>

Auto . . .Person

0,45 [1]

too weak 0,79 [0]

Länge derKinderkonzeptebegrenzt durchhorizontalexpansion (he)dadurch ρ (infinite)anwendbar

Jens Lehmann (Universität Leipzig) Learning OWL Class Expressions 9. Juni 2010 31 / 56

Page 47: betreutvonProf.Klaus-PeterFähnrich Dissertations ...jens-lehmann.org/files/2010/phd_defense.pdf · LearningOWLClassExpressions betreutvonProf.Klaus-PeterFähnrich Dissertations-Verteidigungsvortrag

Schrittweise Längenbeschränkte Knotenexpansion

>

Auto . . .Person

. . .

0,45 [1]

too weak 0,78 [1]

Länge derKinderkonzeptebegrenzt durchhorizontalexpansion (he)dadurch ρ (infinite)anwendbarhe geht in Heuristikein (Bias zu kurzenKonzepten -Occam’s Razor,größere Streuung)

Jens Lehmann (Universität Leipzig) Learning OWL Class Expressions 9. Juni 2010 32 / 56

Page 48: betreutvonProf.Klaus-PeterFähnrich Dissertations ...jens-lehmann.org/files/2010/phd_defense.pdf · LearningOWLClassExpressions betreutvonProf.Klaus-PeterFähnrich Dissertations-Verteidigungsvortrag

Schrittweise Längenbeschränkte Knotenexpansion

>

Auto . . .Person

. . .

0,45 [1]

too weak 0,77 [2]

Länge derKinderkonzeptebegrenzt durchhorizontalexpansion (he)dadurch ρ (infinite)anwendbarhe geht in Heuristikein (Bias zu kurzenKonzepten -Occam’s Razor,größere Streuung)

Jens Lehmann (Universität Leipzig) Learning OWL Class Expressions 9. Juni 2010 33 / 56

Page 49: betreutvonProf.Klaus-PeterFähnrich Dissertations ...jens-lehmann.org/files/2010/phd_defense.pdf · LearningOWLClassExpressions betreutvonProf.Klaus-PeterFähnrich Dissertations-Verteidigungsvortrag

Schrittweise Längenbeschränkte Knotenexpansion

>

Auto . . .Person

. . .

0,45 [1]

too weak 0,75 [3]

Länge derKinderkonzeptebegrenzt durchhorizontalexpansion (he)dadurch ρ (infinite)anwendbarhe geht in Heuristikein (Bias zu kurzenKonzepten -Occam’s Razor,größere Streuung)

Jens Lehmann (Universität Leipzig) Learning OWL Class Expressions 9. Juni 2010 34 / 56

Page 50: betreutvonProf.Klaus-PeterFähnrich Dissertations ...jens-lehmann.org/files/2010/phd_defense.pdf · LearningOWLClassExpressions betreutvonProf.Klaus-PeterFähnrich Dissertations-Verteidigungsvortrag

Schrittweise Längenbeschränkte Knotenexpansion

>

Auto . . .Person

. . .

0,45 [1]

too weak 0,74 [4]

Länge derKinderkonzeptebegrenzt durchhorizontalexpansion (he)dadurch ρ (infinite)anwendbarhe geht in Heuristikein (Bias zu kurzenKonzepten -Occam’s Razor,größere Streuung)

Jens Lehmann (Universität Leipzig) Learning OWL Class Expressions 9. Juni 2010 35 / 56

Page 51: betreutvonProf.Klaus-PeterFähnrich Dissertations ...jens-lehmann.org/files/2010/phd_defense.pdf · LearningOWLClassExpressions betreutvonProf.Klaus-PeterFähnrich Dissertations-Verteidigungsvortrag

Schrittweise Längenbeschränkte Knotenexpansion

>

Auto . . .Person

Person u ∃ besucht.> . . .

0,45 [1]

too weak 0,73 [5]

0,79 [4]

Länge derKinderkonzeptebegrenzt durchhorizontalexpansion (he)dadurch ρ (infinite)anwendbarhe geht in Heuristikein (Bias zu kurzenKonzepten -Occam’s Razor,größere Streuung)

Jens Lehmann (Universität Leipzig) Learning OWL Class Expressions 9. Juni 2010 36 / 56

Page 52: betreutvonProf.Klaus-PeterFähnrich Dissertations ...jens-lehmann.org/files/2010/phd_defense.pdf · LearningOWLClassExpressions betreutvonProf.Klaus-PeterFähnrich Dissertations-Verteidigungsvortrag

Schrittweise Längenbeschränkte Knotenexpansion

>

Auto . . .Person

Person u ∃ besucht.>

. . .

. . .

Person u ∃ besucht.Verteidigung

0,45 [1]

too weak 0,73 [5]

0,78 [5]

0,97 [4]

Länge derKinderkonzeptebegrenzt durchhorizontalexpansion (he)dadurch ρ (infinite)anwendbarhe geht in Heuristikein (Bias zu kurzenKonzepten -Occam’s Razor,größere Streuung)

Jens Lehmann (Universität Leipzig) Learning OWL Class Expressions 9. Juni 2010 37 / 56

Page 53: betreutvonProf.Klaus-PeterFähnrich Dissertations ...jens-lehmann.org/files/2010/phd_defense.pdf · LearningOWLClassExpressions betreutvonProf.Klaus-PeterFähnrich Dissertations-Verteidigungsvortrag

Skalierbarkeit: Reasoning

K = {Männlich v Person,

Männlich(MICHAEL), Männlich(JONAS), Männlich(PAUL),

hatKind(MICHAEL, JONAS), hatKind(MICHAEL, PAUL)}

positives Beispiel: MICHAEL

C = Person u ∀hatKind.Männlich scheinbar gute Lösung, aberObjekt “MICHAEL” keine Instanz von C unter OWAIdee: materialisieren von K mit Standard (OWA) DL-Reasoner, aberInstance Checks unter CWA ausführennäher an ML-Intuition und führt zu starker Performanceverbesserung

Jens Lehmann (Universität Leipzig) Learning OWL Class Expressions 9. Juni 2010 38 / 56

Page 54: betreutvonProf.Klaus-PeterFähnrich Dissertations ...jens-lehmann.org/files/2010/phd_defense.pdf · LearningOWLClassExpressions betreutvonProf.Klaus-PeterFähnrich Dissertations-Verteidigungsvortrag

Skalierbarkeit: Stochastic Coverage Computation

Heuristiken benötigen oft viele Instance Checks oder Retrieval, z.B.:

12 ·(|R(A) ∩ R(C)||R(A)|

+

√|R(A) ∩ R(C)||R(C)|

)

Jens Lehmann (Universität Leipzig) Learning OWL Class Expressions 9. Juni 2010 39 / 56

Page 55: betreutvonProf.Klaus-PeterFähnrich Dissertations ...jens-lehmann.org/files/2010/phd_defense.pdf · LearningOWLClassExpressions betreutvonProf.Klaus-PeterFähnrich Dissertations-Verteidigungsvortrag

Skalierbarkeit: Stochastic Coverage Computation

Heuristiken benötigen oft viele Instance Checks oder Retrieval, z.B.:

12 ·( a|R(A)|

+

√ ab

)

|R(A) ∩ R(C)| und |R(C)| durch abzuschätzende Variablen a und bersetzenWald-Methode zur Berechnung des 95% Konfidenz-Intervallserst a abschätzen, danach gesamten Ausdruck (beweisbarpessimistische Abschätzung)Verfahren anwendbar auf verschiedene Heuristiken

in Tests auf realen Ontologien bis zu 99% weniger Instance Checksund dadurch Algorithmus bis zu 30mal schnellergeringer Einfluss auf Lernergebnisse empirisch in 380 Lernproblemenauf 7 realen Ontologien nachgewiesen (Abweichung ca. 0, 2%± 0, 4%)

Jens Lehmann (Universität Leipzig) Learning OWL Class Expressions 9. Juni 2010 40 / 56

Page 56: betreutvonProf.Klaus-PeterFähnrich Dissertations ...jens-lehmann.org/files/2010/phd_defense.pdf · LearningOWLClassExpressions betreutvonProf.Klaus-PeterFähnrich Dissertations-Verteidigungsvortrag

Skalierbarkeit: Stochastic Coverage Computation

Heuristiken benötigen oft viele Instance Checks oder Retrieval, z.B.:

12 ·( a|R(A)|

+

√ ab

)

|R(A) ∩ R(C)| und |R(C)| durch abzuschätzende Variablen a und bersetzenWald-Methode zur Berechnung des 95% Konfidenz-Intervallserst a abschätzen, danach gesamten Ausdruck (beweisbarpessimistische Abschätzung)Verfahren anwendbar auf verschiedene Heuristikenin Tests auf realen Ontologien bis zu 99% weniger Instance Checksund dadurch Algorithmus bis zu 30mal schnellergeringer Einfluss auf Lernergebnisse empirisch in 380 Lernproblemenauf 7 realen Ontologien nachgewiesen (Abweichung ca. 0, 2%± 0, 4%)

Jens Lehmann (Universität Leipzig) Learning OWL Class Expressions 9. Juni 2010 40 / 56

Page 57: betreutvonProf.Klaus-PeterFähnrich Dissertations ...jens-lehmann.org/files/2010/phd_defense.pdf · LearningOWLClassExpressions betreutvonProf.Klaus-PeterFähnrich Dissertations-Verteidigungsvortrag

Skalierbarkeit: Fragmentextraktion

Extraktion von Fragmenten aus SPARQL Endpunkten / Linked Data:

get all super classes

class

instance

starting instance

owl:equivalentClass, owl:disjointWith, etc.

rdfs:subClassOf

rdf:type

property

Jens Lehmann (Universität Leipzig) Learning OWL Class Expressions 9. Juni 2010 41 / 56

“Learning of OWL Class Descriptions on Very Large Knowledge Bases”,Hellmann, Lehmann, Auer, Int. Journal Semantic Web Inf. Syst, 2009

Page 58: betreutvonProf.Klaus-PeterFähnrich Dissertations ...jens-lehmann.org/files/2010/phd_defense.pdf · LearningOWLClassExpressions betreutvonProf.Klaus-PeterFähnrich Dissertations-Verteidigungsvortrag

Gliederung

1 Motivation

2 Überblick zu Beschreibungslogiken und OWL

3 Refinementoperatoren in OWL/DLsTheoretische ErkenntnisseEntwicklung von Refinementoperatoren

4 Lernalgorithmen auf Basis von Refinement-OperatorenOCELSkalierbarkeit

5 Evaluation

6 Implementierung und Anwendung

7 Zusammenfassung und weitere Arbeit

Jens Lehmann (Universität Leipzig) Learning OWL Class Expressions 9. Juni 2010 42 / 56

Page 59: betreutvonProf.Klaus-PeterFähnrich Dissertations ...jens-lehmann.org/files/2010/phd_defense.pdf · LearningOWLClassExpressions betreutvonProf.Klaus-PeterFähnrich Dissertations-Verteidigungsvortrag

Evaluation

Mangel an Evaluationsstandards für Lernen in OWL/DLVorgehen: Konvertieren von existierenden Benchmarks nach OWL(zeitaufwändig, erfordert Domänenwissen)Messen von predictive accuracy mit ten fold cross validationTeil 1: Evaluation gegenüber OWL/DL LernsystemenTeil 2: Evaluation gegenüber anderen ML-Systemen(Krebserkennungsproblem)Teil 3: Evaluation im Bereich Ontology Engineering

Jens Lehmann (Universität Leipzig) Learning OWL Class Expressions 9. Juni 2010 43 / 56

Page 60: betreutvonProf.Klaus-PeterFähnrich Dissertations ...jens-lehmann.org/files/2010/phd_defense.pdf · LearningOWLClassExpressions betreutvonProf.Klaus-PeterFähnrich Dissertations-Verteidigungsvortrag

Evaluation: Genauigkeit/Accuracy

80 85 90 95 100

cross validation accuracy in % (Durchschnitt über 6 Benchmarks)

OCEL

ELTL Base

ELTL

Hybrid GP

GP

YinYang

Zusammenfassung von 6 BenchmarksOCEL häufig statistisch signifikant besser als andere Algorithmen fürdie meisten BenchmarksELTL beschränkt durch Ausdrucksstärke bei einigen Benchmarks

Jens Lehmann (Universität Leipzig) Learning OWL Class Expressions 9. Juni 2010 44 / 56

Page 61: betreutvonProf.Klaus-PeterFähnrich Dissertations ...jens-lehmann.org/files/2010/phd_defense.pdf · LearningOWLClassExpressions betreutvonProf.Klaus-PeterFähnrich Dissertations-Verteidigungsvortrag

Evaluation: Länge/Lesbarkeit

0 10 20 30 40 50

Länge gelernter Beschreibungen (Durchschnitt)

OCEL

ELTL Base

ELTL

Hybrid GP

GP

YinYang

YinYang erzeugt statistisch signifikant längere Lösungen

Jens Lehmann (Universität Leipzig) Learning OWL Class Expressions 9. Juni 2010 45 / 56

Page 62: betreutvonProf.Klaus-PeterFähnrich Dissertations ...jens-lehmann.org/files/2010/phd_defense.pdf · LearningOWLClassExpressions betreutvonProf.Klaus-PeterFähnrich Dissertations-Verteidigungsvortrag

Evaluation: Laufzeit

0,1 1 10 100 1000

Laufzeit in Sekunden (logarithmisch)

OCEL

ELTL Base

ELTL

Hybrid GP

GP

YinYang

Jens Lehmann (Universität Leipzig) Learning OWL Class Expressions 9. Juni 2010 46 / 56

Page 63: betreutvonProf.Klaus-PeterFähnrich Dissertations ...jens-lehmann.org/files/2010/phd_defense.pdf · LearningOWLClassExpressions betreutvonProf.Klaus-PeterFähnrich Dissertations-Verteidigungsvortrag

Carcinogenesis

Ziel: vorhersagen ob Substanzen krebserregend sindBegründung:

jedes Jahr 1000 neue SubstanzenSubstanzen können nur teilweise durch langwierige und kostspieligeExperimente mit Ratten/Mäusen auf Krebsrisiko untersucht werden

Hintergrundwissen:Datenbank des US National Toxicology Program (NTP)Konvertiert von Prolog zu OWL

“Obtaining accurate structural alerts for the causes of chemical cancers isa problem of great scientific and humanitarian value.” (A. Srinivasan, R.D.King, S.H. Muggleton, M.J.E. Sternberg 1997)

Jens Lehmann (Universität Leipzig) Learning OWL Class Expressions 9. Juni 2010 47 / 56

Page 64: betreutvonProf.Klaus-PeterFähnrich Dissertations ...jens-lehmann.org/files/2010/phd_defense.pdf · LearningOWLClassExpressions betreutvonProf.Klaus-PeterFähnrich Dissertations-Verteidigungsvortrag

Carcinogenesis

sehr schwieriges Problem: niedrige Genauigkeit, hoheStandardabweichungOCEL stat. signifikant besser als die meisten anderen Ansätze

Jens Lehmann (Universität Leipzig) Learning OWL Class Expressions 9. Juni 2010 48 / 56

Page 65: betreutvonProf.Klaus-PeterFähnrich Dissertations ...jens-lehmann.org/files/2010/phd_defense.pdf · LearningOWLClassExpressions betreutvonProf.Klaus-PeterFähnrich Dissertations-Verteidigungsvortrag

Ontology Engineering Evaluation

initialer Test:zwei Masterstudenten mit Einarbeitungszeit in verschiedene DomänenTest auf 7 realen Ontologien383 Lernproblemefür 60% der Probleme konnte CELOE akzeptierte Vorschläge zurErweiterung der Ontologie machen4197 neue Instanzzuordnungen2 “versteckte Inkonsistenzen” aufgedeckt

momentan: umfangreicherer Test mit Protégé Evaluationsplugin

Jens Lehmann (Universität Leipzig) Learning OWL Class Expressions 9. Juni 2010 49 / 56

Page 66: betreutvonProf.Klaus-PeterFähnrich Dissertations ...jens-lehmann.org/files/2010/phd_defense.pdf · LearningOWLClassExpressions betreutvonProf.Klaus-PeterFähnrich Dissertations-Verteidigungsvortrag

Gliederung

1 Motivation

2 Überblick zu Beschreibungslogiken und OWL

3 Refinementoperatoren in OWL/DLsTheoretische ErkenntnisseEntwicklung von Refinementoperatoren

4 Lernalgorithmen auf Basis von Refinement-OperatorenOCELSkalierbarkeit

5 Evaluation

6 Implementierung und Anwendung

7 Zusammenfassung und weitere Arbeit

Jens Lehmann (Universität Leipzig) Learning OWL Class Expressions 9. Juni 2010 50 / 56

Page 67: betreutvonProf.Klaus-PeterFähnrich Dissertations ...jens-lehmann.org/files/2010/phd_defense.pdf · LearningOWLClassExpressions betreutvonProf.Klaus-PeterFähnrich Dissertations-Verteidigungsvortrag

DL-Learner Projekt

DL-Learner Open-Source-Projekt: http://dl-learner.org,http://sf.net/projects/dl-learner

leicht erweiterbare Plattform für verschiedene Lernprobleme undLernansätze (4 Komponententypen, 21 Komponenten)mehrere Interfaces: Kommandozeile, GUI, Web-Serviceunterstützt gängige OWL-Formate und SPARQL Endpunkteerlaubt verschiedene Reasoner-Anbindungen (OWL API, DIG)sourceforge.net (Open Source Portal): 3500 Downloadsmloss.org (ML & Open Source Software): 1400 Downloads

Jens Lehmann (Universität Leipzig) Learning OWL Class Expressions 9. Juni 2010 51 / 56

“DL-Learner: Learning Concepts in Description Logics”,Jens Lehmann, Journal of Machine Learning Research (JMLR), 2009

Page 68: betreutvonProf.Klaus-PeterFähnrich Dissertations ...jens-lehmann.org/files/2010/phd_defense.pdf · LearningOWLClassExpressions betreutvonProf.Klaus-PeterFähnrich Dissertations-Verteidigungsvortrag

Anwendungen

„klassische“ ML-Problemekrebserregende SubstanzenErbkrankheiten (Mutation)

Ontology Engineering

Protégé PluginOntoWiki PluginORE

Empfehlungen/Navigation

moosique.netDBpedia Navigator

nicht betreut:

ISS (Gerken et al.)Learning in Probabilistic DLs(Ochoa Luna et al.)TIGER Corpus Navigator(Hellmann et al.)

Jens Lehmann (Universität Leipzig) Learning OWL Class Expressions 9. Juni 2010 52 / 56

Page 69: betreutvonProf.Klaus-PeterFähnrich Dissertations ...jens-lehmann.org/files/2010/phd_defense.pdf · LearningOWLClassExpressions betreutvonProf.Klaus-PeterFähnrich Dissertations-Verteidigungsvortrag

Anwendungen

„klassische“ ML-Problemekrebserregende SubstanzenErbkrankheiten (Mutation)

Ontology EngineeringProtégé Plugin

OntoWiki PluginORE

Empfehlungen/Navigation

moosique.netDBpedia Navigator

nicht betreut:

ISS (Gerken et al.)Learning in Probabilistic DLs(Ochoa Luna et al.)TIGER Corpus Navigator(Hellmann et al.)

Jens Lehmann (Universität Leipzig) Learning OWL Class Expressions 9. Juni 2010 52 / 56

Page 70: betreutvonProf.Klaus-PeterFähnrich Dissertations ...jens-lehmann.org/files/2010/phd_defense.pdf · LearningOWLClassExpressions betreutvonProf.Klaus-PeterFähnrich Dissertations-Verteidigungsvortrag

Anwendungen

„klassische“ ML-Problemekrebserregende SubstanzenErbkrankheiten (Mutation)

Ontology EngineeringProtégé PluginOntoWiki Plugin

OREEmpfehlungen/Navigation

moosique.netDBpedia Navigator

nicht betreut:

ISS (Gerken et al.)Learning in Probabilistic DLs(Ochoa Luna et al.)TIGER Corpus Navigator(Hellmann et al.)

Jens Lehmann (Universität Leipzig) Learning OWL Class Expressions 9. Juni 2010 52 / 56

Page 71: betreutvonProf.Klaus-PeterFähnrich Dissertations ...jens-lehmann.org/files/2010/phd_defense.pdf · LearningOWLClassExpressions betreutvonProf.Klaus-PeterFähnrich Dissertations-Verteidigungsvortrag

Anwendungen

„klassische“ ML-Problemekrebserregende SubstanzenErbkrankheiten (Mutation)

Ontology EngineeringProtégé PluginOntoWiki PluginORE

Empfehlungen/Navigation

moosique.netDBpedia Navigator

nicht betreut:

ISS (Gerken et al.)Learning in Probabilistic DLs(Ochoa Luna et al.)TIGER Corpus Navigator(Hellmann et al.)

Jens Lehmann (Universität Leipzig) Learning OWL Class Expressions 9. Juni 2010 52 / 56

Page 72: betreutvonProf.Klaus-PeterFähnrich Dissertations ...jens-lehmann.org/files/2010/phd_defense.pdf · LearningOWLClassExpressions betreutvonProf.Klaus-PeterFähnrich Dissertations-Verteidigungsvortrag

Anwendungen

„klassische“ ML-Problemekrebserregende SubstanzenErbkrankheiten (Mutation)

Ontology EngineeringProtégé PluginOntoWiki PluginORE

Empfehlungen/Navigationmoosique.net

DBpedia Navigatornicht betreut:

ISS (Gerken et al.)Learning in Probabilistic DLs(Ochoa Luna et al.)TIGER Corpus Navigator(Hellmann et al.)

Jens Lehmann (Universität Leipzig) Learning OWL Class Expressions 9. Juni 2010 52 / 56

Page 73: betreutvonProf.Klaus-PeterFähnrich Dissertations ...jens-lehmann.org/files/2010/phd_defense.pdf · LearningOWLClassExpressions betreutvonProf.Klaus-PeterFähnrich Dissertations-Verteidigungsvortrag

Anwendungen

„klassische“ ML-Problemekrebserregende SubstanzenErbkrankheiten (Mutation)

Ontology EngineeringProtégé PluginOntoWiki PluginORE

Empfehlungen/Navigationmoosique.netDBpedia Navigator

nicht betreut:

ISS (Gerken et al.)Learning in Probabilistic DLs(Ochoa Luna et al.)TIGER Corpus Navigator(Hellmann et al.)

Jens Lehmann (Universität Leipzig) Learning OWL Class Expressions 9. Juni 2010 52 / 56

Page 74: betreutvonProf.Klaus-PeterFähnrich Dissertations ...jens-lehmann.org/files/2010/phd_defense.pdf · LearningOWLClassExpressions betreutvonProf.Klaus-PeterFähnrich Dissertations-Verteidigungsvortrag

Anwendungen

„klassische“ ML-Problemekrebserregende SubstanzenErbkrankheiten (Mutation)

Ontology EngineeringProtégé PluginOntoWiki PluginORE

Empfehlungen/Navigationmoosique.netDBpedia Navigator

nicht betreut:ISS (Gerken et al.)Learning in Probabilistic DLs(Ochoa Luna et al.)TIGER Corpus Navigator(Hellmann et al.)

Jens Lehmann (Universität Leipzig) Learning OWL Class Expressions 9. Juni 2010 52 / 56

Page 75: betreutvonProf.Klaus-PeterFähnrich Dissertations ...jens-lehmann.org/files/2010/phd_defense.pdf · LearningOWLClassExpressions betreutvonProf.Klaus-PeterFähnrich Dissertations-Verteidigungsvortrag

Gliederung

1 Motivation

2 Überblick zu Beschreibungslogiken und OWL

3 Refinementoperatoren in OWL/DLsTheoretische ErkenntnisseEntwicklung von Refinementoperatoren

4 Lernalgorithmen auf Basis von Refinement-OperatorenOCELSkalierbarkeit

5 Evaluation

6 Implementierung und Anwendung

7 Zusammenfassung und weitere Arbeit

Jens Lehmann (Universität Leipzig) Learning OWL Class Expressions 9. Juni 2010 53 / 56

Page 76: betreutvonProf.Klaus-PeterFähnrich Dissertations ...jens-lehmann.org/files/2010/phd_defense.pdf · LearningOWLClassExpressions betreutvonProf.Klaus-PeterFähnrich Dissertations-Verteidigungsvortrag

Zusammenfassung

theoretische Analyse der Eigenschaften von DL-RefinementoperatorenEntwicklung von zwei Operatoren und Beweis ihrer Eigenschaftendrei Algorithmen mit Erweiterungen gegenüber dem State of the Artsignifikante SkalierbarkeitsverbesserungenEvaluation mit mehreren Benchmarks, die in OWL konvertiert wordenImplementation im Open Source Projekt DL-LearnerEntwicklung von mehreren Anwendungen/Plugins

Jens Lehmann (Universität Leipzig) Learning OWL Class Expressions 9. Juni 2010 54 / 56

Page 77: betreutvonProf.Klaus-PeterFähnrich Dissertations ...jens-lehmann.org/files/2010/phd_defense.pdf · LearningOWLClassExpressions betreutvonProf.Klaus-PeterFähnrich Dissertations-Verteidigungsvortrag

Weitere Arbeit

Lösen weiterer schwieriger ML-Probleme mit DL-Learner FrameworkUntersuchen von bottom-up AnsätzenNutzung der Techniken für Matching von Instanzen in OntologienIntegration von NLP Technikenbreitere Evaluation des Ontology Engineering Use CasesBuch “Perspectives of Ontology Learning” (mit Johanna Völker)allgemein: weiterhin Anwendungsbereich von ML/ILP-Techniken aufdas Semantic Web erweitern

Jens Lehmann (Universität Leipzig) Learning OWL Class Expressions 9. Juni 2010 55 / 56

Page 78: betreutvonProf.Klaus-PeterFähnrich Dissertations ...jens-lehmann.org/files/2010/phd_defense.pdf · LearningOWLClassExpressions betreutvonProf.Klaus-PeterFähnrich Dissertations-Verteidigungsvortrag

Ende

Danke für Ihre Aufmerksamkeit!

Jens Lehmann (Universität Leipzig) Learning OWL Class Expressions 9. Juni 2010 56 / 56

Page 79: betreutvonProf.Klaus-PeterFähnrich Dissertations ...jens-lehmann.org/files/2010/phd_defense.pdf · LearningOWLClassExpressions betreutvonProf.Klaus-PeterFähnrich Dissertations-Verteidigungsvortrag

ρ Eigenschaften

verwendet Konzept- und Rollenhierarchie im Gegensatz zu anderenOperatorenverwendet Domain und Range von Rollen (ähnlich zu “modedeclarations” in ILP-Programmen) → reduziert Suchraumendliche Anzahl von Reasoneranfragen = durch einen Cache wird derReasoner nur in der Aufwärmphase vom Operator verwendetunterstützte Konstrukte: u, t, ¬, ∃, ∀, >, ⊥existierende Erweiterungen: Zahlenrestriktionen (min/max),hasValue-Konstruktur, Datentypen: boolean, double, string

Jens Lehmann (Universität Leipzig) Learning OWL Class Expressions 9. Juni 2010 56 / 56

Page 80: betreutvonProf.Klaus-PeterFähnrich Dissertations ...jens-lehmann.org/files/2010/phd_defense.pdf · LearningOWLClassExpressions betreutvonProf.Klaus-PeterFähnrich Dissertations-Verteidigungsvortrag

ELTL

verwendet idealen Refinementoperator ψ(optionale) Verwendung eines “covering” Ansatzes d.h. schrittweiseErstellung einer Disjunktionvereinfachen von Lösungen (über OWL-Reasoner) um Lesbarkeitweiter zu erhöhengeeignet für einfache Lernaufgaben und Ontologien im EL Profil vonOWL 2

Jens Lehmann (Universität Leipzig) Learning OWL Class Expressions 9. Juni 2010 56 / 56

Page 81: betreutvonProf.Klaus-PeterFähnrich Dissertations ...jens-lehmann.org/files/2010/phd_defense.pdf · LearningOWLClassExpressions betreutvonProf.Klaus-PeterFähnrich Dissertations-Verteidigungsvortrag

CELOE

Adaptierung von OCEL für Ontology Engineeringverwendet existierende Klassen als Eingabe und nutzt deren Instanzenfür überwachtes Lernenkann existierende Definitionen wiederverwenden (durch initiale upwardrefinement Phase)Heuristik optimiert für breite Suche (verpasst häufiger komplexeLösungen, aber findet fast immer einfache Lösungen)

Jens Lehmann (Universität Leipzig) Learning OWL Class Expressions 9. Juni 2010 56 / 56

Page 82: betreutvonProf.Klaus-PeterFähnrich Dissertations ...jens-lehmann.org/files/2010/phd_defense.pdf · LearningOWLClassExpressions betreutvonProf.Klaus-PeterFähnrich Dissertations-Verteidigungsvortrag

Carcinogenesis

55

60

65

70

75

28303234363840

crossvalidationaccuracy

in%

max error in %

OCEL trainingOCEL testing

Aleph Ensembles max.Boosted Weak ILP

Aleph DTD 0.7Aleph RRR 0.7

Jens Lehmann (Universität Leipzig) Learning OWL Class Expressions 9. Juni 2010 56 / 56