Semantische Annotationen verstehen - Ergebnisse zweier Nutzerstudien
Ralf Heese, Adrian Paschke, Annika Hinze, Alexa Schlegel
Xinnovations 2012, 12. September 2012, Berlin
2
Markierungen in Texten
Kommentar
Symbol
überlappende Markierungen
Kategorien
kurze/lange Markierungen
3
Begriffe
Annotationsinhalt
Textatom
4
Use case: loomp
Kategorien
Annotationsinhalt
Textatom
Markierung
5
Beispiel - Loomp: Semantische Anreicherung von Inhalten
• Erzeuge semantisch angreicherten Inhalt …
• so einfach wie Auszeichnungen in Word,
• ohne Wissen über semantische Technologien,
• mit automatischer Unterstützung durch Vorschlagsannotationen.
History The earliest evidence of settlements in today's Berlin central areas is a wooden beam dated from approximately 1192.[18] The first written mention of towns in the area of present-day Berlin dates from the late twelfth century. The settlement of Spandau is first mentioned in 1197, and Köpenick in 1209, though these areas did not join Berlin until 1920.[19] The central part of Berlin can be traced back to two towns. Cölln on the Fischerinsel is first mentioned in a 1237 document, and Berlin, across the Spree in what is now called the Nikolaiviertel, is referenced in a document from 1244.[18] The former is considered to be the "founding date…
City District Country Geography
Cancel Save
Waters
Vocabularies Annotations
Geography Berlin is located in eastern Germany, about 70 kilometers (44 miles) west …
Climate Summers are warm with average high temperatures of 22 - 25°C (mid 70s) …
Search Berlin
One Click Annotator
6
Kollaborative Semantische Annotation
7
Aspekte von Annotationen
• Markieren von Textatomen
• Umgang mit überlappenden Markierung
• Verknüpfen von Markierung und Annotationsinhalten
Zwei Nutzerstudien
Einfache semantische Annotationen und deren Visualisierung
9
Erste Studie: Einfache semantische Annotationen
• Zuordnung von vordefinierten Kategorien
• Überlappende Annotationen
Überschneidung Inklusion
Angrenzung Identität
10
Zuordnungen und Überlappungen
• Hintergrundfarbe
• Unterstreichung
• Fettdruck
• Farbmischung
• Mischung von Textstilen
• Horiz./vert. Balken
11
Design der Nutzerstudie
• Fokus
• Zuordnen von Kategorien
• Überlappungsarten
• kurze und lange Textatome
Balk
en-A
nsic
ht
Box-A
nsic
ht
12
Durchführung der Studie
• Web-Anwendung
• 12 TeilnehmerInnen
• 2 Pilottests
• 4 Phasen
• 2 Gruppen
Studie erklären
Ausprobieren
Aufgaben lösen
Fragebogen
13
Hauptergebnis
• Balken-Ansicht Lange Annotationen
• Box-Ansicht Kurze Annotationen
Annotieren mit semantischen Identitäten
15
Semantik in Annotationen
Freitext
Kategorien
Semantische Identität
16
Semantische Identität
• Feingranulare maschinelle Verarbeitung von Inhalten
Zuordnen eines Identifikators zu einem Textatom
http://dbpedia.org/resource/Turkey
17
Design der Studie
• Fokus
• Zuordnen von semantischen Identitäten
• Studie
• Paper Prototype
• 12 TeilnehmerInnen
• 4 Phasen
18
Wahl der ID ist schwierig
Da müsste eine Liste aller Kanzler der BRD sein.
Was ist das, sind das ein oder zwei Flüsse?
19
Nicht alle Annotationen waren korrekt
Irgendwie ist der ganze Text ein politisches Event.
Ich würde einen Kollegen fragen.
20
Erkenntnisse
• Semantische Identitäten sind noch ungebräuchlich
• Task-Experte zusätzlich zum Domänenexperten
• Use Cases und Evaluationskriterien nötig
21
Vielen Dank
• Ralf Heese [email protected]
• Adrian Paschke [email protected]
• Annika Hinze [email protected]
1. Corporate Semantic Web http://www.corporate-semantic-web.de 2. User-guided Semantic Enrichment
http://www.csw.inf.fu-berlin.de/UserGuidedSemanticEnrichment/
22
Links
• User-guided Semantic Enrichment Projekt http://www.csw.inf.fu-berlin.de/UserGuidedSemanticEnrichment/
• Corporate Semantic Web Loomp http://www.corporate-semantic-web.de/technologies.html http://www.loomp.org/ Github: https://github.com/ag-csw/loomp
• Publications
• Annika Hinze, Ralf Heese, Markus Luczak-Rösch, Adrian Paschke: Semantic Enrichment by Non-experts: Usability of Manual Annotation Tools. International Semantic Web Conference (1) 2012: 165-181 (spotlight best paper at ISWC 2012)
• Annika Hinze, Ralf Heese, Alexa Schlegel, Markus Luczak-Rösch: User-Defined Semantic Enrichment of Full-Text Documents: Experiences and Lessons Learned. TPDL 2012: 209-214
• Alexa Schlegel, Ralf Heese, Annika Hinze: Visualisation of Semantic Enrichment. GI-Jahrestagung 2012: 1047-1058
• Markus Luczak-Rösch, Ralf Heese, Adrian Paschke, "Future Content Authoring", In Nodilities – The Magazine of the Semantic Web, Issue 11, pp. 17-18, 2010.
• Ralf Heese, Markus Luczak-Rösch, Adrian Paschke, Radoslaw Oldakowski and Olga Streibel, "One Click Annotation", 6th Workshop on Scripting and Development for the Semantic Web, colocated with ESWC 2010, Crete, Greece, May 31, 2010.
• Markus Luczak-Rösch, Ralf Heese, Adrian Paschke, "Menschen und das Datenweb: Semantische Textverarbeitung für Nicht-Experten Humans and the Web of Data", in i-com Volume 8, Issue 3, pp. 5-11, 2009.
• Ralf Heese, Markus Luczak-Rösch, Adrian Paschke, Radoslaw Oldakowski and Olga Streibel, "One Click Annotation" (Poster), Workshop on Collaborative Construction, Management and Linking of Structured Knowledge (CK 2009) , colocated with ISWC 2009, Washington, DC., USA, October 25, 2009
• Markus Luczak-Rösch and Ralf Heese, "Linked Data Authoring for Non-Experts", Linked Data on the Web Workshop at WWW2009, Madrid, Spain, April 20, 2009