-
Dependenzgrammatik Regelbasiertes Dependenz-Parsing Statistisches Dependenz-Parsing: Malt-Parser Stanford-Parsers
Dependenzgrammatik-ParsingLMT-/Watson-Parser, MaltParser, Stanford Parser
Kurt Eberle
03. August 2018
1 / 45
-
Dependenzgrammatik Regelbasiertes Dependenz-Parsing Statistisches Dependenz-Parsing: Malt-Parser Stanford-Parsers
Übersicht
Dependenzgrammatik
Regelbasiertes Dependenz-Parsing
Statistisches Dependenz-Parsing: Malt-Parser
Stanford-Parsers
2 / 45
-
Dependenzgrammatik Regelbasiertes Dependenz-Parsing Statistisches Dependenz-Parsing: Malt-Parser Stanford-Parsers
Übersicht
Dependenzgrammatik
Regelbasiertes Dependenz-Parsing
Statistisches Dependenz-Parsing: Malt-Parser
Stanford-Parsers
3 / 45
-
Dependenzgrammatik Regelbasiertes Dependenz-Parsing Statistisches Dependenz-Parsing: Malt-Parser Stanford-Parsers
Dependenzgrammatik
I Dependenzgrammatik vs PhrasenstrukurgrammatikI Eigenschaften der DependenzgrammatikI Dependenz-Parser: Regelbasiert und statistischI (IBM’s) LMT (WebSphere Translation Server), WatsonI Malt und Stanford
4 / 45
-
Dependenzgrammatik Regelbasiertes Dependenz-Parsing Statistisches Dependenz-Parsing: Malt-Parser Stanford-Parsers
DG und PSG
I Small birds sing loud songsI Konstituentenstruktur . . .
5 / 45
-
Dependenzgrammatik Regelbasiertes Dependenz-Parsing Statistisches Dependenz-Parsing: Malt-Parser Stanford-Parsers
DG and PSGI Small birds sing loud songsI Dependenzstruktur . . .
6 / 45
-
Dependenzgrammatik Regelbasiertes Dependenz-Parsing Statistisches Dependenz-Parsing: Malt-Parser Stanford-Parsers
Übersicht
Dependenzgrammatik
Regelbasiertes Dependenz-Parsing
Statistisches Dependenz-Parsing: Malt-Parser
Stanford-Parsers
7 / 45
-
Dependenzgrammatik Regelbasiertes Dependenz-Parsing Statistisches Dependenz-Parsing: Malt-Parser Stanford-Parsers
Regelbasiertes Dependenz-Parsing: LMT/(Deepanalysis-)Watson
I Nichtdeterministischer Left-to-right-Parser (mitRegelgewichten)
I Shift-Reduce mit ChartI Für zahlreiche Sprachen Englisch, Französisch, Deutsch,
Italienisch, Spanisch, Hebräisch, ArabischI Slotgrammar Repräsentation:I LMT-Dependenzlabels, sehr detaillierte morphosyntaktische
Features, Referenzen ins semantische LexikonI nutzt ’Second-Level’-Repräsentation, um semantische Bezüge
zu repräsentieren
8 / 45
-
Dependenzgrammatik Regelbasiertes Dependenz-Parsing Statistisches Dependenz-Parsing: Malt-Parser Stanford-Parsers
Regelbasiertes Dependenz-Parsing: LMT/(Deepanalysis-)Watson
I Anzeige:I Um 90 Grad gedrehter BaumI Mittelachsen-gespiegelt . . .I (CoNLL-Struktur)
9 / 45
-
Dependenzgrammatik Regelbasiertes Dependenz-Parsing Statistisches Dependenz-Parsing: Malt-Parser Stanford-Parsers
Slotgrammar-Regeln
I KonstruktionI AdjunktDeklaration (Welche Adjunkte sind erlaubt?)I Obligatorizität von Slots (Kontrollphänomene, Raising)I Slotfiller-RegelnI SlotordnungsregelnI ExtrapositionsregelnI KoordinationI Zeichensetzung
I Evaluation
10 / 45
-
Dependenzgrammatik Regelbasiertes Dependenz-Parsing Statistisches Dependenz-Parsing: Malt-Parser Stanford-Parsers
Repräsentationskern
Phrase
11 / 45
-
Dependenzgrammatik Regelbasiertes Dependenz-Parsing Statistisches Dependenz-Parsing: Malt-Parser Stanford-Parsers
Adjunkt-Deklaration
12 / 45
-
Dependenzgrammatik Regelbasiertes Dependenz-Parsing Statistisches Dependenz-Parsing: Malt-Parser Stanford-Parsers
Slotfiller-Regel
13 / 45
-
Dependenzgrammatik Regelbasiertes Dependenz-Parsing Statistisches Dependenz-Parsing: Malt-Parser Stanford-Parsers
Slotfiller-Regel
14 / 45
-
Dependenzgrammatik Regelbasiertes Dependenz-Parsing Statistisches Dependenz-Parsing: Malt-Parser Stanford-Parsers
Übersicht
Dependenzgrammatik
Regelbasiertes Dependenz-Parsing
Statistisches Dependenz-Parsing: Malt-Parser
Stanford-Parsers
15 / 45
-
Dependenzgrammatik Regelbasiertes Dependenz-Parsing Statistisches Dependenz-Parsing: Malt-Parser Stanford-Parsers
Statistisches Dependenz-Parsing: Malt-Parser
I Datengetriebene Parser-GenerierungI Deterministischer, Probabilitäts-basierter Left-to-right-ParserI Vortrainierte Modelle für Englisch, Französisch, Schwedisch,
Spanisch
16 / 45
-
Dependenzgrammatik Regelbasiertes Dependenz-Parsing Statistisches Dependenz-Parsing: Malt-Parser Stanford-Parsers
Einige Papers
I Nivre, J. (2003). An Efficient Algorithm for ProjectiveDependency Parsing. (IWPT03)
I Nivre, J., J. Hall and J. Nilsson (2006) MaltParser: AData-Driven Parser-Generator for Dependency Parsing. (LREC06)
I Nivre et al. (2007) MaltParser: A language-independentsystem for data-driven dependency parsing. Natural LanguageEngineering, 13(2)
I Hall, J. and J. Nivre (2008) A Dependency-Driven Parser forGerman Dependency and Constituency Representations (ACL,PaGe 08)
17 / 45
-
Dependenzgrammatik Regelbasiertes Dependenz-Parsing Statistisches Dependenz-Parsing: Malt-Parser Stanford-Parsers
Einige Basiseigenschaften
MaltParser SystemI generiert Dependenz-Parser von BaumbankenI Parser erreichen 80 - 90 % accuracyI auf der Basis von bescheidenen Daten (in der Ordnung von
100k Tokens oder weniger).I frei nutzbar für Forschung und LehreI http://www.maltparser.org
18 / 45
http://www.maltparser.org
-
Dependenzgrammatik Regelbasiertes Dependenz-Parsing Statistisches Dependenz-Parsing: Malt-Parser Stanford-Parsers
DependenzstrukturenI lexikalische Knoten durch binäre Relationen verbunden:
DependenzenI Dependenzgraph
I Grammatik: besteht aus D-Regeln
19 / 45
-
Dependenzgrammatik Regelbasiertes Dependenz-Parsing Statistisches Dependenz-Parsing: Malt-Parser Stanford-Parsers
Grammatik-Transformation
Eine allgemeine Dependenzgrammatik kann in D-Regelformatüberführt werden:
20 / 45
-
Dependenzgrammatik Regelbasiertes Dependenz-Parsing Statistisches Dependenz-Parsing: Malt-Parser Stanford-Parsers
MaltParser-Parsing
I similar to general shift/reduce algorithmI General data structure:
〈S, I, A〉 whereI S . . . stack of (active) nodes (= tokens = word+position)I I . . . list of (remaining) input tokensI A . . . dependency relation recognized so far
I Start configuration:〈nil , W , ∅〉
I End configuration:〈S, nil , A〉
I accept if 〈NW , A〉 is well-formed
21 / 45
-
Dependenzgrammatik Regelbasiertes Dependenz-Parsing Statistisches Dependenz-Parsing: Malt-Parser Stanford-Parsers
Well-formedness
22 / 45
-
Dependenzgrammatik Regelbasiertes Dependenz-Parsing Statistisches Dependenz-Parsing: Malt-Parser Stanford-Parsers
Parsing-Typen
I arc-standardI arc-eager
23 / 45
-
Dependenzgrammatik Regelbasiertes Dependenz-Parsing Statistisches Dependenz-Parsing: Malt-Parser Stanford-Parsers
Parsing-Typen
I arc-standard
24 / 45
-
Dependenzgrammatik Regelbasiertes Dependenz-Parsing Statistisches Dependenz-Parsing: Malt-Parser Stanford-Parsers
Parsing-Typen
I arc-standard
25 / 45
-
Dependenzgrammatik Regelbasiertes Dependenz-Parsing Statistisches Dependenz-Parsing: Malt-Parser Stanford-Parsers
Arc-Standard-Ableitung
26 / 45
-
Dependenzgrammatik Regelbasiertes Dependenz-Parsing Statistisches Dependenz-Parsing: Malt-Parser Stanford-Parsers
Parsing-Typen
I arc-eager
27 / 45
-
Dependenzgrammatik Regelbasiertes Dependenz-Parsing Statistisches Dependenz-Parsing: Malt-Parser Stanford-Parsers
Arc-Eager-Ableitung
28 / 45
-
Dependenzgrammatik Regelbasiertes Dependenz-Parsing Statistisches Dependenz-Parsing: Malt-Parser Stanford-Parsers
Parsing-Aktionen
I arc-eagerI mit (gelernter) Grammatik
29 / 45
-
Dependenzgrammatik Regelbasiertes Dependenz-Parsing Statistisches Dependenz-Parsing: Malt-Parser Stanford-Parsers
MaltParser: weiteres Arc-Eager Beispiel
30 / 45
-
Dependenzgrammatik Regelbasiertes Dependenz-Parsing Statistisches Dependenz-Parsing: Malt-Parser Stanford-Parsers
Wahl der Aktionen
I per se nicht-deterministischI in der Praxis deterministische Selektion
(Komplexität O(n))
a) baseline parser LA > RA > R > Sb) S/R parser as (a) +
S > R if S(0) can be a transitive head ofI(0)
c) S/RA parser as (b) + lookahead:S > RA if I(0) can be a pre-modifier ofI(1)/I(2),. . .
31 / 45
-
Dependenzgrammatik Regelbasiertes Dependenz-Parsing Statistisches Dependenz-Parsing: Malt-Parser Stanford-Parsers
Wahl der Aktionen
S/RA ambiguity - example
32 / 45
-
Dependenzgrammatik Regelbasiertes Dependenz-Parsing Statistisches Dependenz-Parsing: Malt-Parser Stanford-Parsers
Training und Ergebnisse (2003)
I Stockholm-Unme̊a Corpus (mixed)I 4000 tokensI vocabulary: word-PoS-tag pairsI 257 sentences with manually annotated dependency graphsI hand-crafted grammar with 126 rules (90 left-headed, 36
right-headed)
33 / 45
-
Dependenzgrammatik Regelbasiertes Dependenz-Parsing Statistisches Dependenz-Parsing: Malt-Parser Stanford-Parsers
Training und Ergebnisse (2003)
Attachment Score: percentage of words in the sentence withcorrect head
34 / 45
-
Dependenzgrammatik Regelbasiertes Dependenz-Parsing Statistisches Dependenz-Parsing: Malt-Parser Stanford-Parsers
Feature-basierter Ansatz (2006)Data Structure
I Stack of tokens . . . Stack(0), Stack(1), . . .I Input list of (remaining) input tokens . . . Input(0), Input(1),
. . .I Unattached tokens between Stack(0) and Input(0)
. . . Context(0), Context(1), . . .I Partial function Head where Head(i)=syntactic head of iI Function Dep with Dep(i) giving the label of the relation to
Head(i)I Function LC with LC(i) = leftmost child of iI Function RC with RC(i) = rightmost child of iI Function LS with LS(i) = next left sibling of iI Function RS with RS(i) = next right sibling of i
35 / 45
-
Dependenzgrammatik Regelbasiertes Dependenz-Parsing Statistisches Dependenz-Parsing: Malt-Parser Stanford-Parsers
Feature-basierter Ansatz (2006)Feature model
OffsetsI 3. column: stack/input/context elementI 4. column: negative/positive offset to (3.)I 5. number of applications of head functionI 6. number of applications of LC/RCI 7. number of applications of LS/RS
36 / 45
-
Dependenzgrammatik Regelbasiertes Dependenz-Parsing Statistisches Dependenz-Parsing: Malt-Parser Stanford-Parsers
Beispiele
Abbreviation:
37 / 45
-
Dependenzgrammatik Regelbasiertes Dependenz-Parsing Statistisches Dependenz-Parsing: Malt-Parser Stanford-Parsers
Das Standard-Modell
38 / 45
-
Dependenzgrammatik Regelbasiertes Dependenz-Parsing Statistisches Dependenz-Parsing: Malt-Parser Stanford-Parsers
Lernen und Parsing
MaltParser 3.0:I provides 2 learning algorithms
I Memory-based learning and classification (Daelemans and Vander Bosch 2000)
I Application of support vector machinesI can be run in 2 modes
I learning modeI parsing mode
39 / 45
-
Dependenzgrammatik Regelbasiertes Dependenz-Parsing Statistisches Dependenz-Parsing: Malt-Parser Stanford-Parsers
Malt-TAB Format
40 / 45
-
Dependenzgrammatik Regelbasiertes Dependenz-Parsing Statistisches Dependenz-Parsing: Malt-Parser Stanford-Parsers
Übersicht
Dependenzgrammatik
Regelbasiertes Dependenz-Parsing
Statistisches Dependenz-Parsing: Malt-Parser
Stanford-Parsers
41 / 45
-
Dependenzgrammatik Regelbasiertes Dependenz-Parsing Statistisches Dependenz-Parsing: Malt-Parser Stanford-Parsers
Stanford-Parsers
Different versionsI (lexicalized) PCFG (probabilistic context-free grammar)
parsersI (lexicalized)dependency grammar parsersI (English, Chinese, German, Arabic, . . . )I http://nlp.stanford.edu/software/lex-parser.shtml
42 / 45
http://nlp.stanford.edu/software/lex-parser.shtml
-
Dependenzgrammatik Regelbasiertes Dependenz-Parsing Statistisches Dependenz-Parsing: Malt-Parser Stanford-Parsers
Einige Papers
I PCFG parser:Klein, D., Manning, Ch. (2003) Accurate UnlexicalizedParsing.(ACL 03)
I (English) Stanford Dependencies representation:de Marneffe, M.C., MacCartney, B., Manning, Ch. (2006)Generating Typed Dependency Parses from Phrase StructureParses. (LREC 2006).
I Neural-network dependency parser:Chen, D. Manning, Ch. (2014) A Fast and AccurateDependency Parser using Neural Networks (EMNLP 2014)
I Compositional Vector Grammar parser:Socher, R., Bauer, J., Manning, Ch., Ng, A. (2013) ParsingWith Compositional Vector Grammars. (ACL 2013)
43 / 45
-
Dependenzgrammatik Regelbasiertes Dependenz-Parsing Statistisches Dependenz-Parsing: Malt-Parser Stanford-Parsers
Beispiel
44 / 45
-
Dependenzgrammatik Regelbasiertes Dependenz-Parsing Statistisches Dependenz-Parsing: Malt-Parser Stanford-Parsers
Beispiel
45 / 45
DependenzgrammatikRegelbasiertes Dependenz-ParsingStatistisches Dependenz-Parsing: Malt-ParserStanford-Parsers