hangyo acl paperreading2016

Chinese Zero Pronoun Resolution with Deep

Neural Networks Chen Chen and Vincent Ng

紹介する人 : 萩行正嗣( ウェザーニューズ )

ACL 読み会 2016@ 東工大

Anaphoric Zero Pronoun Resolutionの用語• Zero pronoun (ZP): ゼロ代名詞

• 省略された代名詞• ( ここでは ) 現実世界の何らかの Entity を指すものと定義

• Anaphoric zero pronoun (AZP): 照応性のあるゼロ代名詞• 文中に指す先 ( 先行詞 ) のあるゼロ代名詞

• Antecedent: 先行詞• ( ゼロ ) 代名詞が指す「文中の表現」 (mention)

# “referent” といった場合、表現でなく、指す実体を意味することもある


[ 俄罗斯 ] 作为米洛舍夫维奇一贯的支持者， *pro* 曾经提出调停这场政治危机。

([Russia] is a consistent supporter of Milošević, *pro* has proposed to mediate the political crisis.)

先行詞ゼロ代名詞照応 (refer)

実際の文では *pro* の部分は何もない

AZP Resolution のサブタスク• AZP identification

• 文中から AZP を探す• 2step になっている

• Extracting candidate ZPs (ZP detection): ルールベース (VP の前を集めてくる )• Anaphoricity determination: AZP かそれ以外かを SVM などで二値分類

• 正解の構文木で F-score:0.601 、システムで 0.361( 本論文 appendix より )• 以降の Chen & Ng の研究はこの手法を使っている• [Chen & Ng ’13] の時より数字がよくなっている

• AZP Resolution• AZP の antecedent を先行詞から選ぶ• ZP は情報を持たないので、単複、性別などの手掛りがなく難しい• 先行詞候補は ZP の 2 文以内にある NP 全て

( 英語の照応解析の場合、先行詞候補の範囲を決めるなどのタスクもある )


先行研究• Supervised learning:

• [Zhao & Ng ’07]: 照応解析の Mention pair モデルをゼロに適用• [Kong & Zhou ’10]: Tree-kernel で ZP detection 、 Anaphoricity

determination 、AZP resolution の 3 タスク全てをやった

• [Chen & Ng ’13]: [Zhao & Ng’07] の素性を増やした + 既に解いた AZP の情報• Unsupervised learning:

• [Chen & Ng ’14b]: 照応解析を教師なしの EM で回した結果をゼロに適用• [Chen & Ng ’15]: ゼロ照応解析だけの教師なし EM


Gold AZPGold parse tree

System AZPGold parse tree

System AZPSystem parse tree

[Zhao & Ng ’07] 41.5 23.3 13.4

[Kong & Zhou ’10] 44.9 24.4 14.5

[Chen & Ng ’13] 47.7 26.4 15.7

[Chen & Ng ’14b] 47.7 26.4 15.7

[Chen & Ng ’15] 50.2 30.3 17.3

[Chen & Ng ’16] 52.2 32.1 18.4

教師あり教師なし提案手法

提案手法のポイント• 先行研究

• Feature engineering( というか生成モデル ) の設計が大変• 素性の独立性がないと悪影響

• [Chen & Ng ’14b][Chen & Ng ’15] では Lexical な素性を使っていない• 教師あり [Zhao & Ng ’07][Chen & Ng ’13] では Lexical feature が有効

• 尤度を最大化してるけど、 F 値などの評価尺度と関連してるか分からない• 提案手法

• Deep leaning• AZP resolution の複雑な関係 (hidden) を表現できる• Lexical な情報をいい感じに扱える

• Ranking-base の教師あり学習• 従来の教師あり AZP resolver は classification-based

• 素性ベースの手法• Lexical な素性 ( 教師なしで学習 ) と手作りの素性を両方使える


提案手法 ( ネットワーク構成 )


先行詞候補ゼロ代名詞

類似度が高いものを先行詞として選ぶ

学習事例の作成• 学習の効率化のため各 AZP に対して、先行詞候補を 4 つに絞る

• 1 つは正しい先行詞• 残りの 3 つは先行詞候補のうち salience が高いもの• Salience の計算は

•


Embedding Features• Word2vec を固定で使う

• OntoNotes 5.0 で学習• 100 次元

• : AZP の embedding 素性• 2 つのベクトルを結合するAZP の直前の単語のベクトルAZP を項に持つ動詞のベクトル

• : 先行詞候補の embedding 素性• の主辞のベクトルをそのまま使う


Hand-Crafted Features• AZP と先行詞候補の統語的関係を表現• : AZP に関連する素性

• Syntactic features: 13 種類例えば…• z が IP 節の最初の gap か？• z の次の語が NP または VP 中の動詞か？

• Other features: 6 種類例えば…• z は文の最初の gap か？• z の文法役割 (SUBJECT, OBJECT, OTHERS)

• : 先行詞候補に関連する素性• Syntactic features: 12 種類例えば…

• c は副詞的名詞句、時相名詞句、代名詞または NE か？• Distance features: 4 種類例えば…

• c と z の間の文数• Other features: 2 種類例えば…

• c はテキストの headline に含まれるか？• 両方 50 次元なのは、最後に 0 を埋めているだけ


Inference• Salience score が高い 4 つの先行詞候補のうち、 ( cos∝ 類似度 )が高いものを先行詞として選ぶ

• 選ばれた 4 つに正しい先行詞がある保証はない• AZP と ( 正しい ) 先行詞が離れ過ぎていることがあるゼロで出現が続く場合など [Chen and Ng ’13]

• AZP resolution は文頭から順番に実行• AZP の部分 (gap) に選択された先行詞を埋めて、以降の解析ではそこに先行詞があるものとして扱う

• もとの先行詞より近い位置にあるとみなせる


実験設定• CoNLL2012 - OntoNotes 5.0: 6 ジャンルのテキスト

• Broadcast News, Newswire, Broadcast Conversation, Telephone Conversation, Web Blog, Magazine

• Hyperparameter: Training の 20% を使って調整• Baseline: [Chen & Ng ’15] ( 教師なし AZP resolution)• 3 つの設定で比較

• 正解の AZP + 正解の構文木• システムの AZP+ 正解の構文木• システムの AZP+ システムの構文木


実験結果


実験結果分析• Baseline が [ 台湾 ] を選択した理由

• [ 台湾 ] が Salience が最も高く、 AZP にも近い

• 提案手法が [陈水扁 ] を選択した理由• 学習データ中に、人名が「希望」の項の AZP の先行詞となった例が多

数• [陈水扁 ] と上記の人名の embedding が似ていた学習データ中には「希望」の項の AZP の先行詞としては [陈水扁 ] は

出ていなかった

• 提案手法では、 lexical な情報は AZP の前の単語と、 AZP を項に取る単語、先行詞候補の単語の embedding のみ

• 節の sentence embedding などが有効かもしれないACL 読み会 2016@ 東工大

[ 陈水扁 ] 在登机前发表简短谈话时表示， [ 台湾 ] 要站起来走出去。 ...*pro* 也希望此行能把国际友谊带回来。

[我 ] 前一会精神上太紧张。 ...*pro* 现在比较平静了。[I] was too nervous a while ago. ... *pro* am now calmer.

Baseline→提案手法→

まとめと感想• まとめ

• Deep learning ベースの手法で中国語のゼロ照応解析に取り組んだ• Lexical な素性 (embedding) と Syntactic な素性を組み合わせた

• State-of-the-art を上回った (F 値 47.7 → 50.2)• 感想

• Hand-crafted feature だけでも、従来の機械学習ベースを上回ってる！• DL 部分に Syntactic な構造が入ればもっと良くなりそう• Embedding は先行詞候補側も用言の情報を使うとよさそう

• ゼロ代名詞の前の単語の Embedding は効いているのだろうか…• Training と Inference でモデルが違う ( 先に解いたゼロ代名詞の扱い ) のが気になる• 先行詞候補の Salience による絞り込みがかなり heuristic なので、その精度が知りたい• AZP の判定が問題の対象外になっているが、分けて解くのがいいのか？


hangyo acl paperreading2016

Technology