hangyo acl paperreading2016
Post on 07-Feb-2017
132 Views
Preview:
TRANSCRIPT
Chinese Zero Pronoun Resolution with Deep
Neural Networks Chen Chen and Vincent Ng
紹介する人 : 萩行 正嗣( ウェザーニューズ )
ACL 読み会 2016@ 東工大
Anaphoric Zero Pronoun Resolutionの用語• Zero pronoun (ZP): ゼロ代名詞
• 省略された代名詞• ( ここでは ) 現実世界の何らかの Entity を指すものと定義
• Anaphoric zero pronoun (AZP): 照応性のあるゼロ代名詞• 文中に指す先 ( 先行詞 ) のあるゼロ代名詞
• Antecedent: 先行詞• ( ゼロ ) 代名詞が指す「文中の表現」 (mention)
# “referent” といった場合、表現でなく、指す実体を意味することもある
ACL 読み会 2016@ 東工大
[ 俄罗斯 ] 作为米洛舍夫维奇一贯的支持者, *pro* 曾经提出调停这场政治危机。
([Russia] is a consistent supporter of Milošević, *pro* has proposed to mediate the political crisis.)
先行詞 ゼロ代名詞照応 (refer)
実際の文では *pro* の部分は何もない
AZP Resolution のサブタスク• AZP identification
• 文中から AZP を探す• 2step になっている
• Extracting candidate ZPs (ZP detection): ルールベース (VP の前を集めてくる )• Anaphoricity determination: AZP かそれ以外かを SVM などで二値分類
• 正解の構文木で F-score:0.601 、システムで 0.361( 本論文 appendix より )• 以降の Chen & Ng の研究はこの手法を使っている• [Chen & Ng ’13] の時より数字がよくなっている
• AZP Resolution• AZP の antecedent を先行詞から選ぶ• ZP は情報を持たないので、単複、性別などの手掛りがなく難しい• 先行詞候補は ZP の 2 文以内にある NP 全て
( 英語の照応解析の場合、先行詞候補の範囲を決めるなどのタスクもある )
ACL 読み会 2016@ 東工大
先行研究• Supervised learning:
• [Zhao & Ng ’07]: 照応解析の Mention pair モデルをゼロに適用• [Kong & Zhou ’10]: Tree-kernel で ZP detection 、 Anaphoricity
determination 、AZP resolution の 3 タスク全てをやった
• [Chen & Ng ’13]: [Zhao & Ng’07] の素性を増やした + 既に解いた AZP の情報• Unsupervised learning:
• [Chen & Ng ’14b]: 照応解析を教師なしの EM で回した結果をゼロに適用• [Chen & Ng ’15]: ゼロ照応解析だけの教師なし EM
ACL 読み会 2016@ 東工大
Gold AZPGold parse tree
System AZPGold parse tree
System AZPSystem parse tree
[Zhao & Ng ’07] 41.5 23.3 13.4
[Kong & Zhou ’10] 44.9 24.4 14.5
[Chen & Ng ’13] 47.7 26.4 15.7
[Chen & Ng ’14b] 47.7 26.4 15.7
[Chen & Ng ’15] 50.2 30.3 17.3
[Chen & Ng ’16] 52.2 32.1 18.4
教師あり教師なし提案手法
提案手法のポイント• 先行研究
• Feature engineering( というか生成モデル ) の設計が大変• 素性の独立性がないと悪影響
• [Chen & Ng ’14b][Chen & Ng ’15] では Lexical な素性を使っていない• 教師あり [Zhao & Ng ’07][Chen & Ng ’13] では Lexical feature が有効
• 尤度を最大化してるけど、 F 値などの評価尺度と関連してるか分からない• 提案手法
• Deep leaning• AZP resolution の複雑な関係 (hidden) を表現できる• Lexical な情報をいい感じに扱える
• Ranking-base の教師あり学習• 従来の教師あり AZP resolver は classification-based
• 素性ベースの手法• Lexical な素性 ( 教師なしで学習 ) と手作りの素性を両方使える
ACL 読み会 2016@ 東工大
提案手法 ( ネットワーク構成 )
ACL 読み会 2016@ 東工大
先行詞候補ゼロ代名詞
類似度が高いものを先行詞として選ぶ
学習事例の作成• 学習の効率化のため各 AZP に対して、先行詞候補を 4 つに絞る
• 1 つは正しい先行詞• 残りの 3 つは先行詞候補のうち salience が高いもの• Salience の計算は
•
ACL 読み会 2016@ 東工大
Embedding Features• Word2vec を固定で使う
• OntoNotes 5.0 で学習• 100 次元
• : AZP の embedding 素性• 2 つのベクトルを結合するAZP の直前の単語のベクトルAZP を項に持つ動詞のベクトル
• : 先行詞候補の embedding 素性• の主辞のベクトルをそのまま使う
ACL 読み会 2016@ 東工大
Hand-Crafted Features• AZP と先行詞候補の統語的関係を表現• : AZP に関連する素性
• Syntactic features: 13 種類 例えば…• z が IP 節の最初の gap か?• z の次の語が NP または VP 中の動詞か?
• Other features: 6 種類 例えば…• z は文の最初の gap か?• z の文法役割 (SUBJECT, OBJECT, OTHERS)
• : 先行詞候補に関連する素性• Syntactic features: 12 種類 例えば…
• c は副詞的名詞句、時相名詞句、代名詞または NE か?• Distance features: 4 種類 例えば…
• c と z の間の文数• Other features: 2 種類 例えば…
• c はテキストの headline に含まれるか?• 両方 50 次元なのは、最後に 0 を埋めているだけ
ACL 読み会 2016@ 東工大
Inference• Salience score が高い 4 つの先行詞候補のうち、 ( cos∝ 類似度 )が高いものを先行詞として選ぶ
• 選ばれた 4 つに正しい先行詞がある保証はない• AZP と ( 正しい ) 先行詞が離れ過ぎていることがあるゼロで出現が続く場合など [Chen and Ng ’13]
• AZP resolution は文頭から順番に実行• AZP の部分 (gap) に選択された先行詞を埋めて、以降の解析ではそこに先行詞があるものとして扱う
• もとの先行詞より近い位置にあるとみなせる
ACL 読み会 2016@ 東工大
実験設定• CoNLL2012 - OntoNotes 5.0: 6 ジャンルのテキスト
• Broadcast News, Newswire, Broadcast Conversation, Telephone Conversation, Web Blog, Magazine
• Hyperparameter: Training の 20% を使って調整• Baseline: [Chen & Ng ’15] ( 教師なし AZP resolution)• 3 つの設定で比較
• 正解の AZP + 正解の構文木• システムの AZP+ 正解の構文木• システムの AZP+ システムの構文木
ACL 読み会 2016@ 東工大
実験結果
ACL 読み会 2016@ 東工大
実験結果分析• Baseline が [ 台湾 ] を選択した理由
• [ 台湾 ] が Salience が最も高く、 AZP にも近い
• 提案手法が [陈水扁 ] を選択した理由• 学習データ中に、人名が「希望」の項の AZP の先行詞となった例が多
数• [陈水扁 ] と上記の人名の embedding が似ていた学習データ中には「希望」の項の AZP の先行詞としては [陈水扁 ] は
出ていなかった
• 提案手法では、 lexical な情報は AZP の前の単語と、 AZP を項に取る単語、先行詞候補の単語の embedding のみ
• 節の sentence embedding などが有効かもしれないACL 読み会 2016@ 東工大
[ 陈水扁 ] 在登机前发表简短谈话时表示, [ 台湾 ] 要站起来走出去。 ...*pro* 也希望此行能把国际友谊带回来。
[我 ] 前一会精神上太紧张。 ...*pro* 现在比较平静了。[I] was too nervous a while ago. ... *pro* am now calmer.
Baseline→提案手法→
まとめと感想• まとめ
• Deep learning ベースの手法で中国語のゼロ照応解析に取り組んだ• Lexical な素性 (embedding) と Syntactic な素性を組み合わせた
• State-of-the-art を上回った (F 値 47.7 → 50.2)• 感想
• Hand-crafted feature だけでも、従来の機械学習ベースを上回ってる!• DL 部分に Syntactic な構造が入ればもっと良くなりそう• Embedding は先行詞候補側も用言の情報を使うとよさそう
• ゼロ代名詞の前の単語の Embedding は効いているのだろうか…• Training と Inference でモデルが違う ( 先に解いたゼロ代名詞の扱い ) のが気になる• 先行詞候補の Salience による絞り込みがかなり heuristic なので、その精度が知りたい• AZP の判定が問題の対象外になっているが、分けて解くのがいいのか?
ACL 読み会 2016@ 東工大
top related