Lexical Inference over Multi-Word

Predicates: A Distributional Approach

Omri Abend, Shay B. Cohen, Mark Steedman

ACL 2014

読む人：高瀬翔知識獲得研究会2015/2/4

1

目的：複合述語の意味解析

• 複合述語：複数の単語からなる述語[Alsina+ 97]

–複合語の一種

–様々な言語現象を含む• 軽動詞（make a decision）

• 句動詞（lead to）

• 慣用句（kick the bucket）

• Goal：（複合）述語間の含意関係認識– prevent → reduce the incidence of

– increase the cost of → affect the price of

2

複合述語を扱う難しさ

• 複合述語を一語として扱う[Lin+ 01, Berant+ 11]

– 複合述語の項の分布から意味を獲得

• 伝統的な単語の意味獲得と同じ

– 複合述語の意味を直接得られる

• 慣用句，句動詞など全現象を扱える

– データが疎→ 統計情報に不安

• 単語から構成的に意味計算[Mitchell+ 10, Kiela+ 13]

– 統計情報は十分に得られる

– 慣用句（e.g., kick the bucket）に対処できない

3

本研究の取り組み

• 複合述語内の語彙的要素の認識– 語彙的要素：複合述語の意味を構成する，まとまりのある単位

– 複合述語を分割可能な単位に分けて意味計算• likely to give a green light → likely, give a green light

• 含意関係データセットから語彙的要素の認識を学習– 語彙的要素に分割，内容的意味の強さで重み付け，複合述語の意味を推定

– 構成性のある／ない複合述語を包括的に扱える

4

手法の概要

• 含意関係認識を行う際にどの語彙的要素で判断すれば良いか学習– devour と eat greedily

• devour と eat の類似性から含意と判定

– lead toと cause• lead to と cause の類似性から含意と判定

– 教師あり学習• 語彙的要素対の素性に重み付けして含意／非含意を推定

• 語彙的要素：複合述語を構成する内容語の組み合わせ– 前置詞も内容語とする– have a large number of：have, large, have large, …

– 計算時間削減のため，大きさは最大２単語

5

モデル

6

L(w |D) =1

MlogP(y(i) | p(i),w)

i=1

M

å -l

2||w ||2目的関数

訓練データサイズ

正解（含意／非含意）値は（1 or -1）

述語対e.g., prevent と reduce the incidence of

重みベクトル

=1

Mlog exp(wTF(p(i), y(i),h))

hÎH ( i )

å - logZ(w, i)æ

èç

ö

ø÷

i=1

M

å

-l

2||w ||2

語彙的要素対の集合

e.g., (prevent, reduce), (prevent, reduce incidence), …

各語彙的要素対の素性

モデル

7

L(w |D) =1

MlogP(y(i) | p(i),w)

i=1

M

å -l

2||w ||2目的関数

訓練データサイズ

正解（含意／非含意）述語対e.g., prevent と reduce the incidence of

重みベクトル

=1

Mlog exp(wTF(p(i), y(i),h))

hÎH ( i )

å - logZ(w, i)æ

èç

ö

ø÷

i=1

M

å

-l

2||w ||2

語彙的要素対の集合

e.g., (prevent, reduce), (prevent, reduce incidence), …

各語彙的要素対の素性

述語間の語彙的要素の全組み合わせについて

素性を抽出，含意関係の判定

素性

• Revrb[Fader+ 11]の結果から得た統計情報を利用– 含意／非含意で素性の符号反転

• 素性は大きく分けて２つ– 語彙的要素対の含意判定のため

• 語彙的要素対の分布類似度

• LDA素性

– 語彙的要素判定のため• 語彙的要素の単語の性質（本動詞になりやすさ）

• 語彙的要素の単語間の素性（語結合のしやすさ）

8

語彙的要素対の分布類似度

• 語彙的要素対の含意関係の判定のため– lead to → cause– 語彙的要素の左側に出現する単語の分布類似度，右側に出現する単語の分布類似度の積を用いる

• 類似度は２つ– コサイン類似度– BInc（含意関係の判定）[Szpektor+ 08]

• コサイン類似度に項の被覆率を掛けあわせた値

• 語彙的要素のhead（最左の単語）だけも測定– lead to, cause の場合

• lead to と cause の類似度• lead と cause の類似度

• 各語彙的要素対に合計 4 種の素性

9

左側の類似度 右側の類似度

LDA素性

• 語彙的要素対の含意関係判定のため

–選択選好をトピックモデルで導入

• 素性は２種類

–語彙的要素のトピック

–語彙的要素のトピックのエントロピー

• 語彙的要素の曖昧性をモデル

10

語彙的要素の単語の性質

• 軽動詞や句動詞の推定に貢献• 語彙的要素の単語毎に下記の素性を抽出

– 単語の出現するときどの品詞が最も多いか• 動作性名詞の特定• take a swim の swim は動詞

– 二番目に多い品詞は何か– 単語の出現頻度– 述語対に出現しているか（1 or 0）

• likely to come と likely to leave について likely は 1，come, leave は 0

– 述語内での位置（何番目の内容語か）

11

語彙的要素の単語間の素性

• 単語間の連結度の推定に貢献

– 慣用句や句動詞の推定

• 語彙的要素が２単語のとき下記の素性を抽出

– ２単語の品詞の組み合わせ

– ２単語の出現頻度

• 連接での出現頻度

– ２単語の出現する条件付き確率

• 前の単語→後ろの単語，後ろの単語→前の単語の２種

– ２単語のPMI

12

実験設定

• 素性の統計情報を得るコーパス– Reverb[Fader+ 11]の結果– 二項関係の述語と項を列挙したデータ

• 訓練・テストコーパス– 二項関係を表す述語間に含意関係を付与したデータ

[Zeichner+ 12]• prevent → reduce the incidence of• 述語はReverbの結果を用いている• 5,411ペア

– 項が逆になっているものを除く

– ランダムに訓練・テストデータに分けて使用• 訓練：4,343ペア• テスト：1,068ペア

13

結果

• 述語内の語彙的要素の認識，組み合わせで判定するモデルが最も良い– 構成要素の一部からだけでは複合述語の意味は解析できない– 構成要素の全単語を使い，類似度だけで判定した場合

• [Mitchell and Lapata 10]と同等の計算法• コサイン類似度：61.3%

• BInc：62.2%

– なので単語単位からの組み上げよりも提案手法が良い

14

最も左の単語だけ使う

動詞+前置詞だけ使う

述語内の語彙的要素の組み合わせを考える

語彙的要素の類似度 Sim+品詞，頻度，語彙的要素共有 LDAなし

まとめ

• 複合述語の語彙的要素の認識を行う手法を提案した–複合述語の意味計算に必要な要素を認識する手法

–句動詞や慣用句，構成性のある／なしなどを認識

• 含意関係認識を通じて複合述語の意味の計算性能が向上することを示した–語彙的要素を認識し，重み付けして意味計算

15