2016/03/09 NLP2016@東北大学

構成性と非構成性を同時に考慮した動詞句の表現学習

橋本和真 鶴岡慶雅 (東京大学)

2016/03/09 NLP2016@東北大学

• 単語をベクトル空間の一点として表す研究

– 単語間の意味的・用法的な類似度が定義可能

– Word embeddingとよばれ流行中

単語のベクトル表現

apple

orangefruit

googlebaidu

企業果物

𝒗 fruit

2 / 20

2016/03/09 NLP2016@東北大学

• 構成的表現 (Compositional representation)

– 句の意味＝構成単語の意味の組み合わせ

• 𝒄 𝑝 = 𝑓 𝑤1, 𝑤2, … , 𝑤𝐿

–例) LSTMリカレントニューラルネットワーク

• 非構成的表現 (Non-compositional representation)

– 句＝一まとまり（一単語）

• 𝒏 𝑝 = パラメータ化されたベクトル

–例) word2vecで句を単語扱いにして学習

句のベクトル表現

圧倒的主流

3 / 20

2016/03/09 NLP2016@東北大学

• 世の中にはイディオム表現などが存在する

– 構成的な句の例

• buy car (車を買う)

• own land (土地を所有する)

– 非構成的な句の例

• bear fruit (効果を生ずる)

• shed light on (明確にする)

全ての句を構成的に扱って良いか？

近いベクトル

bear herb

bear grain

bear spore

bear variety

bear seed

bear substance

bear foliage

すべて構成的に扱うと・・

そもそも、明確に分類できるとも限らない

4 / 20

2016/03/09 NLP2016@東北大学

• 意味構成関数に関するエラーを使用 (Yazdani et al., 2015)

– 単語ベクトル, 句の非構成的表現をword2vecで学習

– 構成的表現でどれだけ非構成的表現を再現できるか？

• 構成的表現と非構成的表現を区別せずに学習

• 句の構成的表現の類似度を使用 (Kiela and Clark, 2013)

– 事前に計算した単語ベクトルから句ベクトルを構成

• 構成的表現と非構成的表現の区別無し

構成性の検出に関する最近の研究

構成的表現と非構成的表現を適応的に区別しつつ学習したい

5 / 20

2016/03/09 NLP2016@東北大学

• 他動詞句の表現学習において以下を同時に考慮：

– 構成的表現 𝒄 𝑉𝑂

– 非構成的表現 𝒏 𝑉𝑂

本発表：適応的に構成性・非構成性を考慮

動詞 V

目的語 O

構成性の検出モデル

𝛼 𝑉𝑂 ∈ 0, 1

構成的表現

非構成的表現

𝛼 𝑉𝑂

1 − 𝛼 𝑉𝑂

動詞句embedding

𝒄 𝑉𝑂

𝒏 𝑉𝑂

同時学習

6 / 20

2016/03/09 NLP2016@東北大学

• 動詞-目的語の句の表現を構成的表現と非構成的表現の

重み付き和で計算

提案手法：𝒄 𝑉𝑂 と𝒏 𝑉𝑂 の同時学習

𝒗 𝑉𝑂 = 𝛼 𝑉𝑂 𝒄 𝑉𝑂 + 1 − 𝛼 𝑉𝑂 𝒏 𝑉𝑂

𝛼 𝑉𝑂 = 𝜎 𝑾𝑇𝒈 𝑉𝑂

構成的表現 非構成的表現

重み 素性

ロジスティック関数

7 / 20

2016/03/09 NLP2016@東北大学

• 動詞-目的語の組み合わせに関する基本的な素性

– バイナリ素性

• 動詞

• 目的語

• 動詞-目的語の組み合わせ

– 実数値素性 (Venkatapathy and Joshi, 2005)

• 動詞-目的語の組み合わせの頻度

• 動詞-目的語の組み合わせの自己相互情報量 (PMI)

𝛼 𝑉𝑂 に関する素性

8 / 20

2016/03/09 NLP2016@東北大学

• 句のベクトル表現を学習するモデルに組み込む

– あるタスクのロス関数 𝐽 を設定

– それぞれの𝛼 𝑉𝑂 がどうあるべきかは勝手に学習される

𝒄 𝑉𝑂 と𝒏 𝑉𝑂 の同時学習のイメージ

𝒗 𝑉𝑂 = 𝛼 𝑉𝑂 𝒄 𝑉𝑂 + 1 − 𝛼 𝑉𝑂 𝒏 𝑉𝑂

𝛼 𝑉𝑂 = 𝜎 𝑾𝑇𝒈 𝑉𝑂

何かのタスク

minimize 𝐽バックプロパゲーション

9 / 20

2016/03/09 NLP2016@東北大学

• 述語項構造上の共起に基づく学習 (Hashimoto and Tsuruoka, 2015)

– 主語-動詞-目的語の共起 (SVO)

– SVO-前置詞-名詞の共起 (SVOPN)

述語項構造の尤もらしさの判定タスク

(make, importer, payment): 0.31 自然なのでスコア大(eat , importer, payment): -0.25 不自然なのでスコア小

𝐽 𝑝,𝑎1,𝑎2 =

ここに提案手法を適用

10 / 20

2016/03/09 NLP2016@東北大学

• 動詞-目的語の句の表現を構成的表現と非構成的表現の

重み付き和で計算

提案手法 (再掲)

𝒗 𝑉𝑂 = 𝛼 𝑉𝑂 𝒄 𝑉𝑂 + 1 − 𝛼 𝑉𝑂 𝒏 𝑉𝑂

𝛼 𝑉𝑂 = 𝜎 𝑾𝑇𝒈 𝑉𝑂

構成的表現 非構成的表現

重み 素性

ロジスティック関数

11 / 20

2016/03/09 NLP2016@東北大学

• 学習データ (Hashimoto and Tsuruoka, 2015)

– BNC

• SVO 138万組, SVOPN 93万組

– English Wikipedia

• SVO 2,360万組, SVOPN 1,730万組

• 単語ベクトルの次元

– 25次元

• パラメータの最適化 (全て乱数初期化)

– AdaGrad (Duchi et al., 2011)

• 𝛼 𝑉𝑂 の重みにL2ノルム正則化

実験設定

12 / 20

2016/03/09 NLP2016@東北大学

• 動詞-目的語の句に関して人手で構成性の度合いを評価

– スコア: 1~6 (高いほど構成性の度合いが高い)

• VJ’05: 765組 (Venkatapathy and Joshi, 2005)

• MC’07: 638組 (McCarthy et al., 2007)

• 𝛼 𝑉𝑂 と人手スコアのスピアマン相関係数により評価

評価1: 動詞-目的語の構成性の検出

句の例

13 / 20

2016/03/09 NLP2016@東北大学

• BNC, Wikipediaのどちらを用いても最高精度を達成

– 両方の出力の相関係数は0.674

– 性質の異なるデータで学習した結果を合わせると

(ensemble), さらに性能アップ

人手スコアとの相関係数の結果

ラベル無し

ラベル有り

提案手法

14 / 20

2016/03/09 NLP2016@東北大学

• それぞれの句ごとに収束している

学習中の𝛼 𝑉𝑂 の変化の様子

パラメータの更新回数

𝛼 𝑉𝑂

15 / 20

2016/03/09 NLP2016@東北大学

• 上手くいったものとそうでないものがある

– 軽動詞 (take, make, haveなど) が難しい

• イディオムが多い𝛼 𝑉𝑂 が小さくなりがち

–軽動詞でも構成性が高いものが存在

𝛼 𝑉𝑂 の例

句の例

良い例

悪い例

16 / 20

2016/03/09 NLP2016@東北大学

• 動詞句ベクトル間のコサイン距離と, 人手でつけた意味関

連度スコアのスピアマン相関係数により評価

評価2: 他動詞の語義曖昧性解消

主語-動詞-目的語 (GS’11)

(Grefenstette & Sadrzadeh, 2011)

動詞句の組 類似度スコア

student write name

student spell name7

child show sign

child express sign6

system meet criterion

system visit criterion1

17 / 20

2016/03/09 NLP2016@東北大学

• 最高精度の手法 (𝛼 𝑉𝑂 =1) を上回る結果

– 意味構成関数の質が上がったと考えられる

– ここでも, 異なるデータの結果を合わせることで大きく

改善された

人手スコアとの相関係数の結果

提案手法

18 / 20

2016/03/09 NLP2016@東北大学

• ``bear fruit’’ に近いフレーズの変化

Embeddingの学習への効果

近いベクトル

bear herb

bear grain

bear spore

bear variety

bear seed

bear substance

bear foliage

近いベクトル

accentuate effect

enhance beauty

enhance atmosphere

rejuvenate earth

enhance habitat

increase prosperity

accentuate isolation

𝛼 𝑉𝑂 = 1 提案手法

19 / 20

2016/03/09 NLP2016@東北大学

• 句のベクトルの構成的表現と非構成的表現を同時に考慮し

た学習手法を提案

– 動詞句のタスクで最高精度を達成

– 性質の違うデータで学習した結果の組み合わせが効果的

• 今後：

– 文脈情報の考慮

– 様々な種類の句・タスクへの適用

– 非構成的表現の句の候補の自動検出

まとめ・今後の課題

20 / 20