文献紹介2014/05/01

長岡技術科学大学自然言語処理研究室

岡田正平

紹介する文献

2

文献情報Roman Klinger and Philipp Cimiano.Bidirectional Inter-dependencies of Subjective Expressions and Targets and their Value for Joint Model.Proceedings of the 51st Annual Meeting of the ACL, pp. 848-854. 2013

3

概要• Opinion mining における subjective

expression と target の相互依存性を扱う–既存研究は1方向しか扱っていない

• 双方向の関係を扱うsubjective expression および target を抽出するモデルの提案

4

背景

5

背景sentiment analysis や opinion mining subjective term, polarity, targetの同定

e.g.) I like the low weight of the camera.subjective: “like” target: “low weight”polarity: positive

• これらは相互依存関係にあるのでは？

6

扱う問題• subject termについての知識が完全な場合と不完全な場合の比較

• targetについての知識が完全な場合のsubject termの予測への影響

• targetについての知識が不完全な場合はどうか（学習したモデルからの予測）

7

IMPERATIVELY DEFINEDFACTOR GRAPH

8

Factor Graph• factor と variable からなる2部グラフ• 多変数関数の factorize に対応

9

wikipedia “factor graph” より転載

𝑔 𝑋1,𝑋2,𝑋3= 𝑓1 𝑋1 𝑓2 𝑋1,𝑋2 𝑓3 𝑋1,𝑋2 𝑓4(𝑋2,𝑋3)

Factor Graph• ベイズ推定の応用（誤り訂正など）に用いられるらしい

• NLPではn-gram言語モデルとか？

10

Imperatively Defined Factor Graph• variable に入力変数集合 xと出力変数集合 yがある

• 入出力変数の部分集合 x𝑖 , y𝑖 を引数とする関数𝑓𝑖 x𝑖 , y𝑖 が factor Ψ𝑖

• 言い換えれば，(x𝑖 , y𝑖)から得られる特徴量がfactor?

11

Imperatively Defined Factor GraphA factor template 𝑇𝑗 consists of parameters {𝜃𝑗𝑗},sufficient statistic functions {𝑓𝑗𝑗}, and a description of an arbitrary relationship between variables, yielding a set of tuples x𝑖 , y𝑖 （元の文献より引用）

• ここ（特に description が何か）の理解が不十分

12

Imperatively Defined Factor Graph• 確率分布が次式で表現される• 𝑝 y x =

1𝑍(x)

∏ ∏ exp(∑ 𝜃𝑗𝑗𝑓𝑗𝑗(x𝑖 , y𝑗)) 𝐾𝑗𝑗=1x𝑖,y𝑖 ∈𝑇𝑗𝑇𝑗∈T

• 全 factor とパラメータの線形結合

13

抽出モデル

14

Model | variable• variable は subjective term と target• 複数トークンからなる表現に対応すべく

span として表現• 𝑠 = 𝑙, 𝑟, 𝑐

𝑙, 𝑟はトークン列中の span の左端・右端の位置𝑐 ∈ {target, subjective}

15

Model | factor template• factor template は大きく分けて2種類

– single span template– inter-span template

16

Model | single span template• トークンのPOSタグ (POS)• トークンの文字列（小文字） (W)• トークンのPOSタグ&文字列の組み合わせ

(POS-W)• span内のPOSタグ列 (POS-SEQ)

17

Model | inter-span template• 以下の3つと，single span template の組合わせ

– target の span が subjective term に隣接する名詞を含むか ([NO-]CLOSE-NOUN-x）

– 他クラスの span が同じ文中に存在するか ([NO-]BOTH-x)

– target と subject 間に単一の係り受け関係があるか([NO-]ONE-EDGE-x)

18

例（元の文献より転載）19

Model | サンプリング• MCMC法により推定を行う• 1回のサンプルごとに各 span は class を変えられるか，1トークン分伸ばすか縮められる

20

実験

21

対象データ• J.D. Power and Associates Sentiment Corpora

–車とカメラについてのblog– subjective term と target についてアノテート済

• Twitter data set– Stanford parser を用いないため，ONE-EDGEの特徴量は使えない

22

実験項目1. subjective term の推定→ target の推定2. target の推定→ subjective term の推定3. 完全な subjective term の知識を利用した

target の推定4. 完全な target の知識を利用した subjective

term の推定23

実験結果 | camera data set

24

実験結果 | car data set

25

実験結果 | Twitter data set

26

まとめ• subjective term と targetは相互に依存していることが認められた

• その影響の仕方は非対称的だった• パイプライン的に処理する場合には，先に

subjective term を推定した方がいい

27