PRML p184-p189

内容

• Least squares for classification

– クラス分類ための最小二乗法

• Fisher’s linear discriminant

– フィッシャーの線形判別

– LDA

6.4 線形判別法 ：2クラスに対する線形判別法（フィッシャーの方法）

回帰の最小二乗法(第3章)

• 線形モデル

• パラメータwの求め方

– 二乗和誤差関数：

∂ED(W)∂W = 0 w=…

分類の場合

• Kクラス、ベクトル tは1of K形式の場合–最小二乗法を利用する理由として：

• 入力ベクトルx がわかるとき、tに関する条件付き期待値 を近似できる

–条件付き期待値は各クラスの事後確率からなるベクトル

– しかし、線形モデルの柔軟性の問題で、分布の近似は悪い、近似値は(0,1)から外れる場合がある

E[t|x]

クラス分類ための線形モデル

• 各クラスこと一つの線形モデル、例えば の場合

• K個の式をまとめると以下のようになる

• 分類を行うとき– 入力xは 最大のクラスkに配属する

Ck

yk = w̃Tkx̃

w̃k = (wk0,wTk)T x̃ = (1,xT)T式(4.14)中：

二乗和誤差関数

• 二乗和誤差関数

– 学習セット：

(D+1)*K次元N*(D+1)次元N*K次元

T =

tT1...tTN

X̃ =

x̃T1...x̃TN

W̃ =

(w̃1 . . . w̃K

)

{xn, tn} n = 1, . . . , N

式(4.15)中：

の求め方

• 二乗和誤差関数

• 線形のモデルに代入すると式(4.17)になる

∂ED(W̃)

∂W̃= 0

C.24,C.25,C.27を利用して

性質

• もし学習セット中のすべてのtnについて以下

の式が成り立つ

–予測を行う場合、任意の入力xについて同じよう

な式が成り立つ

–つまり、 1of K形式の場合、任意のxに対してy(x)の成分の和は1になる。ただし、各成分の値は(0,1)になる拘束が含まれていないため、確率

として扱えない

問題4.2

性質

• 最小二乗法はclosed-formの解

• しかし、ある決定を下すことや確率的な解釈が求められる判別関数として以下の場合問題がある

–外れ値に影響されやすい

–頑健性が欠けている

外れ値の影響

−4 −2 0 2 4 6 8

−8

−6

−4

−2

0

2

4

−4 −2 0 2 4 6 8

−8

−6

−4

−2

0

2

4

最小二乗法を利用した線形識別器

ロジスティック回帰(4.3.2節)

頑健性

−6 −4 −2 0 2 4 6−6

−4

−2

0

2

4

6

−6 −4 −2 0 2 4 6−6

−4

−2

0

2

4

6

最小二乗法を利用した線形識別器

ロジスティック回帰

原因

• 最小二乗法は条件付き関数が正規分布と仮定する場合の最大尤度に関係がある– しかし、ターゲットベクトルtに関する分布は正規分布

でないことが明らかだ

• もっと適切な確率モデルを利用することで、最小２乗誤差法より性質がいい手法を考えことができる

• 続きでは、非確率手法を用いて線形識別器のパラメータを決める手法を紹介する

線形モデルについて

• 線形判別モデル：一種の次元削減方法• 2クラス、x:D次元ベクトルの場合：

• 分類を行うとき

• 一般的に1次元への射影とともに元の情報が失う。そしてデータはD次元のとき分離できるが、1次元になると重なる。このため、wを調整して、クラス間の分離を最大化することが考えられる

y=wTx (4.20)

y ≥ −w0 x ∈ C1 x ∈ C2ほかの時

フィッシャーの線形判別

• クラス内平均

• 投影されたクラス内平均の差を最大化するwを求

める

C1 : N1 C2 : N2

式(4.22)中に

mk = wTmk

フィッシャーの線形判別

• wについての拘束が必要

• Lagrange未定乗数法を利用して

w ∝ (m2 −m1)

L = wT(m2 −m1) + λ(∑D

i=1 wi − 1)

∂L

∂w= 0

結果

−2 2 6

−2

0

2

4

−2 2 6

−2

0

2

4

(m2 −m1) を最大した場合 フィッシャーの方法を用いた場合

フィッシャーの線形判別

投影された後の各クラス間の平均の差への配慮

投影された後の各クラス内の分散への配慮+

• 投影された後の各クラス内の分散

• フィッシャーの基準

フィッシャーの基準を最大化するwを求める

フィッシャーの線形判別

• 式(4.25)に式(4.20),(4.23),(4.24)を代入すると：

• その中

– クラス間共分散行列：

– クラス内共分散行列：

wの求め方

∂J(w)/∂w = 0

式(4.27)から、SBWの方向は(m2-m1)と一致

scalar

性質

• フィッシャーの線形判別は一つの投影方向を探す方法、正確では線形判別といえない。ただし、判別を作ることができる。

–例えば閾値を設ける

– クラスことの分布 を正規分布としてモデリングを行う

P (y|Ck)

性質

−2 2 6

−2

0

2

4

1.5.1節の内容を利用して適

切な閾値を決める

正規分布仮定の根拠は中心極限定理母集団母集団母集団母集団がどのようながどのようながどのようながどのような分布分布分布分布をををを持持持持っていてもっていてもっていてもっていても，，，，そこからそこからそこからそこから取取取取りりりり出出出出したしたしたした標本標本標本標本のののの算術平均算術平均算術平均算術平均はははは正規正規正規正規分布分布分布分布にしたがうにしたがうにしたがうにしたがう

クラスことの分布 を正規分布としてモデリングを行う場合P (y|Ck)