3.1.2 最小二乗法の幾何学

辻　順平 @tsujimotter http://tsujimotter.info

PRML 勉強会 #4 @筑波大学 ハッシュタグ #PRML学ぼう http://cs-cafe.connpass.com/event/14595/　

最小二乗法

�(x)

(�(xn), tn)N 組の教師データ y

基底関数の M 次元ベクトル

y(x,w)線形モデル

2

y(x,w) = w0 +M�1X

j=1

wj�j(x)

１出力

y(x,w) =M�1X

j=0

wj�j(x)

�0(x) = 1 とすると，以下のようにまとめられる

線形モデルの定式化

M 個のパラメータ

3

w = (w0, · · · , wM�1)T

�(x) = (�0(x), · · · ,�M�1(x))T

y(x,w) =M�1X

j=0

wj�j(x) = w

T�(x)

ただし，

ベクトルの内積で表す

4

wT

Φ(x)

y(x,w)

y(x,w) =M�1X

j=0

wj�j(x) = w

T�(x)

5

wT

Φ(x1)

y(xN,w)

Φ(x2) Φ(xN)

y(xN,w) y(xN,w) ・・・

・・・

(y(x1,w), y(x2,w), · · · , y(xN ,w)) = w

T (�(x1),�(x2), · · · ,�(xN ))

�TyT

6

w

ΦT(x1) y(xN,w)

ΦT(x2)

ΦT(xN)

y(xN,w)

y(xN,w)

�T

呍呍呍

呍呍呍

(y(x1,w), y(x2,w), · · · , y(xN ,w))T = (�(x1),�(x2), · · · ,�(xN ))T w

y

7

� = (�(x1),�(x2), · · · ,�(xN ))T

=

0

BBB@

�0(x1) �1(x1) · · · �M�1(x1)�0(x2) �1(x2) · · · �M�1(x2)

......

. . ....

�0(xN ) �1(xN ) · · · �M�1(xN )

1

CCCA

計画行列（design matrix）

8

� = (�(x1),�(x2), · · · ,�(xN ))T

=

0

BBB@

�0(x1) �1(x1) · · · �M�1(x1)�0(x2) �1(x2) · · · �M�1(x2)

......

. . ....

�0(xN ) �1(xN ) · · · �M�1(xN )

1

CCCA

=�'0,'1, · · · ,'M�1

�

計画行列（design matrix）

9

M 個のベクトルの線形結合 N次元ベクトル

N: データ数 M: 基底関数ベクトルの次元（パラメータ数）

y = w0'0 + w1'1 · · ·+ wM�1'M�1

y = ('0,'1, · · · ,'M�1)w

10

M 次元 部分線形空間 S

S =�w0'0 + w1'1 · · ·+ wM�1'M�1 | w0, w1, . . . , wM�1 2 R

S は　　　　　　　　　　　 で張られる線形空間

S = span('0,'1, . . . ,'M�1)

{'0,'1, · · · ,'M�1}

y 2 S定義より， 11

y = w0'0 + w1'1'0

'1S

の幾何的解釈 y = �w

12

w = (�T�)�1�T t

y = �w

　　　　　　　　　　　を最小化するような　　　　　を

それぞれ　　　　とすると，これらは以下のように書ける。

y,w

y, w

J(w) =1

2|t� y|2

二乗和誤差関数

・・・（補足★） 13

y = �(�T�)�1�T t

Hより，以下が得られる

y = Ht

　　を代入すると，

N 次元ベクトル

M 次元部分空間 S 上のベクトル

w = (�T�)�1�T t

14

tH

y = Ht

yy = w0'0 + w1'1'0

'1

r = t� y

の幾何的解釈

S

直交性

N 次元ベクトルを M 次元部分空間に 射影する変換

15

直交性の証明の方針

以下の２つのベクトルの内積が０であることを示す

• ア

• イ

y = Ht

r = t� y = (I �H)t

I は単位行列 16

Hat Matrix

H = �(�T�)�1�T

H2 = H1. Idempotency (冪等性)：

2. Symmetry (対称性)： HT = H17

1. 冪等性の証明

H2 = H · H = �(�T�)�1�T ·�(�T�)�1�T

= �(�T�)�1(�T�)(�T�)�1�T

= �(�T�)�1�T = HAA�1 = I

18

2. 対称性の証明

HT = (�(�T�)�1�T )T

= �(�T�)�1�T = H

19

直交性の証明

= tTHT (I �H)t

= tTH(I �H)t

= tT (H�H2)t

= tTOt = 0 (* H2 = H)

(* HT = H)

yT r = (Ht)T (I �H)t

20

tH

y = Ht

yy = w0'0 + w1'1'0

'1

r = t� y

の幾何的解釈

S

直交性

N 次元ベクトルを M 次元部分空間に 射影する変換

直交するとき 「正射影」という

21

まとめ

•  最小二乗法とは，N 個の教師データと線形モデルとの二乗誤差を最小化するような M 個のパラメータを見つける手法である

•  最小二乗法は，N 次元ベクトルに対する M 次元線形空間 S 上への正射影を求める手法である

幾何的な解釈

22

参考文献

•  PRML 第３章「線形回帰モデル」 3.1.2 「最小二乗法の幾何学」

•  Cedric E. Ginestet, "Hat Matrix: Properties and Interpretation", http://math.bu.edu/people/cgineste/classes/ma575/p/w5_1.pdf

•  PRML 第３章 演習 3.1-3.10 http://fishii.github.io/osaka_prml_reading/ex_03_01-10.html

23

補足 1. 最小二乗法の解法 2. 二次形式

24

1. 最小二乗法の解法

を満たす，　　　　　　　を求めたい

・・・（１）

25

@J(w)

@w= 0 w = w

J(w) =1

2|t��w|2 =

1

2(t��w)T (t��w)

=1

2

⇣tT t�wT�T t� tT�w +wT�T�w

⌘

参考：主要な微分公式

26

@(wTAw)

@w= 2Aw

@

@w(aTw) = a

@

@w(wTa) = a

より

したがって， w = (�T�)�1�T t ・・・（★）

@J(w)

@w

����w=w

= 0

@J(w)

@w= ��T t+�T�w

��T t+�T�w = 0

�T t = �T�w および tT� = wT�T�

を式（１）に代入すると，

J(w)

が得られる。

・・・（２）

28

２．二次形式

=1

2

⇣tT t�wT�T�w � wT�T�w +wT�T�w

⌘

=1

2

⇣tT t�wT�T�w � wT�T�w +wT�T�w

⌘

これを平方完成すると，

二次形式

？ 29

J(w) =1

2

⇣tT t� wT�T�w + wT�T�w �wT�T�w � wT�T�w +wT�T�w

⌘

J(w) =1

2

⇣tT t� wT�T�w + wT�T�w �wT�T�w � wT�T�w +wT�T�w

⌘

) J(w) =1

2

⇣tT t� wT�T�w

⌘+

1

2(w � w)T�T�(w � w)

ここで，式（２）に　　　　　　　を代入すると， w = w

が得られるから，結局，

のときの誤差（最小二乗誤差） w = w

Hessian matrix

30

J(w) =1

2

⇣tT t� wT�T�w

⌘

J(w) = J(w) +1

2(w � w)T (�T�)(w � w)

二次形式

Hessian  Matrix

上の行列は以下の性質を持つ：

２．正定値性（positive definite）： 8x 6= 0, xTHx > 0HT = H１．対称性（symmetry）：

以上から，　　　　　　は　　　　　 の極小値をとる J(w)w = w31

H :=

✓@2J

@wi@wj

◆= �T�

J(w) = const.

w1

w2

w

Hessian の第１主成分 に対する固有ベクトル

Hessian の第２主成分 に対する固有ベクトル

32

の等高線