prml p.82 p.90 2.3.1 条件付きガウス分布tokky.xyz/data/20151124prml2.3.1-2.3.3.pdf · prml...

PRML

p.82 ～ p.90

2.3.1 条件付きガウス分布

2.3.2 周辺ガウス分布

2.3.3 ガウス分布に対するベイズの定理

1

導入

• 公式をいくつか確認

• ガウス分布の復習

2

公式を確認

演習2.22

対称行列の逆行列も対称行列になる

3

1 1( ) T TA A A A

TA A

1 1 TA A A A

1( ) T TI A A

1( ) ( ) T T TI A A

1( ) TI A A

両辺に左からをかける

両辺の転置をとる

1A

( )T T Tab b a

公式を確認4

T T Ta Ab b A a

T

i ij j

i j

a Ab a A b

( )T

j ji i

i j

b A a

T T b A a

公式を確認5

T T Ta Ab b A a

1 1T T a A b b A a

1 1( ) T TA A A A

今回はこの形でよく使う

導入

• 公式をいくつか確認

• ガウス分布の復習

6

（復習）ガウス分布

1次元の場合

多次元（D次元）の場合

7

2 2

2 1/2 2

1 1( | , ) exp ( )

(2 ) 2N x x

1

1/2/2

1 1( | , ) exp ( ) ( )

2(2 )

T

DN

x μ Σ x μ Σ x μ

Σ

( ) μ

( ) Σ

：平均（ベクトル）

：分散（共分散行列）2つのパラメータで特性が決まる

PRML




8


条件付き確率

9

( | )a bp x x が与えられた下でを取る確率

( | )a bp x x


分割

10

M行

D-M行

M列 D-M列

a

b

μμ

μ

a

b

xx

x

aa ab

ba bb

Σ ΣΣ

Σ Σ

( | )a bp x x

2.3.1 条件付きガウス分布11

aa ab

ba bb

Σ ΣΣ

Σ Σ T

ab baΣ Σ

1Λ Σ精度行列

共分散行列

aa ab

ba bb

Λ Λ

Λ Λ

対称行列の逆行列も対称行列

T

bb bbΣ Σ

T

aa aaΣ Σ

T

aa aaΛ Λ

T

bb bbΛ Λ

T

ab baΛ Λ


条件付き確率

12


条件付きガウス分布

13

( | )a bp x x の表現を考える

既知（定数として見る）

1

1/2/2

1 1( | , ) exp ( ) ( )

2(2 )

T

DN


Σ

ガウス分布の指数部分について考える


方針

① を定数として、ガウス分布の指数部分を見る。

② について、次数ごとに整理する。

③共分散行列、平均を求める。

14

ガウス分布はとで特性が完全に決まる。

bx

ax

( | )a bp x x

Σ μ

Σ μ


1

1/2/2

1 1( | , ) exp ( ) ( )

2(2 )

T

DN


Σ

1

1 1

1 1

1( ) ( )

2

1 1( ) ( ) ( ) ( )

2 2

1 1( ) ( ) ( ) ( )

2 2

T

T T

a a aa a a a a ab b b

T T

b b ba a a b b bb b b

x μ Σ x μ

x μ Λ x μ x μ Λ x μ


① を定数として、ガウス分布の指数部分を見る。bx

a

b

μμ

μ

a

b

xx

x

1 aa ab

ba bb

Λ ΛΣ Λ

Λ Λ


② について、次数ごとに整理する。ax

一般のガウス分布の場合

1

1 1 1 1

1 1

1( ) ( )

2

1 1 1 1

2 2 2 2

1.

2

T

T T T T

T T const

x μ Σ x μ

x Σ x x Σ μ μ Σ x μ Σ μ

x Σ x x Σ μ1 1 1( )T T T T μ Σ x x Σ μ x Σ μ

1 1( )T Σ Σ

に依存しない項x



一般のガウス分布の場合

1Σ

1Σ μ

2次の項の係数行列

1次（線形）の項の係数ベクトル



分割されたガウス分布の場合

1

1 1

1 1

1( ) ( )

2

1 1( ) ( ) ( ) ( )

2 2

1 1( ) ( ) ( ) ( )

2 2

T

T T


T T


x μ Σ x μ






1

2

T

a aa a x Λ x

2次の項

1

|a b aa

Σ Λ 1Σ

1Σ μ






1

2

1

2

( )

T T T T T T

a aa a a aa a a ab b a ab b b ba a b ba a

T T T T T T

a aa a a aa a a ab b a ab b a ab b a ab b

T

a aa a ab b b

x Λ μ μ Λ x x Λ x x Λ μ x Λ x μ Λ x

x Λ μ x Λ μ x Λ x x Λ μ x Λ x x Λ μ

x Λ μ Λ x μ

1次の項

T T Ta Ab b A a

T

aa aaΛ Λ

T

ab baΛ Λ




( )T

a aa a ab b b x Λ μ Λ x μ

1次の項

1

| |

| |

1

|

( )

( )

( )

a b a b aa a ab b b

a b a b aa a ab b b

a b a aa ab b b

Σ μ Λ μ Λ x μ

μ Σ Λ μ Λ x μ

μ μ Λ Λ x μ1

Σ

1Σ μ



1

|a b aa

Σ Λ




1

| ( )a b a aa ab b b

μ μ Λ Λ x μ

1

|a b aa

Σ Λ




1


μ μ Λ Λ x μ

1

|a b aa

Σ Λ

Q.精度行列ではなく、共分散行列を使って表すとどうなる？


1

aa ab aa ab

ba bb ba bb

Σ Σ Λ Λ

Σ Σ Λ Λ

共分散行列精度行列

それぞれの分割が単純に対応しているわけではない


分割した行列の逆行列

25

1 1

1 1 1 1

A B M MBD=

C D D CM D D CMBD

1 1( ) M A BD C


分割した行列の逆行列

26

1

1 1 1 1

A B M MBD=

C D D CM D D CMBD

1 1( ) M A BD C

1

|

1

( )

( )

a b a aa ab b b

a ab bb b b

μ μ Λ Λ x μ

μ Σ Σ x μ

1

|

1

a b aa

aa ab bb ba

Σ Λ

Σ Σ Σ Σ

1

aa ab aa ab

ba bb ba bb

Σ Σ Λ Λ

Σ Σ Λ Λ


共分散行列表現

精度行列表現

27

1

| ( )a b a ab bb b b

μ μ Σ Σ x μ

1

|a b aa ab bb ba

Σ Σ Σ Σ Σ

1


μ μ Λ Λ x μ

1

|a b aa

Σ Λ

簡潔！

PRML




28

2.3.2 周辺ガウス分布29

周辺ガウス分布

( ) ( , )a a b bp p d x x x x


方針

①同時ガウス分布の指数部分に注目する。

② を積分消去して、にのみ依存する関数とする。

③以下条件付きガウス分布と同様。

axbx

( ) ( , )a a b bp p d x x x x



1

1 1

1 1

1( ) ( )

2

1 1( ) ( ) ( ) ( )

2 2

1 1( ) ( ) ( ) ( )

2 2

T

T T


T T


x μ Σ x μ



3種類に展開可能

1. を含む項（の2次、1次の項）

2. を含まず、に依存する項（の2次、1次の項）

3. を含まない項（定数項）

axbxbx ax,a bx x

bx


２．を含まず、に依存する項（の2次、1次の項）

そのままのみの関数として見ることができる。

axbxax

ax

1( )

2

T T

a aa a a aa a ab b x Λ x x Λ μ Λ μ


３．を含まない項（定数項）

共分散行列、平均ベクトルの計算には影響しない。

,a bx x

const


1. を含む項（の2次、1次の項）bxbx

平方完成によって

• 2次の項

• 定数項（は含む）

に分けられる。ax

( )bb b ba a a m Λ μ Λ x μ

1

2

T

b bb b b x Λ x x m



1 1 1

1

2

1 1( ) ( )

2 2

T

b bb b b

T T

b bb bb b bb bb

x Λ x x m

x Λ m Λ x Λ m m Λ m

2次の項定数項



1 11( ) ( )

2

T

b bb bb b bb

x Λ m Λ x Λ m

2次の項

1 11exp ( ) ( )

2

T

b bb bb b bb bd

x Λ m Λ x Λ m x

積分消去すると……

1

1/2/2

1 1( | , ) exp ( ) ( )

2(2 )

T

DN


Σ

共分散行列の行列式にのみ依存

ガウス分布は積分すると１



11

2

T

bb

m Λ m

定数項

( )bb b ba a a m Λ μ Λ x μ

11( ) ( )

2

T

bb b ba a a bb bb b ba a a

Λ μ Λ x μ Λ Λ μ Λ x μ



1

1 1

1 1

1( ) ( )

2

1 1( ) ( ) ( ) ( )

2 2

1 1( ) ( ) ( ) ( )

2 2

T

T T


T T


x μ Σ x μ



3種類に展開可能

1. を含む項（の2次、1次の項）

2. を含まず、に依存する項（の2次、1次の項）

3. を含まない項（定数項）

axbxbx ax,a bx x

bx


共分散行列、平均ベクトルを求める

11( ) ( )

2

T

bb b ba a a bb bb b ba a a

Λ μ Λ x μ Λ Λ μ Λ x μ

1( )

2

T T

a aa a a aa a ab b x Λ x x Λ μ Λ μ

1 11( ) ( )

2

T T

a aa ab bb ba a a aa ab bb ba a

x Λ Λ Λ Λ x x Λ Λ Λ Λ μ

1Σ

1Σ μ





1 11( ) ( )

2

T T



1Σ

1Σ μ



1 1( )a aa ab bb ba

Σ Λ Λ Λ Λ

1 1( )a aa ab bb ba

Σ Λ Λ Λ Λ



1 11( ) ( )

2

T T



1Σ

1Σ μ



1 1( )a aa ab bb ba

Σ Λ Λ Λ Λ

1 1

1

( )

( )

aa ab bb ba a a a

a aa ab bb ba a a

Λ Λ Λ Λ μ Σ μ

Σ Λ Λ Λ Λ μ μ



1 1( )a aa ab bb ba

aa

Σ Λ Λ Λ Λ

Σ

1

1 1 1 1

A B M MBD=

C D D CM D D CMBD

1 1( ) M A BD C

1

aa ab aa ab

ba bb ba bb

Σ Σ Λ Λ

Σ Σ Λ Λ


周辺ガウス分布の平均と共分散

cov a aax Σ

a aaE x μ

( )ap x

PRML




44

2.3.3 ガウス分布に対するベイズの定理45

1( ) ( | , )p N x x μ Λ

1( | ) ( | , )p N y x y Ax b L

が与えられている下での

( )p y

( | )p x y

を求める。


方針

( )p x ( | )p y x

( )p y ( | )p x y

( , )p x y


( , ) ( ) ( | )

ln ( , ) ln ( ) ln ( | )

p p p

p p p

x y x y x

x y x y x

1( ) ( )

2

1( ) ( )

2

T

T const

x μ A x μ

y Ax b L y Ax b


1 1( ) ( ) ( ) ( )

2 2

T T const x μ A x μ y Ax b L y Ax b

精度行列を求める

2次の項だけを抜き出す

1

2

T T T

x xΛ A LA A L

y yLA L

T T

Λ A LA A LR

LA L

( , )p x y

1Σ

1Σ μ




精度行列から共分散行列を求める

T T

Λ A LA A LR

LA L

1 1

1

1 1 1cov[ , ]

T

T

Λ Λ Ax y R

AΛ L AΛ A

1

1 1 1 1

A B M MBD=

C D D CM D D CMBD

1 1( ) M A BD C

( , )p x y


1 1( ) ( ) ( ) ( )

2 2

T T const x μ A x μ y Ax b L y Ax b

平均を求める

1次の項だけを抜き出すT T

x Λμ A Lb

y Lb

1[ , ]

[ , ]

T

E

E

Λμ A Lbx y R

Lb

μx y

Aμ b

( , )p x y

1Σ

1Σ μ




方針

( )p x ( | )p y x

( )p y ( | )p x y

( , )p x y 完了！


周辺分布

分割された「共分散行列」で簡潔に表現できる。

( )p y

cov a aax Σ

a aaE x μ

1 1

1 1 1cov[ , ]

T

T

Λ Λ Ax y

AΛ L AΛ A

[ , ]E

μx y

Aμ b

1 1cov[ ] T y L AΛ A

[ ]E y Aμ b


方針

( )p x ( | )p y x

( )p y ( | )p x y

( , )p x y 完了！

完了！


条件付き分布

分割された「精度行列」で簡潔に表現できる。

( | )p x y

1


μ μ Λ Λ x μ

1

|a b aa

Σ ΛT T

Λ A LA A LR

LA L

1cov[ | ] ( )T x y Λ A LA

1[ | ] ( ) ( )T TE x y Λ A LA A L y b Λμ

prml p.82 p.90 2.3.1 条件付きガウス分布tokky.xyz/data/20151124prml2.3.1-2.3.3.pdf · prml...

Documents