chapter2.3.6

第２回PRML読書会復讐レーン2.3.6 ガウス分布に対するベイズ

推論

2010/05/08

Presented by takmin

おさらい

• ガウス分布（１次元）

2

22/12

2

)(2

1exp

)2(

1

,|),|(

x

xNxp

二次形式正規化係数

μ x

おさらい

• ガウス分布（D次元）

)()(2

1exp

1

)2(

1

,|),|(

1T

2/12/μxΣμx

Σ

ΣμxΣμx

D

Np

二次形式正規化係数

Σ

xμ

おさらい

• 最尤推定

N

n

nxpp1

)|()|( θθx

データが観測されたとき，そのデータが発生する確率（尤度）を最大化するパラメータを求めること

パラメータ観測データサンプル

尤度

おさらい

• ベイズ推論

N

n

nxpppp

p

ppp

1

)|()()()|(

)(

)()|()|(

θθθθx

x

θθxxθ

データが観測されたとき，パラメータがとる確率分布を求める

尤度事前分布

事後分布

この節の流れ

ガウス分布の各パラメータの事後分布を求める

1. 平均が未知の場合のベイズ推論

2. 分散が未知の場合のベイズ推論

3. 平均と分散が未知の場合のベイズ推論

今回はとにかく数式だらけ！

μ

平均が未知の場合

N

n

nN

N

n

n

N

n

n

x

xNxpp

1

2

22/2

1

2

1

)(2

1exp

)2(

1

),|()|()|(

x

何か事前分布を仮定してやる必要がある

)()|()|( ppp xx 平均の事後分布：

尤度関数：

(2.137)

μについてもガウス分布になっている


試しに平均の事前分布もガウス分布で表わしてみる

2

00 ,|)( Np

事前分布：

N

n

nxNNppp1

2

00 ,|,|)()|()|( xx

事後分布：

(2.138)+(2.139)


N

n

nNN

N

n

nN

N

n

n

x

x

xNNpp

1

2

2

2

02

00

2/)1(

1

2

22/2

2

02

0

2/12

0

1

2

00

)(2

1)(

2

1exp

)2(

1

)(2

1exp

)2(

1)(

2

1exp

)2(

1

,|,|)()|(

x

演習 2.38

ここだけ取り出して計算


演習 2.38 （続き）

const2

1

const2

1

2

const22

2

1

2

const11

2

1

2

)(2

1)(

2

1

2

2

2

22

0

0

22

0

2

0

2

022

0

2

122

0

2

02

2

0

2

02

012

2

2

0

2

1

2

2

2

02

0

N

N

n

N

n

n

N

n

n

N

n

n

N

xN

Nx

N

N

xN

x

平方完成！


2,|)|( NNNp x

MLNN

N

N

22

0

2

0022

0

2

22

0

2

11

N

N

N

n

nML xN 1

1

演習 2.38 （続き）

事後分布は

ただし，

(2.140)

(2.142)(2.141)

(2.143)


まとめると

2

00 ,| N 2,| NNN

N

n

nxN1

2 ),|(

)()|()|( ppp xx

尤度関数、事前分布、事後分布がみんな平均μについてのガウス分布になった！


共役事前分布：

尤度関数と同じ関数型の事前分布で，事後分布を同じ関数型にする事前分布

この節の残りでは，同じようなやり方を分散が未知の場合や平均と分散の両方が未知の場合に適用してるだけ

結論

平均が未知分散が未知平均と分散が未知

１次元ガウス分布ガンマ分布ガウス－ガンマ分布

D次元ガウス分布ウィシャート分布

ガウス－ウィシャート分布

ガウス分布に対する，平均及び分散の共役事前分布は以下のようにまとめられる


2,|)|( NNNp x

MLNN

N

N

22

0

2

0022

0

2

22

0

2

11

N

N

平均の事後分布：

0 N

N=0の時、

0 N

観測データがない場合，事後分布＝事前分布


2,|)|( NNNp x

MLNN

N

N

22

0

2

0022

0

2

22

0

2

11

N

N

平均の事後分布：

MLN

N→∞の時、

0N

観測データ多いと事後分布は最尤推定解に近づく


データ数と平均の事後分布の関係：


N

n

nnNDN

N

n

n

N

n

n NNpppp

1

1T

0

1

0

T

02/)1(2/)1(

1

00

1

)()(2

1)()(

2

1exp

1

)2(

1

,|,|)|()()()|(

μxΣμxμμΣμμΣ

ΣμxΣμμμxμμμX

D次元ガウス分布の場合（演習2.40）：


D次元ガウス分布の場合（演習2.40）：

const2

1

const2

1

const2

1

2

1

2

1

2

1

)()(2

1)()(

2

1

1T

1

1

0

1

0

T11

0

T

1

T11T1

0

T

00

1

0

T11

0

T

1

1T

0

1

0

T

0

NNN

N

n

n

N

n

nn

N

n

nn

N

N

μμΣμμ

xΣμΣμμΣΣμ

xμΣxΣμμΣμμΣμμΣΣμ

μxΣμxμμΣμμ

MLN N μΣμΣΣΣμ1

0

1

0

111

0

11

0

ΣΣΣ NN

N

n

nMLN 1

1xμ

ただし


逐次更新式：

N

n

nxppp1

)|()()|( x

)|()|()(1

1

N

N

n

n xpxpp

新たな事前分布とみなす

(2.144)


)exp()(

1),|Gam( 1 bb

aba aa

演習2.41

が、正規化されていることを証明

0

1

0

1 )exp()()(

)exp()(

1 dbb

a

bdbb

a

aaa

bz dzb

d1

0

1

0

1 )exp()(

1)exp()(

)(dzzz

adbb

a

b aa

とおくと、なので、


演習2.41 （続き）

なので、

1)exp()(

1

0

1

dzzz

a

a

よって正規化されている。

0

1 )exp()( duuua a


ガンマ分布：

)exp()(

1),|Gam( 1 bb

aba aa


ガンマ分布の期待値（演習 2.42）

0

1

0)exp(

)(),|Gam(]E[

dbb

adba aa

b

a

ab

aa

ab

a

dzzzba

dba a

)(

)(

)(

)1(

)exp(1

)(

1),|Gam(

00

bz dzb

d1

とおくと、なので、

演習1.17参照


2

2

2

2

2

2

0

1

2

2

0

11

2

0

1

2

0

2

0

2

1

)(

)()1(

1

)(

)2()exp(

1

)(

1

)exp(1

)(

1)exp(

)(

1

][E),|Gam(),|Gam(])[E(]var[

b

a

b

a

ba

aaa

b

a

ba

a

b

adzzz

ba

b

adbb

bab

adbb

a

dbadba

a

aaaa

ガンマ分布の分散（演習 2.42）


N

n

n

NN

n

n xxNp1

22/

1

1 )(2

exp),|()|(

x

)exp()(

1),|Gam()( 0

1

0

0000 bb

abap

aa

尤度関数：


事後分布：

N

n

n

Naxbp

1

2

0

2/1)(

2exp)|( 0

x

(2.145)

(2.146)

(2.149)


事後分布：

)exp(

)(2

exp)|(

1

1

2

0

2/10

N

a

N

n

n

Na

b

xbp

N

x

20

NaaN 2

0

1

2

02

)(2

1ML

N

n

nN

Nbxbb

)exp()(

1),|Gam()|(

1 N

aa

N

NN bba

bap NN

x

従って事後分布もガンマ分布になる

ここで、

とする

(2.149)


事後分布：

20

NaaN 2

0

1

2

02

)(2

1ML

N

n

nN

Nbxbb

)exp()(

1),|Gam()|(

1 N

aa

N

NN bba

bap NN

x

は、分散がであるような個の「有効な」観測値が事前にあると解釈できる

00 ,ba00 / ab

02a

(2.150) (2.151)


)()(2

1exp),|()|(

1

T2/

1

1

N

n

nn

NN

n

nNp μxΛμxΛΛμxΛX

尤度関数：


)()|()|( ΛΛXXΛ ppp

D次元ガウス分布の場合：

)Tr(2

1exp),|()( 12/)1(

ΛWΛWΛΛDv

BWp ウィシャート分布

(2.155)


ウィシャート分布：

)Tr(2

1exp),|()( 12/)1(

ΛWΛWΛΛDv

BWp

1

1

4/)1(2/2/

2

12),(

D

i

DDDv iB

WW

(2.155)

(2.156)


N

n

nn

NDv

N

n

nNWppp

1

T2/12/)1(

1

1

)()(2

1exp)Tr(

2

1exp

),|(),|()()|()|(

μxΛμxΛΛWΛ

ΛμxWΛΛΛXXΛ

ウィシャート分布が共役事前分布であることの確認（演習 2.45）

ΛμxμxμxΛμxTT ))((Tr)()(

ΛμxμxWΛXΛ

N

n

nn

NDp1

T12/)1( ))((Tr2

1exp)|(

より


ΛμxμxWΛXΛ

N

n

nn

NDp1

T12/)1( ))((Tr2

1exp)|(

ウィシャート分布が共役事前分布であることの確認（演習 2.45）

NN

N

n

nnN

1

T11 ))(( μxμxWW

),|()|( NNWp WΛXΛ

従って、事後分布も以下のようなウィシャート分布になる

平均と分散が未知の場合

尤度関数：

),(),|()|,( ppp xx

事後分布：

N

n

n

N

n

n

N

N

n

n

xx

xp

1

2

1

22/1

1

2

2/1

2exp

2exp

)(2

exp2

),|(

x

(2.152)



尤度関数：

N

n

n

N

n

n

N

xxp1

2

1

22/1

2exp

2exp),|(

x

2exp)/(

2exp

exp2

exp),(

22/2

22/1

cdc

dcp

(2.153)

(2.152)



2exp)/(

2exp

exp2

exp),(

22/2

22/1

cdc

dcp

),|Gam()(,|),( 1

0 baNp

/0 c

2/1 a

2/2cdb

正規－ガンマ分布

(2.153)

(2.154)


正規－ガンマ分布：

),|Gam()(,|),( 1

0 baNp



D次元ガウス分布の場合：

),|())(,|(),,,|,( 1

00 WΛΛμμWμΛμ WNp

正規－ウィシャート分布 (2.157)

まとめ

平均が未知分散が未知平均と分散が未知

１次元ガウス分布ガンマ分布ガウス－ガンマ分布

D次元ガウス分布ウィシャート分布

ガウス－ウィシャート分布

ガウス分布に対する，平均及び分散の共役事前分布は以下のようにまとめられる

ご静聴ありがとうございました。

chapter2.3.6

Sports