applied stochastic process 第4回最尤推定とemアルゴリズム...

物理フラクチュオマティクス論(東北大) 1

物理フラクチュオマティクス論Physical Fluctuomatics

応用確率過程論Applied Stochastic Process

第4回最尤推定とEMアルゴリズム4th Maximum likelihood estimation and EM algorithm

東北大学大学院情報科学研究科応用情報科学専攻田中和之(Kazuyuki Tanaka)[email protected]

http://www.smapip.is.tohoku.ac.jp/~kazu/


今回の講義の講義ノート

田中和之著：確率モデルによる画像処理技術入門，森北出版，第４章，2006．


統計的学習理論とモデル選択

データから確率モデルの確率を推定する操作

モデル選択

統計的学習理論における確率モデルのモデル選択の代表例

最尤推定に基づく定式化

EMアルゴリズムによるアルゴリズム化

確率伝搬法，マルコフ連鎖モンテカルロ法によるアルゴルズムの実装

赤池情報量基準(AIC)，赤池ベイズ情報量基準(ABIC) etc.

更なる拡張

不完全データにも対応

14 January, 2010Hokkaido University GCOE Tutorial

(Sapporo） 4

最尤推定(Maximum Likelihood Estimation)

σµ,

パラメータ


(Sapporo） 5


( ) ( )∏−

=

−−≡

1

0

222 2

1exp2

1,N

iiggP µ

σπσσµ

=

−1

1

0

Ng

gg

g

σµ,

パラメータ

1,,1,0 −= NV

0 1 2

3 4 5

6 7 8


(Sapporo） 6


( ) ( )∏−

=

−−≡

1

0

222 2

1exp2

1,N

iiggP µ

σπσσµ

データ

=

−1

1

0

Ng

gg

g

σµ,

パラメータ

1,,1,0 −= NV

0 1 2

3 4 5

6 7 8

データ


(Sapporo） 7


( ) ( )∏−

=

−−≡

1

0

222 2

1exp2

1,N

iiggP µ

σπσσµ

データ

=

−1

1

0

Ng

gg

g

σµ,

パラメータ

1,,1,0 −= NV

0 1 2

3 4 5

6 7 8

データヒストグラム


(Sapporo） 8


( ) ( )∏−

=

−−≡

1

0

222 2

1exp2

1,N

iiggP µ

σπσσµ

データ

=

−1

1

0

Ng

gg

g

σµ,

パラメータ

1,,1,0 −= NV

0 1 2

3 4 5

6 7 8



(Sapporo） 9


( ) ( )∏−

=

−−≡

1

0

222 2

1exp2

1,N

iiggP µ

σπσσµ

データ

=

−1

1

0

Ng

gg

g

σµ,

パラメータ

1,,1,0 −= NV

0 1 2

3 4 5

6 7 8


( )( )

( )σµσµσµ

,maxargˆ,ˆ,

gP =


(Sapporo） 10


( ) ( )∏−

=

−−≡

1

0

222 2

1exp2

1,N

iiggP µ

σπσσµ

( )( )

( )σµσµσµ

,maxargˆ,ˆ,

gP =

データ

平均μと標準偏差σが与えられたときの確率密度関数をデータが与えられたときの平均μと分散σ2

に対

する尤もらしさを表す関数（尤度関数）とみなす．

g

=

−1

1

0

Ng

gg

g

σµ,

パラメータ


(Sapporo） 11


( ) ( )∏−

=

−−≡

1

0

222 2

1exp2

1,N

iiggP µ

σπσσµ

( )( )

( )σµσµσµ

,maxargˆ,ˆ,

gP =

データ

( )

( )0

,

0,

ˆ,ˆ

ˆ,ˆ

=

∂

∂

=

∂

∂

==

==

σσµµ

σσµµ

σσµ

µσµ

gP

gP極値条件


に対


g

=

−1

1

0

Ng

gg

g

σµ,

パラメータ


(Sapporo） 12


( ) ( )∏−

=

−−≡

1

0

222 2

1exp2

1,N

iiggP µ

σπσσµ

( )( )

( )σµσµσµ

,maxargˆ,ˆ,

gP =

データ

( )

( )0

,

0,

ˆ,ˆ

ˆ,ˆ

=

∂

∂

=

∂

∂

==

==

σσµµ

σσµµ

σσµ

µσµ

gP

gP

∑−

==

1

0

1ˆN

iig

Nµ ( )∑

−

=−=

1

0

22 ˆ1ˆN

iig

Nµσ

極値条件


に対


g

標本平均標本分散

=

−1

1

0

Ng

gg

g

σµ,

パラメータ


(Sapporo） 13


( ) ( )∏−

=

−−≡

1

0

222 2

1exp2

1,N

iiggP µ

σπσσµ

( )( )

( )σµσµσµ

,maxargˆ,ˆ,

gP =

データ

( )

( )0

,

0,

ˆ,ˆ

ˆ,ˆ

=

∂

∂

=

∂

∂

==

==

σσµµ

σσµµ

σσµ

µσµ

gP

gP

∑−

==

1

0

1ˆN

iig

Nµ ( )∑

−

=−=

1

0

22 ˆ1ˆN

iig

Nµσ

極値条件


に対


g

標本平均標本分散

=

−1

1

0

Ng

gg

g

σµ,

パラメータ

ヒストグラム


=

−1

1

0

Nf

ff

f

最尤推定

( ) ( )∏−

=

−−≡

1

0

222 2

1exp2

1,N

iii fgfgP

σπσσ

( )σσσ

gP maxargˆ =データ

( )0

,1

ˆ

=

∂

=∂

=σσσ

σαgP

∑−

=

+−=1

1

22 11ˆN

iig

Nσ

極値条件 ( ) ∏−

=

−≡

1

0

2

21exp

21N

iiffP

π

( ) ( ) ( ) ( )∑∑ ==ff

fPfgPgfPgP

σσσ ,,

=

−1

1

0

Ng

gg

g

σ

ハイパパラメータ

パラメータ

( ) fdgfPff

σ,ˆ ∫=( ) ( ) ( )( )σ

σσ

gP

fPfgPgfP

,, =

ベイズの公式

不完全データ

f

が分からなかったらどうしよう

( )

を考えよう．

わかっている場合

は完全にまず fP

周辺尤度

不完全データ


信号処理の確率モデル

原信号観測信号

通信路

雑音

周辺尤度

事前確率尤度事後確率

観測信号

原信号原信号観測信号観測信号原信号

PrPr|PrPr =

白色ガウス雑音原信号観測信号 +=

i

fi

i

gi

ベイズの公式


原信号の事前確率

画像データの場合1次元信号データの場合

1 2 3 4 5

1 2 2 3X

3 4 4 5XX

=

( ) ( )

( )

−−=

=

−−=

∑

∏∏

∈

∈∈

Ejiji

EjiEjiji

ffZ

ffZ

fP

,

2

Prior

,,

2

Prior

21exp1

21exp1

α

αα

E：すべての最近接

ノード（画素）対の集合

i j

1 2 3 4

6 7 8 9

21 22 23 24

5

10

25

11 12 13 14

16 17 18 19

15

20


データ生成過程

加法的白色ガウス雑音 (Additive White Gaussian Noise)

( )2,0~ σNfg ii −

( ) ( )∏∈

−−=

Viii gffgP 2

22 21exp

21,

σπσσ

V：すべてのノード（画素）の集合


信号処理の確率モデル

( ) ( )∏∈

−−≡

Viii fgfgP 2

22 21exp

21,

σπσσ

( ) ( )∏∈

−−≡

Ejiji ff

ZfP

,

2

prior 21exp1 αα

=

−1

1

0

Nf

ff

f

データ

=

−1

1

0

Ng

gg

g

σα


i

fi

i

gi

不完全データ

パラメータ

( ) ( ) ( )( ) ( )∫

=fdfPfgP

fPfgPgfP

ασ

ασσα

,

,,,

( ) fdgfPff ii

σα ,,ˆ ∫=

事後確率


=

−1

1

0

Nf

ff

f

信号処理の最尤推定

( )( )

( )σασασα

,maxargˆ,ˆ,

gP =

データ

( ) ( )0

,,0

,

ˆ,ˆˆ,ˆ

=

∂

∂=

∂

∂

==== σσαασσαασ

σαα

σα gPgP極値条件

( ) ( ) ( )∫= fdfPfgPgP ασσα ,,

=

−1

1

0

Ng

gg

g

σα


パラメータ不完全データ

周辺尤度


=

−1

1

0

Nf

ff

f

最尤推定とEMアルゴリズム

データ

( ) ( )0

,,0

,

ˆ,ˆˆ,ˆ

=

∂

∂=

∂

∂

==== σσαασσαασ

σαα

σα gPgP

極値条件

( ) ( ) ( )∫= fdfPfgPgP ασσα ,,

=

−1

1

0

Ng

gg

g

σα


パラメータ

( )( ) ( ) fdgfPgfP

Q

∫ ′′≡

′′

σασα

σασα

,,ln,,

,,

( )

( )( ))(),(,maxarg

)1()1( Update:Step M

)(),(, Calculate :Step E

),(ttQ

t,σtα

ttQ

σασα

σασα

σα←

++

( )

( )0

,,

0,,

,

,

=

∂

′′∂

=

∂

′′∂

=′=′

=′=′

σσαα

σσαα

σσασα

ασασα

Q

Q

EM アルゴリズムが収束すれば周辺尤度の極値条件の解になる．

Q関数

周辺尤度

不完全データ


1次元信号のモデル選択

EM Algorithm

i

i

i

0 127 255

0 127 255

0 127 255

100

0

200

100

0

200

100

0

200

if

ig

if

Original Signal

Degraded Signal

Estimated Signal

40=σ

0.04

0.03

0.02

0.01

α(t)

0

α(0)=0.0001, σ(0)=100


ノイズ除去のモデル選択

原画像劣化画像 EMアルゴリズムと確率伝搬法

α(0)=0.0001σ(0)=100

推定画像

MSE327 0.000611 36.30

α σ

MSE260 0.000574 34.00

α σ( )2ˆ||

1MSE ∑Ω∈

−Ω

=i

ii ff

40=σ


まとめ

最尤推定とEMアルゴリズム

ガウシアングラフィカルモデルによる統計的推定


N個のデータgi (i=0,1,...,N-1) が確率密度関数

,

に従って生成されたものとする．このとき，最尤推定

による平均 µ と分散 σ2 の推定値

が次式で与えられることを示せ．

,

演習問題4ー1

( ) ( )∏−

=

−−≡

1

0

222 2

1exp2

1,N

iiggP µ

σπσσµ

=

−1

1

0

Ng

gg

g

,

( )( )

( )σµσµσµ

,maxargˆ,ˆ,

gP =

∑−

==

1

0

1ˆN

iig

Nµ ( )∑

−

=−=

1

0

22 ˆ1ˆN

iig

Nµσ

,

,

applied stochastic process 第4回最尤推定とemアルゴリズム...

Documents