大規模確率場と確率的画像処理kazu/tutorial...24 september, 2009 jnns2009 (sendai） 4...

24 September, 200924 September, 2009 JNNS2009 (SendaiJNNS2009 (Sendai）） 11

大規模確率場と確率的画像処理大規模確率場と確率的画像処理

東北大学東北大学大学院情報科学研究科大学院情報科学研究科

田中田中和之和之

http://www.smapip.is.tohoku.ac.jp/~kazu/http://www.smapip.is.tohoku.ac.jp/~kazu/


ContentsContents

1.1. 序論序論2.2. 確率的画像処理確率的画像処理3.3. ガウシアングラフィカルモデルガウシアングラフィカルモデル4.4. 確率伝搬法確率伝搬法5.5. 統計的性能評価統計的性能評価6.6. 量子確率場の導入量子確率場の導入7.7. まとめまとめ


確率的情報処理確率的情報処理

理詰めの情報処理法則・命題群からの予測

現実世界の現実世界の情報処理情報処理現象の起こる要因の多様性現象の起こる要因の多様性必要なデータが完全に得られるわけではない．必要なデータが完全に得られるわけではない．大量のデータは得られるが必要な情報の抽出が難しい．大量のデータは得られるが必要な情報の抽出が難しい．

「すぐ分かること」と「本当に知りたいこと」のギャップからくる「すぐ分かること」と「本当に知りたいこと」のギャップからくる不確実性→何とかして克服したい不確実性→何とかして克服したい!!!!

不確実性の数学的表現→確率・統計不確実性の数学的表現→確率・統計


確率的情報処理確率的情報処理

確率的画像処理ネットワーク構造をもつ

数理モデル

単純な機能を持つたくさんの要素が関連し合い，互いに協力して複雑・高度な機能を生み出す．

不確実性を伴うデータに耐えうる推論システム

モデル化

ノードは事象，矢印は条件付き確率に対応

不確実性の数学的表現→確率・統計

重要な概念のひとつ

24 September, 2009 JNNS2009 (Sendai） 5

確率的情報処理の深化と展開

通信理論・像情報処理・確率推論

More is different

統計科学

統計的学習理論

情報統計力学計算理論

日常生活の情報処理

データマイニング

複雑ネットワーク科学

例えばSAT

量子情報

生命情報科学

例えば量子誤り訂正符号，量子アニーリング

例えばSVMを用

いた遺伝子解析

例えば機械学習への応用

平均場法スピングラス理論

ベイズ法最尤法


文部科学省科学研究費補助金特定領域研究

「情報統計力学の深化と展開」

文部科学省文部科学省科学研究費補助金科学研究費補助金特定領域研究特定領域研究

「「情報統計力学の深化と展開情報統計力学の深化と展開」」

２００６年４月－２０１０年３月領域代表：樺島祥介（東工大総合理工）２００２００６６年４月－２０年４月－２０１０１０年３月年３月領域代表：樺島祥介（東工大総合理工）領域代表：樺島祥介（東工大総合理工）

http://dex-smi.sp.dis.titech.ac.jp/DEX-SMI/http://dexhttp://dex--smi.sp.dis.titech.ac.jp/DEXsmi.sp.dis.titech.ac.jp/DEX--SMISMI//

情報統計力学検索

DEX-SMI 検索

京都大学におけるメンバー：石井信，田中利幸


ContentsContents



画像修復の確率モデル

原画像劣化画像

通信路

雑音

{ } { } { }{ }

43421

48476444 8444 76444 8444 76

周辺尤度

事前確率尤度事後確率

劣化画像

原画像原画像劣化画像劣化画像原画像

PrPr|Pr|Pr =

白色ガウス雑音原画像劣化画像 +=


Prior Probability in Probabilistic Image Processing

{ } ( ) ⎟⎟

⎠

⎞

⎜⎜

⎝

⎛−−∝= ∑

∈Ejiji xxxX

},{

221expPr αrr


2値画像の事前確率(Prior Probability)

赤い線が少ないほど確率が高くなるように確率モデルを設計

問題設定画素の周辺の状態が固定されているとき着目画素の状態は？

？

>

== >

周りが白ければ着目画素も白くあるべき

2/α−∝ e 2/α−∝ e1∝1∝


2値画像の事前確率(Prior Probability)2値画像の事前確率(Prior Probability)

赤い線が少ないほど確率が高くなるように確率モデルを設計

画素がいくつか集まると周りの画素の状態をよく見ながら自分の状態を決めないといけなくなるもっとたくさん集まったらどうなるか?

問題設定画素の周辺の状態が固定されているとき着目画素の状態は？

？-？== >

> >=

2/α−∝ e 2/α−∝ e1∝1∝


ゆらぎが大きいときに何が実際に起こっているのか? p

0.0

0.2

0.4

0.6

0.8

1.0

0.0 0.2 0.4 0.6 0.8 1.0

無秩序状態秩序状態ゆらぎが大きく点の近くのパターン

α が小さい α が大きい

最近接画素間の共分散

マルコフ連鎖モンテカルロ法によるサンプリング

Markov Networkα


ゆらぎが大きいときのパターンを画像処理に使えるか?

0.0

0.2

0.4

0.6

0.8

1.0

0.0 0.2 0.4 0.6 0.8 1.0α

最近接画素間の共分散

p

似ている

Markov Network大小


強磁性体と確率モデル強磁性体と確率モデル

>

=

=

>

=

=

x

y

画像は各画素ごとの強さの異なる光であらわされる．

0 255

共通点：まわりと同じ状態をとろうとする

Ising モデル

Markov Random Field (MRF) モデル


事前確率(Prior Probability)

{ } ⎟⎟

⎠

⎞

⎜⎜

⎝

⎛−−∝= ∑

∈Ejiji xxxX

},{

2)(21expPr αrr

0005.0=α 0030.0=α0001.0=α

マルコフ連鎖モンテカルロ法

{ }VV ,,2,1 L=

links theall ofSet :E


加法的白色ガウスノイズ(Additive White Gaussian Noise)

{ } ( )∏∈

⎟⎠⎞

⎜⎝⎛ −−∝==

Viii yxxXyY 2

221expPrσ

rrrr

劣化過程


ベイズ統計と画像処理

{ } { } { }{ }

( ) ( ) ⎟⎟

⎠

⎞

⎜⎜

⎝

⎛−−−−∝

=

======

∑∑∈∈ Eji

jiVi

ii xxyx

yY

xXxXyYyYxX

},{

222 2

12

1exp

Pr

PrPrPr

ασ

rr

rrrrrrrrrr

xr g

{ }xX =Pr { }xXyY rrrr==Pr yr

原画像劣化画像事前確率

事後確率

加法的白色ガウス雑音または２元対称通信路

画像処理は平均，分散，共分散の計算に帰着


Statistical Estimation of Hyperparameters

∑ =====z

zXzXyYyYr

rrrrrrrr}|Pr{},|Pr{},|Pr{ ασσα

( )},|Pr{max arg)ˆ,ˆ(

,σασα

σαyY rr

==

xr g

Marginalized with respect to X

}|Pr{ αxX rr= },|Pr{ σxXyY rrrr

== yrOriginal Image

Marginal Likelihood

Degraded ImageΩy

x

},|Pr{ σαyY rr=

Hyperparameters α, σ are determined so as to maximize the marginal likelihood Pr{Y=y|α,σ} with respect to α, σ.


Maximization of Marginal Likelihood by EM Algorithm

∑ =====z

xXzXyYyYr

rrrrrrr}|Pr{},|Pr{},|Pr{ ασσαMarginal

Likelihood

( ) },|,Pr{ln}',',|Pr{

,',',

∑ =====z

yYzXyYzX

yQ

r

rrrrrrrr

r

σασα

σασα

( ) ( )( )

( ) ( )( )( )

( ) ( )( ).,,maxarg1,1 :Step-M

},|,Pr{ln)}(),(,|Pr{

,, :Step-E

,ttQtt

yYzXttyYzX

ttQ

zσασασα

σασα

σασα

βα←++

====← ∑r

rrrrrrrr

E-step and M-Step are iterated until convergence:EM (Expectation Maximization) Algorithm

Q-Function


ContentsContents



Gaussian Graphical Model(Gauss Markov Random Fields)

( )

( ) ( )

⎟⎠⎞

⎜⎝⎛ −−−=

⎟⎟

⎠

⎞

⎜⎜

⎝

⎛−−−−∝ ∑∑

∈∈

xxyx

xxyx

yxP

Ejiji

Viii

rrrr

rr

CT22

},{

222

21

21exp

21

21exp

,,|

ασ

ασ

σα

( ) ( )( ) ( ) ⎟

⎠⎞

⎜⎝⎛

+−

+= yyyP

Vrrr

CIC

CI

C2

T2 2

1expdet2

det,ασ

αασπ

ασα

( ) yxdyxPxx rrrrrr 12)|(ˆ −+== ∫ CI ασ

Multidimensional Gauss Integral Formulas

( )( )

( )σασασα

,max argˆ,ˆ,

gP r=

Maximum Likelihood Estimation EM Algorithm

),( +∞−∞∈ix

⎪⎩

⎪⎨

⎧∈−∈=

=otherwise,0

},{,1,4

EjiVji

ji C


Average of Posterior Probability

0)))((()(21exp)( ||21

2T vL

rrrrrrL =⎟

⎠⎞

⎜⎝⎛ −−−−−∫ ∫ ∫

∞+

∞−

∞+

∞−

∞+

∞− Vdzdzdzzzz μγασμμ CI

( )

( )

y

dzdzdzyzyz

dzdzdzyzyzz

dzdzdzyYzXzXx

V

V

V

r

Lrrrr

L

Lrrrrr

L

Lrrrrr

Lrr

CII

CIICI

CII

CIICI

CII

2

||2122

T

22

||2122

T

22

||21

21exp

2

1exp

},,|Pr{,ˆ

ασ

ασασ

ασσ

ασασ

ασσ

σασα

+=

⎟⎟

⎠

⎞

⎜⎜

⎝

⎛⎟⎠⎞

⎜⎝⎛

+−+⎟

⎠⎞

⎜⎝⎛

+−−

⎟⎟

⎠

⎞

⎜⎜

⎝

⎛⎟⎠⎞

⎜⎝⎛

+−+⎟

⎠⎞

⎜⎝⎛

+−−

=

====

∫ ∫ ∫

∫ ∫ ∫

∫ ∫ ∫

∞+

∞−

∞+

∞−

∞+

∞−

∞+

∞−

∞+

∞−

∞+

∞−

+∞

∞−

+∞

∞−

+∞

∞−

Gaussian Integral formula

Average of the posterior probability can be calculated by using the multi-dimensional Gauss integral Formula

⎪⎩

⎪⎨

⎧∈−∈=

=otherwise,0

},{,1,4

EjiVji

ji C


Degraded Image


∫ ===== zdzXxXyYyY rrrrrrrrr},|Pr{},|Pr{},|Pr{ γασσα

( )},|Pr{max arg)ˆ,ˆ(

,σασα

σαyY rr

==

xr g

Marginalized with respect to X

}|Pr{ αxX rr= },|Pr{ σxXyY rrrr

== yrOriginal Image

Marginal Likelihood

},|Pr{ σαyY rr=

Hyperparameters α, σ are determined so as to maximize the marginal likelihood Pr{Y=y|α,σ} with respect to α, σ.



)()2(),,(

}|Pr{},|Pr{},|Pr{PR

2/||2POS

σπσσα

ασσαZ

yZzdzXzXyYyY V

rrrrrrrrrr

====== ∫

AA

det)2()( )(

21exp

||||21

TV

Vdzdzdzzz πμμ =⎟⎠⎞

⎜⎝⎛ −−−∫ ∫ ∫

∞+

∞−

∞+

∞−

∞+

∞−L

rrrrL

( )

( )

⎟⎠⎞

⎜⎝⎛

+−

+=

⎟⎟

⎠

⎞

⎜⎜

⎝

⎛⎟⎠⎞

⎜⎝⎛

+−+⎟

⎠⎞

⎜⎝⎛

+−−×

⎟⎠⎞

⎜⎝⎛

+−=

⎟⎟

⎠

⎞

⎜⎜

⎝

⎛

+−⎟

⎠⎞

⎜⎝⎛

+−+⎟

⎠⎞

⎜⎝⎛

+−−=

∫ ∫ ∫

∫ ∫ ∫

∞+

∞−

∞+

∞−

∞+

∞−

∞+

∞−

∞+

∞−

∞+

∞−

yy

dzdzdzyzyz

yy

dzdzdzyyyzyz

yZ

V

V

V

rr

Lrrrr

L

rr

Lrrrrrr

L

r

CIC

CI

CIICI

CII

CIC

CIC

CIICI

CII

2T

2

||2

||2122

T

22

2T

||212T

22

T

22

POS

21exp

)det()2(

2

1exp

21exp

21

21exp

),,(

ασα

ασπσ

ασασ

ασσ

ασα

ασα

ασασ

ασσ

σα

Gaussian Integral formula

CC

det)2(

21exp)( ||

||||21

TV

VVPR dzdzdzzzZ

απαα =⎟

⎠⎞

⎜⎝⎛ −≡ ∫ ∫ ∫

∞+

∞−

∞+

∞−

∞+

∞−L

rrL

⎪⎩

⎪⎨

⎧∈−∈=

=otherwise,0

},{,1,4

EjiVji

ji C


Exact Expression of Marginal Likelihood in Gaussian Graphical Model

( )( ) ( ) ⎟

⎠⎞

⎜⎝⎛

+−

+== T

22 21exp

det2

det},|Pr{ yyyYV

rrrr

CIC

CI

Cασ

αασπ

ασα

1

2T

2

2

||1Tr

||1

−

⎟⎟⎠

⎞⎜⎜⎝

⎛

++

+= yy

VVrr

CIC

CIC

ασασσα ( )

T22

242

2

2

||1Tr

||1 yy

VVrr

CI

CCI

I

ασ

σαασ

σσ+

++

=

Extremum Conditions for α and σ

( ) ( )( ) ( ) ( ) ( )

1

2T

2

2

11||1

111Tr

||1

−

⎟⎟⎠

⎞⎜⎜⎝

⎛

−−++

−−+

−← y

tty

Vttt

Vt rr

CIC

CIC

σασα

σα

( ) ( )( ) ( )

( ) ( )( ) ( )( )

ytt

ttyVtt

tV

t rr22

242T

2

2

11

11||

111

1Tr||

1

CI

CCI

I

−−+

−−+

−−+

−←

σα

σα

σα

σσ

( )),|Pr{max arg)ˆ,ˆ(

,σασα

σαyYrr

==

( ) ( )( )

( )( ) ( )( ).,,maxarg

1,1

,ttQ

ttσασα

σα

σα←

++

Iterated AlgorithmEM Algorithm

0},|Pr{ ,0},|Pr{ ==∂∂

==∂∂ σα

σσα

αyYyY


1次元信号に対する例

EM Algorithm

i

i

i

0 127 255

0 127 255

0 127 255

100

0

200

100

0

200

100

0

200

ix

iy

ix̂

Original Signal

Degraded Signal

Estimated Signal

40=σ

( ) ( )( )

( )( ) ( )( ).,,maxarg

1,1

,ttQ

ttσασα

σα

σα←

++


Bayesian Image Analysis by Gaussian Graphical Model

0

0.0002

0.0004

0.0006

0.0008

0.001

0 20 40 60 80 100( )tσ

( )tαyr f̂

r

ytttx rr 12 ))()(()(ˆ −+= CI σα

Iteration Procedure of EM algorithm in Gaussian Graphical Model

EM

f̂r

yr( )

),|(max arg)ˆ,ˆ(,

σασασα

gP=

40=σ

( ) ( )( )( )

( ) ( )( ).,,,maxarg1,1,

yttQtt rσασασασα

←++

0007130ˆ624.37ˆ

.==

ασ


Image Restoration by Gaussian Graphical Model and Conventional Filters

( )2ˆ||

1MSE ∑∈

−=Vi

ii ffV

315Gaussian Graphical Model

445(5x5)

486(3x3)Median Filter

413(5x5)

388(3x3)Lowpass Filter

MSE

(3x3) (3x3) LowpassLowpass (5x5) Median(5x5) MedianGaussian Gaussian Graphical Graphical

ModelModel

Original ImageOriginal ImageDegraded Degraded Image (Image (σσ=40)=40)

V:Set of all the pixels


ContentsContents

1.1. 序論序論2.2. 確率的画像処理確率的画像処理3.3. ガウシアングラフィカルモデルガウシアングラフィカルモデル4.4. 確率伝搬法確率伝搬法5.5. 統計的性能評価統計的性能評価

6.6. 量子確率場の導入量子確率場の導入7.7. まとめまとめ


計算困難のポイントは何か

2N 通りの和が計算できるか？

( )∑ ∑ ∑= = =1,0 1,0 1,0

211 2

,,,x x x

NN

xxxf LL

( )

}}

} ;,,,

){1,0for(

){1,0for( 0,1){for(

;0

21

2

1

M

L

M

N

Nxxxfaa

x

xx

a

+←

=

=

=←

N 重ループ

このプログラムではL=10個のノードで1秒かかるとしたらL=20個で約17分，L=30個で約12日，L=40個で約34年かかる．

厳密に計算するのは一部の特殊な例を除いて難しい．

マルコフ連鎖モンテカルロ法確率伝搬法今回


周辺確率(Marginal Probability)

を厳密に計算するのは一部の特殊な例を除いて難しい．

一部の特殊な例とは何か？一部の特殊な例に適用できるアルゴリズムを一般の場合に近似アルゴリズムとして適用できるか．

→ アルゴリズム化できるか？動くか？

精度はどの程度か？

( ) ( )∑∑∑ ∑=2 3 4

,,,,, 432111x x x x

NN

xxxxxPxP LL

( ) ( )∑∑∑ ∑=1 3 4

,,,,, 432122x x x x

NN

xxxxxPxP LL

( ) ( )∑∑ ∑=3 4

,,,,,, 43212112x x x

NN

xxxxxPxxP LL


扱いやすい確率モデルのグラフ表現

扱いやすい確率モデルの数理構造

⎟⎟

⎠

⎞

⎜⎜

⎝

⎛

⎟⎟

⎠

⎞

⎜⎜

⎝

⎛

⎟⎟

⎠

⎞

⎜⎜

⎝

⎛= ∑∑∑

∑ ∑ ∑

===

= = =

1,01,01,0

1,0 1,0 1,0

),(),(),(

),(),(),(

CBA

A B C

DChDBgDAf

DChDBgDAfA

B CD

∑ ∑ ∑= = =1,0 1,0 1,0A B C

扱いやすくない確率モデルの数理構造

∑ ∑ ∑= = =1,0 1,0 1,0

),(),(),(A B C

AChCBgBAf

A

B C

∑ ∑ ∑= = =1,0 1,0 1,0A B C

木構造をもつグラフ表現

閉路を含むグラフ表現

別々に和を計算できる

別々に和を計算することが難しい


Belief Propagation for Tree Graphical Model

3

2 1

5

4

3

2 1

5

4

13→M

14→M

15→M

44 344 2144 344 2144 344 21)(

5115

)(

4114

)(

31132112

5115411431132112

115

5

114

4

113

3

3 4 5

),(),(),(),(

),(),(),(),(

xM

x

xM

x

xM

x

x x x

xxWxxWxxWxxW

xxWxxWxxWxxW

→→→

⎟⎟⎟

⎠

⎞

⎜⎜⎜

⎝

⎛

⎟⎟⎟

⎠

⎞

⎜⎜⎜

⎝

⎛

⎟⎟⎟

⎠

⎞

⎜⎜⎜

⎝

⎛= ∑∑∑

∑∑∑

∑∑∑3 4 5x x x


Belief Propagation for Tree Graphical Model

3

2 1

5

4

The message from node 1 to node 2 can be expressed in terms of all the messages incoming to node 1 except the own message.

3

2 1

5

4

13→M14→M

15→M∑=

1x

121→M

2

Summation over all the nodes

except node 2


閉路のないグラフ上の確率伝搬法

{ } ( )∏−

=++==

1

111, ,1Pr

N

iiiii xxW

ZxX rr

( ) ( )

( ) ( ) ( ) ( )∑

∑∑ ∑ ∏

++→−→−→−

=++++→

=

⎟⎟⎠

⎞⎜⎜⎝

⎛=

k

k

xkkkkkkkkkkkkk

x x x

k

iiiiikkk

xxWxMxMxM

xxWxM

11,321

111,11

,

,1 2

L

閉路が無いことが重要!!

同じノードは２度通らない

1X

2X 3X

1−kX

kX

2−kX

3−kX

1+kX


確率的画像処理における確率伝搬法(Belief Propagation)

着目画素とその近傍画素だけを残すと木構造になる．

確率伝搬法(Belief Propagation)の統計的近似アルゴ

リズムとしての転用


確率的画像処理における確率伝搬法(Belief Propagation)

211 7

6

28→M

21→M

26→M

27→M

88

( ) ( )∑=1

211222 ,x

xxPxP

Message Update Rule

26→M144

5

13→M

14→M

15→M

12W33

2

6

27→M

88

77

28→M

3

2 1

5

413→M

14→M

15→M∑=

1x1

21→M2


閉路のあるグラフ上の確率モデルの確率伝搬法(Belief Propagation)

( )MMrrr

Ψ= メッセージに対する固定点方程式

閉路のあるグラフ上でも局所的な構造だけに着目してアルゴリムを構成することは可能．ただし，得られる結果は厳密ではなく近似アルゴリズム

( )( ) ( ) ( ) ( )

( ) ( ) ( ) ( )∑∑

∑

→→→

→→→

→ =

1 2

1

1151141132112

1151141132112

221 ,

,

z z

z

zMzMzMzzW

zMzMzMxzW

xM

２１

３

４

５

平均，分散,共分散はこのメッセージを使ってあらわされる


Fixed Point Equation and Iterative Method

Fixed Point Equation ( )** MMrrr

Φ=Iterative Method

( )( )( )

M

rr

rr

rr

23

12

01

MM

MM

MM

Φ←

Φ←

Φ←

0M1M

1M

0

xy =

)(xy Φ=

y

x*M


確率的画像処理における確率伝搬アルゴリズムの基本構造

ひとつの画素ごとに４種類の更新パターン

４近傍の場合は3入力1出力の更新式

画素上での動作の様子の一例


確率伝搬法(Belief Propagation)とEMアルゴリズム

Input

Output

BP EM

Update Rule of BP

２１

３

４

５


Maximization of Marginal Likelihood by EM Algorithm

( ) ( )( )( )

( ) ( )( ).,,,maxarg1,1,

gttQtt rσασασασα

←++

yr

( )ymx rrr ,ˆ,ˆˆ σα=

0

0.0002

0.0004

0.0006

0.0008

0.001

0 20 40 60 80 100

Loopy Belief Propagation

Exact

0006000ˆ335.36ˆ

.==

LBP

LBP

ασ

0007130ˆ624.37ˆ

.==

Exact

Exact

ασ

α

σ


Image Restoration by Gaussian Graphical Model

Original ImageOriginal Image Degraded ImageDegraded Image

MSE: 1529MSE: 1529

MSE: 1512MSE: 1512

EM Algorithm with Belief Propagation

( )2ˆ|V|

1MSE ∑∈

−=Vi

ii xx

24 September, 2009 44JNNS2009 (Sendai）

Image Restoration by Image Restoration by Gaussian Graphical ModelGaussian Graphical Model

Original ImageOriginal Image

MSE:315MSE:315

MSE: 545MSE: 545 MSE: 447MSE: 447MSE: 411MSE: 411

MSE: 1512MSE: 1512

Degraded ImageDegraded Image

LowpassLowpass FilterFilter Median FilterMedian Filter

Exact

Wiener Filter

( )2ˆ|V|

1MSE ∑∈

−=Vi

ii xx

Belief PropagationBelief Propagation

MSE:325MSE:325

24 September, 2009 45JNNS2009 (Sendai）

Original ImageOriginal Image

MSE236MSE236MSE: 260MSE: 260

MSE: 372MSE: 372 MSE: 244MSE: 244MSE: 224MSE: 224

MSE: 1529MSE: 1529

Degraded ImageDegraded Image Belief PropagationBelief Propagation

LowpassLowpass FilterFilter Median FilterMedian Filter

Exact

Wiener Filter

Image Restoration by Gaussian Image Restoration by Gaussian Graphical ModelGraphical Model


確率伝搬法の情報論的解釈

[ ] ( )( ) 0ln)( ≥⎟⎟

⎠

⎞⎜⎜⎝

⎛≡∑ x

xxx P

QQPQD ( ) ⎟⎠

⎞⎜⎝

⎛=≥ ∑

xxx 1)( ,0 QQQ

( ) ( )

ZQF

ZQQxxWQPQD

QF

Nijjiij

ln][

lnln)(,ln)(]|[

][

+=

++= ∑∑∑∈ 4444444 34444444 21

xxxxx

( ) ( ) [ ] 0=⇒= PQDPQ xx

( ) ZPFQQFQ

ln][1][min −==⎭⎬⎫

⎩⎨⎧

=∑x

x

( )∑∏∈

≡x Nij

jiij xxWZ ,

( ) ( )∏∈

=Nij

jiijL xxWZ

xxxP ,1,,, 21 L

Free Energy

Kullback-Leibler Divergence



[ ] [ ] ( )ZQFPQD ln+=[ ] ( ) ( )

{ }( ) ( )

( ) ( ) ( )xx

xxx

xxx

x

xx

xx

QQxxWxxQ

QQxxWQ

QQxxWQQF

Eij x xjiijjiij

Eij x xjiij

xx

Eijjiij

i j

i j ji

ln)(,ln,

ln)(,ln)(

ln)(,ln)(

,\

∑∑ ∑∑

∑∑ ∑∑ ∑

∑∑∑

+=

+⎟⎟⎟

⎠

⎞

⎜⎜⎜

⎝

⎛=

+≡

∈

∈

∈

[ ] ( )( ) 0ln)( ≥⎟⎟

⎠

⎞⎜⎜⎝

⎛≡∑ x

xxx P

QQPQD

Free EnergyKL Divergence

( ) ( )∏∈

=Eij

jiij xxWZ

P ,1x

{ }∑≡

ji xx

jiij

Q

xxQ

,)(

),(

\xx



[ ] [ ] ( )ZQFPQD ln+=[ ] ( ) ( )

( )

( ) ( )

( ) ( )

( ) ( ) ( ) ( ) ( ) ( )∑ ∑∑∑∑

∑∑

∑∑∑

∑

∑∑∑

∈

∈

∈

∈

⎟⎟

⎠

⎞

⎜⎜

⎝

⎛−−+

+

≈

+

=

Eijjjiiijij

Viii

Eijijij

Eijijij

QQQQQQ

QQ

WQ

QQ

WQQF

ξξξ ζ

ξ

ξ ζ

ξ ζ

ξξξξζξζξ

ξξ

ζξζξ

ζξζξ

lnln,ln,

ln

,ln,

ln)(

,ln,

xxx

Bethe Free Energy

Free EnergyKL Divergence( ) ( )∏

∈=

Eijjiij xxW

ZP ,1x

{ }∑≡

ji xxjiij QxxQ

,)(),(

\xx

∑≡ix

ii QxQ\x

x)()(



[ ] FPQDQQ γγ

minargminarg ≅

( ) ( )∑=ς

ςξξ ,iji QQ

[ ] { }[ ] ZQQFPQD iji ln,Bethe +≅

[ ]{ }

{ }[ ]ijiQQQ

QQFPQDiji

,minargminarg Bethe,

⇒

( ) ( ) 1, == ∑∑∑ξ ςξ

ςξξ iji QQ

{ }[ ] ( ) ( ) ( ) ( )

( ) ( ) ( ) ( ) ( ) ( )∑ ∑∑∑∑

∑∑∑ ∑∑

∈

∈∈

⎟⎟

⎠

⎞

⎜⎜

⎝

⎛−−+

+≡

Eijjjiiijij

Viii

Eijijijiji

QQQQQQ

QQWQQQF

ξξξ ς

ξξ ς

ξξξξςξςξ

ξξςξςξ

lnln,ln,

ln,ln,,Bethe



{ }[ ] { }[ ]

( ) ( ) ( )

( ) ( )∑ ∑∑∑ ∑

∑ ∑ ∑ ∑

∈∈

∈ ∂∈

⎟⎟

⎠

⎞

⎜⎜

⎝

⎛−−⎟

⎟

⎠

⎞

⎜⎜

⎝

⎛−−

⎟⎟

⎠

⎞

⎜⎜

⎝

⎛−−

≡

Eijijij

Viii

Vi ijijiji

ijiiji

QQ

QQ

QQFQQL

1,1

,

,,

,

BetheBethe

ξ ζξ

ξ ς

ζξνξν

ζξξξλ

{ }{ }[ ] ( ) ( ) ( ) ( )

⎪⎭

⎪⎬⎫

⎪⎩

⎪⎨⎧

=== ∑∑∑∑ 1, ,,,minarg Bethe, ξ ςξς

ςξξςξξ ijiijiijiQQ

QQQQQQFiji

Lagrange Multipliers to ensure the constraints



{ }[ ] { }[ ] ( ) ( ) ( )

( ) ( )

( ) ( ) ( ) ( )

( ) ( ) ( ) ( ) ( ) ( )

( ) ( ) ( ) ( ) ( )∑ ∑∑∑ ∑∑ ∑ ∑ ∑

∑ ∑∑∑∑

∑∑∑ ∑∑

∑ ∑∑∑ ∑

∑ ∑ ∑ ∑

∈∈∈ ∂∈

∈

∈∈

∈∈

∈ ∂∈

⎟⎟

⎠

⎞

⎜⎜

⎝

⎛−−⎟

⎟

⎠

⎞

⎜⎜

⎝

⎛−−⎟

⎟

⎠

⎞

⎜⎜

⎝

⎛−−

⎟⎟

⎠

⎞

⎜⎜

⎝

⎛−−+

+=

⎟⎟

⎠

⎞

⎜⎜

⎝

⎛−−⎟

⎟

⎠

⎞

⎜⎜

⎝

⎛−−

⎟⎟

⎠

⎞

⎜⎜

⎝

⎛−−≡

Eijijij

Viii

Vi ijijiji

Eijjjiiijij

Viii

Eijijij

Eijijij

Viii

Vi ijijijiijiiji

QQQQ

QQQQQQ

QQWQ

QQ

QQQQFQQL

1,1,

lnln,ln,

ln,ln,

1,1

,,,

,

,BetheBethe

ξ ζξξ ζ

ξξξ ζ

ξξ ζ

ξ ζξ

ξ ς

ζξνξνζξξξλ

ξξξξζξζξ

ξξζξζξ

ζξνξν

ζξξξλ

( ) { }[ ] 0,Bethe =∂

∂iji

ii

QQLxQ

Extremum Condition

( ) { }[ ] 0,, Bethe =

∂∂

ijijiij

QQLxxQ



144 2

5

13→M

14→M

15→M

12→M

33

( ) ( ) ( )( ) ( )115114

11311211xMxMxMxMxQ

→→

→→

×

∝( ) ( ) ( ) ( )

( )( ) ( ) ( )228227226

2112

1151141132112,

,

xMxMxMxxW

xMxMxMxxQ

→→→

→→→

×

×

∝

ExtremumCondition( ) { }[ ] 0,Bethe =

∂∂

ijiii

QQLxQ ( ) { }[ ] 0,

, Bethe =∂

∂iji

jiij

QQLxxQ

26→M144

5

13→M

14→M

15→M

12Φ33

2

6

27→M

88

77

28→M



144 2

5

13→M

14→M

15→M

12→M

33

( ) ( )∑=2

211211 ,x

xxQxQ

( ) ( ) ( )( ) ( )115114

11311211xMxMxMxMxQ

→→

→→×

∝( ) ( ) ( ) ( )

( )( ) ( ) ( )228227226

2112

1151141132112,

,

xMxMxMxxW

xMxMxMxxQ

→→→

→→→

×

×

∝

( )( ) ( )

( ) ( )228227

2262112

112

2

,

xMxM

xMxxW

xM

x

→→

→

→

×

∝ ∑

Message Update Rule

26→M144

5

13→M

14→M

15→M

12Φ33

2

6

27→M

88

77

28→M



( )( ) ( ) ( ) ( )

( ) ( ) ( ) ( )∑∑

∑

→→→

→→→

→ =

1 2

1

1151141132112

1151141132112

221 ,

,

x x

x

xMxMxMxxW

xMxMxMxxW

xM

1

33

44 2

5

13→M

14→M

15→M

21→M

144

5

33

2

6

88

77

∑1x

211 7

6

88

=

Message Passing Rule of Belief Propagation


ContentsContents



脳の物理モデルの記憶容量，パーセプトロンの容量の評価に類似の議論

標本平均による統計的性能

1yr

xr2yr

3yr

4yr

5yr

1x̂r

2x̂r

3x̂r

4x̂r

5x̂rPost

erio

r Pr

obab

ility

Pr{X

|Y,α

,σ}

推定画像劣化画像

Mean Square Error の標本平均

原画像

スピングラス理論による解析的評価が可能

Add

itive

Whi

te

Gau

ssia

n N

oise

N(0

,σ2 )

∑=

−≅5

1

2||ˆ||51),|(MSE

nnxxx rrrσα


統計的性能の解析的評価

ydxXyYxyhV

x rrrrrrrrr },|Pr{),,(1),|(MSE2

σσασα ==−= ∫

),,( σαyh rr

gyr

Additive White Gaussian Noise

},|Pr{ σxXyY rrrr==xr

},,|Pr{ σαyYxX rrrr==

Posterior Probability

Restored Image

Original Image Degraded Image

},|Pr{ σxXyY rrrr==

Additive White Gaussian Noise


統計的性能の解析的評価

( ) { }

( ) { } ydxXyYxyV

ydxXyYxyhV

x

rrrrrrr

rrrrrrrrr

Pr1

Pr,,1),|MSE(

212

2

==−+=

==−≡

∫

∫

−CI ασ

σασα

( )

( ) y

xdyxPxyhr

rrrrrr

12

)|(,,−

+=

= ∫CI ασ

σα

{ } ( )

)2

1exp(

21exp,Pr

22

22

yx

yxxXyYVi

ii

rr

rrrr

−−=

⎟⎠⎞

⎜⎝⎛ −−∝== ∏

∈

σ

σσ

⎪⎩

⎪⎨

⎧∈−∈=

=otherwise,0

},{,1,4

EjiVji

ji C


Statistical Performance Estimation for Gaussian Markov Random Fields

T22

242

22

2

22

||

22

242T

22

||

22

2T

22

||

22

2T

22

||

22T

22

||

2

2

2

T

2

2

2

22

||2

2

2

2

22

||2

22

22

||2

2

2

)(||1

)(Tr1

21exp

21

)(1

21exp

21)(

)(1

21exp

21

)()(1

21exp

21)(

)()(1

21exp

21)()(1

21exp

21)(1

21exp

21)(1

21exp

211

},|Pr{),,(1),|(MSE

xI

xVV

ydxyxxV

ydxyxyxV

ydxyxxyV

ydxyxyxyV

ydxyxxyxxyV

ydxyxxyV

ydxyxxxyV

ydyxxyV

ydxXyYxyhV

x

V

V

V

V

V

V

V

V

rr

rrrrr

rrrrrr

rrrrrr

rrrrrrr

rrrrrrrrr

rrrrrr

rrrrrrr

rrrrr

rrrrrrrrr

CC

CII

CIC

CIC

CIC

CII

CIC

CII

CIC

CII

CIC

CII

CII

CII

CII

ασσα

ασσ

σσπασσα

σσπασασ

σσπασασ

σσπασ

σσπασασ

ασασασ

ασ

σσπασασ

ασ

σσπασασ

σσπασ

σσασα

++⎟⎟

⎠

⎞⎜⎜⎝

⎛

+=

⎟⎠⎞

⎜⎝⎛ −−⎟⎟

⎠

⎞⎜⎜⎝

⎛+

+

⎟⎠⎞

⎜⎝⎛ −−⎟⎟

⎠

⎞⎜⎜⎝

⎛−

+−

⎟⎠⎞

⎜⎝⎛ −−⎟⎟

⎠

⎞⎜⎜⎝

⎛+

−−

⎟⎠⎞

⎜⎝⎛ −−⎟⎟

⎠

⎞⎜⎜⎝

⎛−

+−=

⎟⎠⎞

⎜⎝⎛ −−⎟⎟

⎠

⎞⎜⎜⎝

⎛⎟⎟⎠

⎞⎜⎜⎝

⎛

++−

+⎟⎟⎠

⎞⎜⎜⎝

⎛

++−

+=

⎟⎠⎞

⎜⎝⎛ −−⎟⎟

⎠

⎞⎜⎜⎝

⎛+

+−+

=

⎟⎠⎞

⎜⎝⎛ −−⎟⎟

⎠

⎞⎜⎜⎝

⎛−

++−

+=

⎟⎠⎞

⎜⎝⎛ −−⎟⎟

⎠

⎞⎜⎜⎝

⎛×−

+=

==×−=

∫

∫

∫

∫

∫

∫

∫

∫

∫

= 0

⎪⎩

⎪⎨

⎧∈−∈=

=otherwise,0

},{,1,4

EjiVji

ji C


Statistical Performance Estimation for Gaussian Markov Random Fields

xI

xVV

ydyxxyV

ydxXyYxyhV

x

V

rr

rrrrr

rrrrrrrrr

22

242T

22

2

22

||

2

2

2

2

)(||1

)(Tr1

21exp

211

},|Pr{),,(1),|(MSE

CC

CII

CII

ασσα

ασσ

σσπασ

σσασα

++⎟⎟

⎠

⎞⎜⎜⎝

⎛

+=

⎟⎠⎞

⎜⎝⎛ −−⎟⎟

⎠

⎞⎜⎜⎝

⎛×−

+=

==×−=

∫

∫

⎪⎩

⎪⎨

⎧∈−∈=

=otherwise,0

},{,1,4

EjiVji

ji C

0

200

400

600

0 0.001 0.002 0.003α

σ=40

0

200

400

600

0 0.001 0.002 0.003

σ=40

α

),|(MSE xrσα ),|(MSE xrσα


Statistical Performance Estimation for Binary Markov Random Fields

ydxXyYxyhV



⎟⎟

⎠

⎞

⎜⎜

⎝

⎛+∝

==

∑∑∈∈ Eji

jiVi

ii sssy

yYsX

},{2

1exp

},,|Pr{

ασ

σαrrrr

∫ ∫ ∫ ∑ ∑ ∑ ∑∑∏∞+

∞−

∞+

∞−

∞+

∞−±= ±= ±= ∈== ⎟⎟

⎟

⎠

⎞

⎜⎜⎜

⎝

⎛

⎟⎟

⎠

⎞

⎜⎜

⎝

⎛+

⎟⎟

⎠

⎞

⎜⎜

⎝

⎛⎟⎠⎞

⎜⎝⎛ −− ||21

1 1 1 },{

||

12

||

1

22

1 2 ||

1explog)(2

1exp Vs s s Eji

ji

V

iii

V

iii dydydysssyxy

V

LLL ασσ

It can be reduced to the calculation of the average of free energy with respect to locally non-uniform external fields y1,y2,…,y|V|.

Free Energy of Ising Model with Random External Fields

1±=isLight intensities of the original image can be regarded as spin states of ferromagnetic system.

== >

== >

Eji ∈},{

Eji ∈},{


0

0.1

0.2

0.3

0.4

0 0.2 0.4 0.6 0.8 1

Statistical Performance Estimation for Markov Random Fields

ydxXyYxyhV



0

200

400

600

0 0.001 0.002 0.003α

σ=40

),|(MSE xrσα

σ=1

α

),|(MSE xrσα

Multi-dimensional Gauss Integral Formulas

Spin Glass Theory in Statistical MechanicsLoopy Belief Propagation


ContentsContents



結合ガウス・マルコフ確率場モデル

( )⎟⎟

⎠

⎞

⎜⎜

⎝

⎛−−−−−−= ∑∑

∈∈uyx Vxxuyx

ZP

Ejijiji

Viii γα

σ },{

2},{

22 ))(1(

21)(

21exp1)|(

0 2.7 1.8 0.9 1.8 2.7:0 :1

ライン場についての事前情報 V(u)

ライン場を量子化することでさらなる拡張が可能ライン場を量子化することでさらなる拡張が可能



原画像劣化画像ライン場のない確率場モデル

ライン場を導入した確率場モデル

量子ライン場を導入した確率場モデル


ContentsContents



確率モデルによる画像処理技術入門確率モデルによる画像処理技術入門

ベイズ統計をつかった画像処理ベイズ統計をつかった画像処理画像処理の事前分布画像処理の事前分布磁性体の物理モデルとの類似性磁性体の物理モデルとの類似性

確率伝搬法（確率伝搬法（Belief PropagationBelief Propagation））スピングラスの概念による統計的性能評価スピングラスの概念による統計的性能評価


Digital Images Inpaintingbased on MRF

Inpu

t

Out

put

MarkovRandom

FieldM. Yasuda, J. Ohkubo and K. Tanaka: Proceedings ofCIMCA&IAWTIC2005.


ReferencesReferences

1.1. 田中和之編著田中和之編著: : 臨時別冊・数理科学臨時別冊・数理科学SGCSGCライブライブラリ「確率的情報処理と統計力学ラリ「確率的情報処理と統計力学 ------様々なアプ様々なアプローチとそのチュートリアル」ローチとそのチュートリアル」, , サイエンス社サイエンス社, , 20062006年年99月月..

2.2. 田中和之著田中和之著: : 確率モデルによる画像処理技術確率モデルによる画像処理技術入門入門, , 森北出版森北出版, 2006, 2006年年99月月..

3.3. 田中和之著田中和之著: : ベイジアンネットワークの統計的ベイジアンネットワークの統計的推論の数理推論の数理，，コロナ社コロナ社, 2009, 2009年年1010月．月．


DEXDEX--SMISMI EventsEventsInternational Workshop International Workshop on Statisticalon Statistical--Mechanical Informatics (IWMechanical Informatics (IW--SMI)SMI)

IWIW--SMI2007 (13SMI2007 (13--16 September, 2007, Kyoto)16 September, 2007, Kyoto)Information and Communication Technology and SMI Information and Communication Technology and SMI

IWIW--SMI2008 (14SMI2008 (14--17 September, 2008, Sendai)17 September, 2008, Sendai)QuntumQuntum Information Processing and SMI Information Processing and SMI

IWIW--SMI2009 (13SMI2009 (13--16 September, 2009, Kyoto)16 September, 2009, Kyoto)BioBio--Informatics and SMIInformatics and SMI

IWIW--SMI2010 (7SMI2010 (7--10 March, 2010, Kyoto)10 March, 2010, Kyoto)StatisticalStatistical--Mechanical Informatics (SMI)Mechanical Informatics (SMI)

Proceedings Proceedings Journal of Physics: Conference Series (IOP)Journal of Physics: Conference Series (IOP)

情報統計力学検索

DEX-SMI 検索

大規模確率場と確率的画像処理kazu/tutorial...24 september, 2009 jnns2009 (sendai） 4...

Documents