電気・通信・電子・情報工学実験確率的情報処理の … › ~kazu ›...

April, 2012

電気・通信・電子・情報工学実験D

[Kazuyuki Tanaka Part 3] 1

電気・通信・電子・情報工学実験D 確率的情報処理の基礎技術

Part 3 (2012年4月)

東北大学大学院情報科学研究科

田中和之

[email protected]

http://www.smapip.is.tohoku.ac.jp/~kazu/

本実験DのWebpage: http://www.smapip.is.tohoku.ac.jp/~kazu/ECEI-ExperimentD/2012/

April, 2012



本講義の参考文献

田中和之著: 確率モデルによる画像処理技術入門, 森北出版, 2006.

田中和之著: ベイジアンネットワークの統計的推論の数理, コロナ社, 2009.

田中和之編著: 臨時別冊・数理科学SGCライブラリ「確率的情報処理と統計力学 ---様々なアプローチとそのチュートリアル」, サイエンス社，2006.

安田宗樹, 片岡駿，田中和之共著 (分担執筆): ---CVIMチュートリアルシリーズ--- コンピュータビジョン最先端ガイド3(八木康史，斎藤英雄編), 第6章．大規模確率場と確率的画像処理の深化と展開，pp.137-179, アドコム・メディア株式会社, December 2010.

Kazuyuki Tanaka: Statistical-mechanical approach to image processing (Topical Review), Journal of Physics A: Mathematical and General, vol.35, no.37, pp.R81-R150, 2002.

C. M. Bishop: Pattern Recognition and Machine Intelligence, Springer, 2007.

M. Opper and D. Saad: Advanced Mean Field Method, MIT Press, 2001.

H. Nishimori: Statistical Physics of Spin Glasses and Information Processing, ---An Introduction---, Oxford University Press, 2001.

M. J. Wainwright and M. Jordan: Graphical Models, Exponential Families, and Variational Inference (Foundations and Trends® in Machine Learning), Now Publishers, 2008.

M. Mezard and A. Montanari: Information, Physics, and Computation, Oxford University Press, 2009.

Contents

1. 序論：確率的情報処理とベイジアンネットワーク

2. 確率の基礎知識

3. 確率的計算技法の基礎 ---マルコフ連鎖モンテカルロ法と確率伝搬法---

4. 確率的画像処理とベイジアンネットワーク ---マルコフ確率場と確率伝搬法---

5. 確率推論とベイジアンネットワーク---グラフィカルモデルと確率伝搬法---

6. まとめ

April, 2012



April, 2012



計算困難のポイントは何か

2L 通りの和が計算できるか？

1,0 1,0 1,0

21

1 2

,,,x x x

L

L

xxxf

}

}

}

;,,,

){1,0for(

){1,0for(

){1,0for(

;0

21

2

1

L

L

xxxfaa

x

x

x

a

L 重ループ

このプログラムでは

L=10個のノードで1秒かかるとしたら

L=20個で約17分，

L=30個で約12日，

L=40個で約34年かかる．

厳密に計算するのは一部の特殊な例を除いて難しい．

マルコフ連鎖モンテカルロ法

確率伝搬法

今回

次回

April, 2012



乱数による円周率の計算（モンテカルロ法）

1

1

-1

-1

0

区間[-1,1]において2個の

一様乱数a,bを発生緑の四角の枠の中に

ランダムに点をプロットし，

赤い円の内部の点の個数

をカウントする．

mm+1

a2+b2≤1

Yes

No

nn+1

n0 m0

2RS

1Rn

mS

4

円周率

試行回数 n が大きいほど

精度が上がる

April, 2012



乱数による円周率の計算（モンテカルロ法）

1

1

-1

-1

0

緑の四角の枠の中に

ランダムに点を n 個プロットし，

赤い円の内部の点の個数 m を

カウントする．

2RS

1Rn

mS

4

円周率


精度が上がる

ランダムに n 個プロットした標本平均は平均が 0, 分散が 1/2n

(中心極限定理)なので，その確率密度関数の幅は 1/n1/2 で減少する．

1個1個の点をランダムにプロットするという試行を行った時の x 座標，y 座標の平均 0, 分散は 1/2．

円周率の推定誤差は O(1/n1/2)

April, 2012



積分の計算（モンテカルロ法）

1

1

-1

-1

0

区間[-1,1]において2個の

一様乱数a,bを発生緑の四角の枠の中に

ランダムに点をプロットし，

その点の被積分関数の

値を求める操作を繰り返す． mm + f(a,b)

nn+1

n0 m0

n

mI

4


精度が上がる

1

1

1

1),( dxdyyxfI

推定誤差は O(1/n1/2)

積分が高次元でも同様

April, 2012



確率推論でよく必要となる計算

周辺確率

1,0 1,0 1,0

2111

2 3

,,,x x x

L

L

xxxPxP

1,0 1,0 1,0

32121}2,1{

3 4

,,,,,x x x

L

L

xxxxPxxP

1,0 1,0 1,0

32131}3,1{

2 4

,,,,,x x x

L

L

xxxxPxxP

April, 2012



計算のポイントは

LxxxPP ,,, 21 x

に従うN個の独立なサンプル x を生成するアルゴリズムが作れるか?

但し，1個のサンプルを生成するための計算量は

L の多項式オーダーでなければならない．

与えられた確率分布

April, 2012



簡単な確率過程：マルコフ連鎖

),2,1 ;1,0( )()|()(1

0

1

txzPzxwxP

z

tt

任意の P0(x) を初期値として

推移確率 w(x|y)≥0 (x,y=0,1) が与えられたとき

)1(

)0(

)1|1()0|1(

)1|0()0|0(

)1(

)0(

1

1

t

t

t

t

P

P

ww

ww

P

P

推移確率行列

1

0

z

xzw

April, 2012




1

0]1[

1

0]2[

1

0]1[

0

1

0]1[

1

])0[(])0[|]1[(])2[|]1[(])1[|(

])1[(])1[|()(

tz tz tz

tz

tt

zPzzwtztzwtzxw

tzPtzxwxP

)1(

)0(

)1(

)0(

0

0

P

PW

P

P t

t

t

1)( 0

01 1

UUW

)1(

)0(

0

01

)1(

)0(

0

01

P

PUU

P

Pt

t

t

遷移確率行列は

)1(

)0(

00

01

)1(

)0(lim

)1(

)0(

0

01

P

PUU

P

P

P

P

t

t

t

と対角化可能極限分布

April, 2012




1

0]1[

1 ])1[(])1[|()(

tz

tt tzPtzxwxP

)1(

)0(

)1(

)0(

P

PW

P

P

1

0]1[

])1[(])1[|()(

tz

tzPtzxwxP

定常分布または平衡分布

)1(

)0(lim

)1(

)0(

t

t

t P

P

P

P極限分布が存在すれば定常分布は存在する

定常分布が存在しても極限分布が存在するとは限らない．

01

10WExample は定常分布

2/1

2/1

)1(

)0(

P

P

April, 2012



マルコフ連鎖の定常分布と詳細釣り合い

1

0

1 )(

y

tt yPyxwxP

1

0y

yPyxwxP マルコフ連鎖の定常分布

P1(x), P2(x), P3(x),…: マルコフ連鎖

)()( yPyxwxPxyw 詳細釣り合い

を満たすように推移確率 w(x|y) を選ぶと

その定常分布は P(x) になる．

11

0

y

xywただし

April, 2012




),3,2,1( )()( 1

tyPyxwxP

y

tt

を繰り返し計算して， )()(lim xPxPtt

任意のを初期値として

となるように

を選ぶにはどうしたらよいか？

),,,()( 21 LxxxPxP が与えられたとき確率分布

)(0 xP

yxw

April, 2012




y

tt yPyxwxP

)(1

y

yPyxwxP

P1(x), P2(x), P3(x),…: マルコフ連鎖

1y

xyw

ただし

yPyxwxPxyw

詳細釣り合い

を満たすように推移確率を選ぶとその推移確率

の定常分布はになる．

yxw

)(xP

推移確率の

マルコフ連鎖の定常分布

yxw

極限分布がただ一つ存在するとしたら定常分布のひとつが極限分布である．

April, 2012




からのサンプリングとみなすことができる

τ が十分大きいときサンプルx[t],

x[2t], x[3t], …,

x[Nt] は独立

ランダムに生成

無駄弾

t をどれだけ大きくとるべきか→緩和時間

独立とみなせるか

]1[]1)2[(]1)1[(

]2[]2[]1[

][]2[]1[

ttt

ttt

t

NxNxNx

xxx

xxx

精度は

O(1/t1/2

)

1txtxw

1tx

tx

)(xP

April, 2012



N

n

Xnx

X X X

L

N

XXXXPXP

L

1

,

32111

11

2 3

1

,,,,

t


][]2)1[(]1)1[(

]2[]2[]1[

][]2[]1[

ttt

ttt

t

NxNxNx

xxx

xxx

頻度

Xi ヒストグラムから周辺確率も計算できる

April, 2012




)()2)1(()1)1((

)2()2()1(

)()2()1(

ttt

ttt

t

NxNxNx

xxx

xxx

頻度

Xi

N

n

Xnx

X

Liii

ii

i

N

XXXXPXP

1

,

\

21

1

,,,,,

t

X

ヒストグラムから周辺確率も計算できる

April, 2012



Nii

NiiiNiii

xxxxxP

xxxxxxPxxxxxxP

,,,,,,

,,,,,,,,,,,,,

1121

11211121


Eji

jijiL xxxxxPP},{

},{21 ,,,, x

E：すべてのリンクの集合

V：すべてのノードの集合

iz

NiiiNii xxzxxxPxxxxxP ,,,,,,,,,,,,, 11211121




Eji

jijiL xxxxxPxP},{

},{21 ),(),,,()(

ijxxP

xz

xx

xxxxxxP ji

z ij

jiji

ij

jiji

Liii

i

,

,

,,,,,, },{

},{

1121

マルコフ確率場

E：すべての

リンクの集合：ノード i とリンクで結ば

れたすべてノードの集合

),( EV ),( EV

i

April, 2012




Vi

z ij

jiji

ij

jiji

iVk

kkLL

i

xz

xx

xxxxxxxxw,

,

),(,,,,,,},{

},{

/

2121

'xP'xxwxPxxw

'),( EV

ikxx kk

Eji

jijiL xxxxxPxP},{

},{21 ),(),,,()(

1txtxw

1tx tx

April, 2012

April, 2012




x

x’

xi = ○ or ●

w(x(t+1)|x(t))

x(t) x(t+1)

１回の更新にかかる計算量は変数の次元 L に対してO(1)

True False

April, 2012




伊庭幸人, 種村正美: 統計科学のフロンティア/計算統計 II ---マルコフ連鎖モンテカルロ法とその周辺,

岩波書店, 2005.

April, 2012



確率伝搬法 (Belief Propagation)

を厳密に計算するのは一部の特殊な例を除いて難しい．

一部の特殊な例とは何か？

一部の特殊な例に適用できるアルゴリズムを一般

の場合に近似アルゴリズムとして適用できるか．

→ アルゴリズム化できるか？動くか？

精度はどの程度か？

1,0 1,0 1,0

2111

2 3

,,,x x x

L

L

xxxPxP



扱いやすい確率モデルのグラフ表現

April, 2012




A B C D E A B C D E

April, 2012




A B C D E A B C D E

A B

A B C D E

B C D E X

April, 2012




A B C D E A B C D E

A B

A B C D E

B C D E X

A B

B C D E A

B C D E

April, 2012




A B C D E A B C D E

A B

A B C D E

B C D E X

A B

B C D E A

B C D E

A B

April, 2012




A B C D E A B C D E

A B

A B C D E

B C D E X

A B

B C D E A

B C D E

A B

A B C D E

B C D E

April, 2012




A B C D E B C D E

April, 2012




B C D E

C D E X

A B C D E B C D E

A B C

April, 2012




B C D E

C D E X

C D E B

C D E

A B C D E B C D E

A B C

A B C X

April, 2012




B C D E

C D E X

C D E B

C D E

B C

A B C D E B C D E

A B C

A B C X

April, 2012




B C D E

C D E X

C D E B

C D E

B C

A B C D E B C D E

A B C

A B C

B C D E

C D E

X

April, 2012




A B C D E A B C D E

April, 2012




A B C D E

B C D E

A B C D E A B C D E

April, 2012




A B C D E

B C D E

B C D E

C D E

A B C D E A B C D E

April, 2012




A B C D E

B C D E

B C D E

C D E

A B C D E A B C D E

C D E

D E

April, 2012




A B C D E

B C D E

B C D E

C D E

A B C D E A B C D E

C D E

D E

D E E

April, 2012




A

B

E C A B C D E F

D

F

April, 2012




A

B

E C A B C D E F

D

F

A

B

E C

D

F

B C D E F

April, 2012




A

B

E C A B C D E F

D

F

A

B

E C

C D E F

D

F

A

B

E C

B C D E F

D

F

April, 2012




A

B

E C A B C D E F

D

F

A

B

E C

C D E F

D

F

A

B

E C

B C D E F

D

F

E C

D E F

D

F

April, 2012




A

B

E C A B C D E F

D

F

A

B

E C

C D E F

D

F

A

B

E C

B C D E F

D

F

E C

D E F

D

F

E C

E F

D

F

April, 2012




A

B

E C A B C D E F

D

F

A

B

E C

C D E F

D

F

A

B

E C

B C D E F

D

F

E C

D E F

D

F

E C

E F

D

F

E

F F

April, 2012




周辺確率のメッセージを用いた表現

A

B

E C A B C D F

E}Pr{

D

F

April, 2012





A

B

E C A B C D F

E}Pr{

D

F

A

B

E C A B C

E

D E

F

F

D

＝

April, 2012





A

B

E C A B C D F

E}Pr{

D

F

A

B

E C A B C

E

D E

F

F

D

＝

＝ E C

E

D E

F

April, 2012





A

B

E C A B C D F

E}Pr{

D

F

A

B

E C A B C

E

D E

F

F

D

＝

＝ E C

E

D E

F

E C

D

F

＝

April, 2012





A

B

E C A B D F

EC },Pr{

D

F

A

C

A E

D E

F

F

D

＝

＝ E C

E

D E

F

＝

E C B

C

B

A

C B

C A

B

E C

D

F

April, 2012





},Pr{ EC

A

B

E C

D

F

＝ }Pr{E E C

D

F

＝

E C

A

B

E C C

E C

D

F

A

B

E C

D

F

C

C

ECE },Pr{}Pr{

メッセージに

対する漸化式

April, 2012





A

B

E C C

E C

E C

D

F

E

E

F

E C

D

F

E

E

D

E C

D

F

E

E C

A

B

E C C

A

C

A

B

E C C

B

C

A

A

C

A

C B

C

BB

C

E

D

E

D

D

E

F

E

F

F

A

B

E C

D

F Step 1

Step 2

Step 3

April, 2012





A

B

E C

D

F

Step 1

Step 2

Step 3

A

B

E C

D

F

A

B

E C

D

F

April, 2012




a

b

1

cd

2

3 4

5

6

2221}2,1{11

21

,,,,,

,,,,,

xWxWxxWxWxW

xxP

CBA dcba

dcba

a3x

c5x

b4x

d6x

閉路のないグラフ上の確率モデル

April, 2012




1

2 21}2,1{ , xxW

b4 1

1, xWB b

1

a

3

1, xWA a

d

2

6

2, xWC c

c5

2

2, xWD d

2221}2,1{

11

21

,,,

,,

,,,,,

xWxWxxW

xWxW

xxP

C

BA

dc

ba

dcba

a

b

1

cd

2

3 4

5

6


April, 2012




ノード１と２の周辺確率分布は

それぞれ隣接するノードから伝搬されるメッセージの積により表される．

a

b

1

cd

2

3 4

5

6

22522621}2,1{114113

2121}2,1{

,

,,,,,,

xMxMxxWxMxM

xxPxxP

dc,b,a,

dcba

a

a 1113 , xWxM A

b

b 1114 , xWxM B

c

c 2225 , xWxM C

d

D xdWxM 2226 ,

April, 2012




ノード１から隣接ノード２に伝搬するメッセージは（ノード２を除く）ノード１の隣接ノードからノード１に伝搬されるメッセージの積により表される．

a

b

1

cd

2

3 4

5

6

1

1

11411321}2,1{

1121}2,1{221

,

,,,

x

x a b

BA

xMxMxxW

xWxWxxWxM ba

MM

メッセージに対する固定点方程式

(Message Passing Rule)


April, 2012



閉路のないグラフ上の確率伝搬法

},{

},{ ,1

Prji

jiji xxWZ

xX

閉路が無いことが重要!!

同じノードは２度通らない

1X

2X 3X

1kX

kX

2kX

3kX

1kX

April, 2012

April, 2012



確率的画像処理における

確率伝搬法(Belief Propagation)

E：すべてのリンクの集合

Eji

jijiL xxxxxPxP},{

},{21 ,,,,

April, 2012



正方格子によるグラフ表現をもつ

確率モデルの確率伝搬法(Belief Propagation)

着目画素とその近傍画素だけを残すと木構造になる．

April, 2012





着目画素とその近傍画素だけを残すと木構造になる．

確率伝搬法(Belief Propagation)の統計的近似アルゴリズムとしての転用

April, 2012



周辺確率(Marginal Probability)

1 3 4

,,,,, 432122x x x x

N

N

xxxxxPxP

April, 2012




1 3 4x x x xN

2

1 3 4

,,,,, 432122x x x x

N

N

xxxxxPxP

April, 2012




1 3 4x x x xN

2 2

1 3 4

,,,,, 432122x x x x

N

N

xxxxxPxP

April, 2012




3 4

,,,,,, 432121}2,1{

x x x

N

N

xxxxxPxxP

April, 2012




3 4x x xN

3 4

,,,,,, 432121}2,1{

x x x

N

N

xxxxxPxxP

1 2

April, 2012




3 4x x xN

3 4

,,,,,, 432121}2,1{

x x x

N

N

xxxxxPxxP

1 2 1 2

April, 2012





1

21}2,1{22 ,x

xxPxP

April, 2012





1

21}2,1{22 ,x

xxPxP

1 4

5

3

2

6

8

7

April, 2012





2 1 7

6

8

1

21}2,1{22 ,x

xxPxP

1 4

5

3

2

6

8

7

April, 2012





2 1 7

6

8

1

21}2,1{22 ,x

xxPxP

Message Update Rule

1 4

5

3

2

6

8

7

3

2 1

5

4 1x

1 2

April, 2012



閉路のあるグラフ上の確率モデル

の確率伝搬法(Belief Propagation)

閉路のあるグラフ上でも局所的な構造だけに着目してアルゴリムを構成することは可能．

ただし，得られる結果は厳密ではなく近似アルゴリズム

２１

３

４

５

3

2 1

5

4

13M

14M

15M

1x

1 21M

2

April, 2012





MM




２１

３

４

５

3

2 1

5

4

13M

14M

15M

1x

1 21M

2

April, 2012





MM




２１

３

４

５

平均，分散,共分散はこのメッセージを使ってあらわされる

3

2 1

5

4

13M

14M

15M

1x

1 21M

2

April, 2012



Fixed Point Equation and

Iterative Method

Fixed Point Equation ** MM

April, 2012




Iterative Method


Iterative Method

0

xy

)(xy

y

x*M

April, 2012




Iterative Method


Iterative Method

0M0

xy

)(xy

y

x*M

April, 2012




Iterative Method


Iterative Method

01 MM

0M

1M

0

xy

)(xy

y

x*M

April, 2012




Iterative Method


Iterative Method

12

01

MM

MM

0M1M

1M

0

xy

)(xy

y

x*M

April, 2012




Iterative Method


Iterative Method

12

01

MM

MM

0M1M

1M

0

xy

)(xy

y

x*M

2M

April, 2012




Iterative Method


Iterative Method

23

12

01

MM

MM

MM

0M1M

1M

0

xy

)(xy

y

x*M

2M

April, 2012



確率的画像処理における

確率伝搬アルゴリズムの基本構造

ひとつの画素ごとに４種類の更新パターン

４近傍の場合は3入力1出力の更新式

画素上での

動作の様子

の一例




MM




1 2

1

1151141132112

1151141132112

221,

,

z z

z

zMzMzMzzW

zMzMzMxzW

xM

２１

３

４

５

April, 2012

April, 2012



確率伝搬法の参考文献

田中和之著: 確率モデルによる画像処理技術入門, 森北出版, 2006.

田中和之著: ベイジアンネットワークの統計的推論の数理, コロナ社, 2009.

M. J. Wainwright and M. Jordan: Graphical Models, Exponential Families, and Variational Inference (Foundations and Trends® in Machine Learning), Now Publishers, 2008.

M. Mezard and A. Montanari: Information, Physics, and Computation, Oxford University Press, 2009.

April, 2012



まとめ

確率的計算技法の基礎


確率伝搬法

電気・通信・電子・情報工学実験 確率的情報処理の … › ~kazu ›...

Documents

電気・通信・電子・情報工学実験確率的情報処理の … › ~kazu ›...