確率モデルによる画像処理技術入門kazu/ecei-experiment... · 2012. 4. 3. · april,...

April, 2012

電気・通信・電子・情報工学実験D

[Kazuyuki Tanaka Part 2] 1

電気・通信・電子・情報工学実験D 確率的情報処理の基礎技術

Part 2(2012年4月)

東北大学大学院情報科学研究科

田中和之

[email protected]

http://www.smapip.is.tohoku.ac.jp/~kazu/

本実験DのWebpage: http://www.smapip.is.tohoku.ac.jp/~kazu/ECEI-ExperimentD/2012/

April, 2012



本講義の参考文献

田中和之著: 確率モデルによる画像処理技術入門, 森北出版, 2006.

田中和之著: ベイジアンネットワークの統計的推論の数理, コロナ社, 2009.

田中和之編著: 臨時別冊・数理科学SGCライブラリ「確率的情報処理と統計力学 ---様々なアプローチとそのチュートリアル」, サイエンス社，2006.

安田宗樹, 片岡駿，田中和之共著 (分担執筆): ---CVIMチュートリアルシリーズ--- コンピュータビジョン最先端ガイド3(八木康史，斎藤英雄編), 第6章．大規模確率場と確率的画像処理の深化と展開，pp.137-179, アドコム・メディア株式会社, December 2010.

Kazuyuki Tanaka: Statistical-mechanical approach to image processing (Topical Review), Journal of Physics A: Mathematical and General, vol.35, no.37, pp.R81-R150, 2002.

C. M. Bishop: Pattern Recognition and Machine Intelligence, Springer, 2007.

M. Opper and D. Saad: Advanced Mean Field Method, MIT Press, 2001.

H. Nishimori: Statistical Physics of Spin Glasses and Information Processing, ---An Introduction---, Oxford University Press, 2001.

M. J. Wainwright and M. Jordan: Graphical Models, Exponential Families, and Variational Inference (Foundations and Trends® in Machine Learning), Now Publishers, 2008.

M. Mezard and A. Montanari: Information, Physics, and Computation, Oxford University Press, 2009.

Contents

1. 序論：確率的情報処理とベイジアンネットワーク

2. 確率の基礎知識

3. 確率的計算技法の基礎 ---マルコフ連鎖モンテカルロ法と確率伝搬法---

4. 確率的画像処理とベイジアンネットワーク ---マルコフ確率場と確率伝搬法---

5. 確率推論とベイジアンネットワーク---グラフィカルモデルと確率伝搬法---

6. まとめ

April, 2012



April, 2012



試行と標本空間と事象

試行 (Experiment) ：ある操作を行って得られる可能性のあ

る結果の全体はわかっているが，そのうちのいずれかが得られるかは予知できない操作

標本点 (Sample Point)：試行の結果得られる可能性のある個々の結果

標本空間 (Sample Space)：標本点の全体集合

事象 (Event)：標本空間の部分集合

根元事象 (Elementary Event)：１個の標本点だけからなる事象

空事象 (Empty Event)：標本点がない事象

April, 2012



試行と標本空間と事象

「サイコロを１回振る」という試行の例

April, 2012



全事象・余事象と差事象

「３の目がでない」という事象は

「３の目がでる」という事象の余事象

「３の目がでない」という事象は

全事象と「３の目がでる」という事象の差事象

April, 2012



和事象

「奇数の目がでる」という事象は

「１の目がでる」という事象と

「３または５の目がでる」という事象の和事象

April, 2012



積事象

「３または４の目がでる」という事象は

「４以下の目がでる」という事象と

「３以上の目がでる」という事象の積事象

April, 2012



空事象

「３以下の目がでる」という事象と

「４以上の目がでる」という事象の積事象は空事象である．

「３以下の目がでる」という事象と

「４以上の目がでる」という事象は互いに排反であるという．

April, 2012



様々の事象のまとめ

全事象: W

事象 A の余事象(Complementary Event): Ac=W╲A

事象 A と B の差事象: A╲B

事象 A と B の和事象 (Union of Event): A∪B

事象 A と B の積事象 (Intersection of Event): A∩B

事象 A と B が互いに排反 (Disjoint): A∩B=f

事象 A, B, C が互いに排反 (Disjoint):

[A∩B=f]Λ[B∩C=f]Λ[C∩A=f]

April, 2012



確率の定義

統計的定義: ある試行を R 回繰り返し行う．事象 Aの起こる回数を r とする．試行の回数 R を増やしていくとき，r/R が一定の値 p に近づくならば，事象 A の起こる確率(Probability) を p と定義する．

RpR

r pA =Pr

Laplace による定義: 起こりうる標本点の総数が N 個あり，それらは同様に確からしい(Equally Likely)と仮定する．ある事象Aの標本点の個数が n 個であれば事象 A の起こる確率(Probability) は p=n/N と定義する．

April, 2012



確率の定義

0Pr A確率の公理1. 任意の事象 A に対して

1Pr =W確率の公理2. 全事象Ωに対して

BABA PrPrPr =

確率の公理3. 任意の2つの互いに排反な事象 A, B

に対して

Kolmogorov による定義: 標本空間Ωから定義される任意の事象 A に対して確率 (Probability) Pr{A} は次の３つの公理を満たすものとして定義される．

April, 2012



確率の定義

1Pr =W公理2. 全事象Ωに対して

April, 2012



確率の定義

BABA PrPrPr =

公理3. 任意の2つの互いに排反な事象 A, B に対して

April, 2012



結合確率と条件付き確率

AABBA

A

BAAB

PrPr,Pr

Pr

,PrPr

=

A

B

条件付き確率と結合確率

事象Aの起こる確率 }Pr{A

事象 A と事象 B の結合確率 BABA Pr,Pr =

April, 2012



結合確率と事象の独立性

BAB PrPr =

A

B

事象 A と事象 B が互いに独立であるときの条件付き確率

事象 A と事象 B が互いに独立である

BABA PrPr,Pr =

A

B

April, 2012



周辺確率

=

=M

j

j BAB1

,PrPr

標本空間Ωが互いに排反である M 個の事象 A1,A2,…,AM

によって Ω=A1∪A2∪…∪AM と表されるとき

結合確率 Pr{Ai,B} における事象 B の周辺確率 (Marginal Probability) 周辺化

Ai B

=A

BAB ,PrPrA B

簡略表記

事象 A の取り得るすべての互いに排反な事象についての和

April, 2012



結合確率と周辺確率

=A C D

DCBAB ,,,PrPr

事象 B の周辺確率

A B

C D

周辺化

April, 2012



ベイズの公式の導出

BBABA PrPr,Pr =

April, 2012




AABBA PrPr,Pr =

BBABA PrPr,Pr =

April, 2012




AABBA PrPr,Pr =

B

BABA

Pr

,PrPr =

BBABA PrPr,Pr =

April, 2012




AABBA PrPr,Pr =

B

AAB

B

BABA

Pr

PrPr

Pr

,PrPr ==

BBABA PrPr,Pr =

April, 2012




AABBA PrPr,Pr =

=

==

A

BA

AAB

B

AAB

B

BABA

,Pr

PrPr

Pr

PrPr

Pr

,PrPr

BBABA PrPr,Pr =

=A

BAB ,PrPr

April, 2012




AABBA PrPr,Pr =

==

==

AA

AAB

AAB

BA

AAB

B

AAB

B

BABA

PrPr

PrPr

,Pr

PrPr

Pr

PrPr

Pr

,PrPr

BBABA PrPr,Pr =

=A

BAB ,PrPr

April, 2012




AABBA PrPr,Pr =

==

==

AA

AAB

AAB

BA

AAB

B

AAB

B

BABA

PrPr

PrPr

,Pr

PrPr

Pr

PrPr

Pr

,PrPr

A

B

BBABA PrPr,Pr =

=A

BAB ,PrPr

April, 2012



ベイズの公式 (Bayes Formula)

事後確率 (A Posteriori Probability)

事前確率

(A Priori

Probability)

=

A

AAB

AABBA

PrPr

PrPrPr

A

B Bayes 規則 (Bayes Rule) とも言う．

ベイジアンネットワーク

April, 2012



ベイズの公式による確率的推論の例

A 教授はたいへん謹厳でこわい人で，機嫌の悪いときが 3/4 を占め，機嫌のよい期間はわずかの 1/4 にすぎない．

教授には美人の秘書がいるが，よく観察してみると，教授の機嫌のよいときは，8 回のうち 7 回までは彼女も機嫌がよく，悪いのは 8

回中 1 回にすぎない．

教授の機嫌の悪いときで，彼女の機嫌のよいときは 4 回に 1 回である．

秘書の機嫌からベイズの公式を使って教授の機嫌を確率的に推論することができる.

甘利俊一：情報理論 (ダイヤモンド社，1970) より

April, 2012



ベイズの公式による確率的推論の例（２）

教授は機嫌の悪いときが 3/4 を占め，機嫌のよい期間はわずかの

1/4 にすぎない．

教授の機嫌のよいときは，8 回のうち 7 回までは彼女も機嫌がよく，悪いのは 8 回中 1 回にすぎない．


April, 2012



ベイズの公式による確率的推論の例（２）

教授は機嫌の悪いときが 3/4 を占め，機嫌のよい期間はわずかの

1/4 にすぎない．

4

1Pr =教授機嫌良い

4

3Pr =教授機嫌悪い

教授の機嫌のよいときは，8 回のうち 7 回までは彼女も機嫌がよく，悪いのは 8 回中 1 回にすぎない．


8

7Pr =教授機嫌良い秘書機嫌良い

4

1Pr =教授機嫌悪い秘書機嫌良い

April, 2012



ベイズの公式による確率的推論の例（３）

教授機嫌悪い教授機嫌悪い秘書機嫌良し

教授機嫌良し教授機嫌良し秘書機嫌良し

秘書機嫌良し

PrPr

PrPr

Pr

=

April, 2012






秘書機嫌良し

PrPr

PrPr

Pr

=

4


4


8


4


April, 2012




4


4


8


4


32

13

4

3

4

1

4

1

8

7

PrPr

PrPr

Pr

==

=



秘書機嫌良し

April, 2012



ベイズの公式による確率的推論の例（４）

4


32

13Pr =秘書機嫌良い

8


13

7

32

134

1

8

7

Pr

PrPr

Pr

=

==秘書機嫌良し


秘書機嫌良し教授機嫌良し

April, 2012



ベイズの公式 (Bayes Formula)

事後確率 (A Posteriori Probability)

事前確率

(A Priori

Probability)

=

A

AAB

AABBA

PrPr

PrPrPr

A

B Bayes 規則 (Bayes Rule) とも言う．

ベイジアンネットワーク

April, 2012




AABBA PrPr,Pr =

==

==

AA

AAB

AAB

BA

AAB

B

AAB

B

BABA

PrPr

PrPr

,Pr

PrPr

Pr

PrPr

Pr

,PrPr

A

B

BBABA PrPr,Pr =

=A

BAB ,PrPr

April, 2012



確率と確率変数

各事象に番号を割り当て，その番号に対する変数を導入する．この変数を確率変数

(Random Variable)

という．

「奇数の目がでる」という事象に「X=1」

という等式を対応させることができる．

April, 2012



確率と確率変数

標本空間から構成されたすべての事象 A に実数値

X(A) を１対１対応させる写像を考える．この写像 X(A) を事象 A の確率変数 (Random Variable) という．通常, 確率変数 X(A) は A を省略し，単に X と表される．

確率変数 X が実数値 x をとる事象 X=x の確率を

Pr{X=x} と表す．このとき x をその確率変数の実現値または状態 (State)という．起こりうる状態の集合を状態空間 (State Space)という．

２つの事象X=x および X=x’ が互いに排反であるとき状態 x と状態 x’ は互いに排反であるという．

April, 2012



離散確率変数と連続確率変数

離散確率変数 (Discrete Random Variable):

離散的な状態空間をもつ確率変数

例：{x1,x2,…,xM}

連続確率変数 (Continuous Random Variable):

連続的な状態空間をもつ確率変数

例：(−∞,+∞)

April, 2012



離散確率変数と確率分布

MxxxxxPxX ,,, Pr 21 ===

すべて事象 X=x1, X=x2,…, X=xM の起こる確率

が変数 x の関数 P(x) を用いて

と表されるとき, P(x) を確率変数 X の確率分布 (Probability

Distribution) ，x を状態変数 (State Variable) という．

標本空間Ωが互いに排反である M 個の事象 A1,A2,…,AM

によって Ω=A1∪A2∪…∪AM と表され，確率変数 X がM

個の状態 x1,x2,…,xM を用いて1対1対応の写像 X(Ai)=xi

(i=1,2,…,M) により定義されるとき

確率変数状態変数状態

April, 2012



離散確率変数の確率分布の性質

MixP i ,,2,1 10 =

=

=M

i

ixP1

1

いずれも確率の公理１，２，３から導かれる．

規格化条件(Normalization Condition)

April, 2012



離散確率変数の期待値と分散

[ =

==M

i

ii xPxXE1

確率変数 X の期待値 (Expected Value，平均: Average)μ

[ =

==M

i

ii xPxXV1

22

確率変数 X の分散 (Variance) σ2

σ：標準偏差 (Standard Deviation)

April, 2012



離散確率変数の結合確率分布

yxPyYxX ,,Pr ===

２種類の確率変数 X, Y に対して，事象 X=x と事象 Y=y 結合事象 (X=x)∩(Y=y)の起こる確率 Pr{(X=x)∩(Y=y)}=

Pr{X=x,Y=y} が関数 P(x,y) を用いて

と表されるとき, P(x,y) を確率変数 X と Y の結合確率分布 (Joint Probability Distribution) という．

確率ベクトル変数

Y

X状態ベクトル変数

y

x

April, 2012



離散確率変数の周辺確率分布

=

=M

i

iY yxPyP1

,確率変数 Y の

周辺確率分布

(Marginal

Probability

Distribution)

標本空間Ωが互いに排反である M 個の事象 A1,A2,…,AM によって

Ω=A1∪A2∪…∪AM と表され，離散確率変数 X がM 個の実数値

x1,x2,…,xM を用いて1対1対応の写像 X(Ai)=xi (i=1,2,…,M) により定義されるとき

=x

Y yxPyP ,

状態空間における互いに排反な取り得るすべての状態 x についての和

簡略表記

1),( =x y

yxP 規格化条件

(Normalization Condition)

April, 2012



離散確率変数の周辺確率分布

=x z u

Y uzyxPyP ,,,

確率変数 Y の周辺確率分布 (Marginal Probability Distribution)

X Y

Z U 周辺化

(Marginalize)

より高次元への拡張

April, 2012



離散確率変数の独立性

確率変数 X と Y が互いに独立である：

yPxPyxP =,

確率変数 X と Y

の結合確率分布確率変数 X の確率分布

確率変数 Y の確率分布

yPyxPyPx

Y == ,確率変数 Y の周辺確率分布

April, 2012



離散確率変数の共分散

[ = =

=M

i

N

j

jiYjXi yxPyxYX1 1

,,Cov

確率変数 X と Y の共分散 (Covariance)

= =

=M

i

N

j

jiiX yxPxX1 1

,]E[ = =

=M

i

N

j

jiiY yxPyY1 1

,]E[

=

]V[],Cov[

],Cov[]V[

YXY

YXXR

][],Cov[ XVXX = ][],Cov[ YVYY =

共分散行列

(Covariance Matrix)

April, 2012



離散確率変数の確率分布の例

[ aX tanhE =

[ 2tanh1V aX =

1 cosh2

exp)( == x

a

axxP

a

E[X]

0

April, 2012



離散確率変数の結合確率分布の例

[ a

XYYX

tanh

E],Cov[

=

=

[ 1V =X

1 ,1 cosh4

exp),( === yx

a

axyyxP

a

Cov[X,Y]

0

[ 0E =X

April, 2012



離散確率変数の条件付き確率分布の例

a

axyppxyP yxyx

cosh2

exp1)( ,,1

==

1 ,1 == yx

p

pa

1ln

2

1

２元対称通信路の

条件付き確率分布

April, 2012



連続確率変数の確率

aXbXbXa = PrPrPr

確率変数 X の状態空間 (−∞,+∞) において状態 x が区間 (a,b) にある確率

xXxF Pr 確率変数 X の分布関数(Distribution Function)

==b

adxxaFbFbXa Pr

dx

xdFx

確率変数 X の確率密度関数

(Probability Density Function)

April, 2012



連続確率変数の確率密度関数の性質

xx 0

1=

dxx

規格化条件(Normalization Condition)

April, 2012



連続確率変数の期待値と分散

[

== dxxxXE

確率変数 X の期待値 (平均)

[

== dxxxXV

22

確率変数 X の分散

April, 2012



連続確率変数の結合確率密度関数

確率変数 X と Y の状態空間 (−∞,+∞) において状態 x と y が区間 (a,b)×(c,d) にある確率

=

d

c

b

adxdyyx

dYcbXa

,

Pr

結合確率密度関数 (Joint Probability Density Function)

=1, dxdyyx 規格化条件

(Normalization Condition)

April, 2012



連続確率変数の周辺確率密度関数

確率変数 Y の

周辺確率密度関数 (Marginal Probability Density

Function)

dxyxyY

= ,

April, 2012



連続確率変数の独立性

確率変数 X と Y が互いに独立である：

yxyx 21, =

確率変数 X と Y の

結合確率密度関数確率変数 X の確率密度関数

確率変数 Y の確率密度関数

ydxyxyY 2, =

確率変数 Y の

周辺確率密度関数

April, 2012



連続確率変数の共分散

[ dxdyyxyxYX YX

= ,,Cov

確率変数 X と Y の共分散 (Covariance)

dxdyyxxXX

= ,]E[

=

]V[],Cov[

],Cov[]V[

YXY

YXXR

][],Cov[ XVXX = ][],Cov[ YVYY =

共分散行列

(Covariance Matrix)

dxdyyxyYY

= ,]E[

April, 2012



一様分布 U(a,b)

=

xbax

bxaabx

,0

1

[ 2

Eba

X

=

[

12V

2ab

X

=

一様分布 (Uniform Distribution) の確率密度関数

p(x)

x 0 a b

(b-a)-1

April, 2012



ガウス分布（正規分布） N(μ ,σ2)

=

2

22 2

1exp

2

1

xx

[ =XE [ 2V =X

=

2

2

1exp 2 d

平均と分散はガウス積分の公式 (Gaussian

Integral Formula) から導かれる

平均μ ，分散σ2 のガウス分布 (Gaussian Distribution)

の確率密度関数

xp(x)

μ x 0

>0

April, 2012



多次元ガウス分布

=

Y

X

YXy

xyxyx

1

2,

2

1exp

det2

1, C

C

=

CC det2

2

1exp 1 d

d

d 次元ガウス積分の公式から導かれる

２次元ガウス分布 (Two-Dimensional Gaussian Distribution)

の確率密度関数

yx ,

C=

]V[],Cov[

],Cov[]V[

YXY

YXX

一般の次元への拡張も同様

行列 C が共分散行列になる．行列 C は正定

値の実対称行列

April, 2012



大数の法則

)( )(1

21 nXXXn

Y nn

X1,X2,...,Xn は平均 , 分散 2 の互いに独立な同一の確

率変数であるとき

中心極限定理

)(1

21 nn XXXn

Y

X1,X2,...,Xn は平均 , 分散 2 の互いに独立な同一の確率

変数であるとき

は n が大きいとき平均 , 分散 2/n の正規分布に従う．

April, 2012



確率の基礎知識のまとめ

a. 事象と確率

b. 結合確率と条件付き確率

c. ベイズの公式と事前確率，事後確率

d. 離散確率変数と確率分布

e. 連続確率変数と確率密度関数

f. 期待値，分散，共分散

g. 一様分布

h. ガウス分布

i. 大数の法則と中心極限定理

確率モデルによる 画像処理技術入門kazu/ecei-experiment... · 2012. 4. 3. · april,...

Documents

確率モデルによる画像処理技術入門kazu/ecei-experiment... · 2012. 4. 3. · april,...