鈴木譲「ベイジアンネットワーク入門」培風館 4. 確率的推論 4.1...

.

.

. ..

.

.

鈴木譲「ベイジアンネットワーク入門」(培風館)4. 確率的推論

4.1 確率分布の計算

鈴木譲

大阪大学

2010年 7月 29日 (木) (1)

鈴木譲 (大阪大学) 鈴木譲「ベイジアンネットワーク入門」(培風館) 4. 確率的推論 4.1 確率分布の計算2010 年 7 月 29 日 (木) (1) 1 / 36

あらまし

あらまし

.

. .

1 確率的推論

.

. .

2 因子グラフ

.

. .

3 ビリーフプロパゲーション

.

. .

4 最大事後確率設定


確率的推論

確率的推論

Xi (Ω) < ∞, i ∈ N := 1, · · · , NPX1···XN

(x1, · · · , xN): x1 ∈ X1(Ω), · · · , xN ∈ XN(Ω)の確率

.

確率的推論

.

.

.

. ..

.

.

PXi(xi ) :=

∑x1,··· ,xi−1,xi+1,··· ,xN

PX1···XN(x1, · · · , xN) (1)

を計算 (N とともに指数的な計算が必要)

確率変数 2個以上でも同様:

PXiXj(xi , xj) :=

∑x1,··· ,xi−1,xi+1,··· ,xj−1,xj+1,··· ,xN

PX1···XN(x1, · · · , xN)


確率的推論

例 4.1: 銃による殺人事件で 3人が容疑

X1(Ω) = X2(Ω) = 1, 2, 3X0: 裁判所での証言X1: 犯人が誰であったかX2: 指紋が誰のものであったかX3で指紋の調査結果

PX2|X1(·|·) :=

PX2|X1(1|1) PX2|X1

(2|1) PX2|X1(3|1)

PX2|X1(1|2) PX2|X1

(2|2) PX2|X1(3|2)

PX2|X1(1|3) PX2|X1

(2|3) PX2|X1(3|3)

=

q11 q12 q13

q21 q22 q23

q31 q32 q33

µ´¶³X0 µ´¶³

X1 µ´¶³X2 µ´¶³

X3- - -


確率的推論

例 4.1: 証言 X0 = e0が得られると

PX1|X0(·|e0) := [PX1|X0

(1|e0),PX1|X0(2|e0), PX1|X0

(3|e0)] = [p1, p2, p3]

PX2|X0(·|e0) ∝ PX1|X0

(·|e0) × PX2|X1(·|·)

= [p1, p2, p3]

q11 q12 q13

q21 q22 q23

q31 q32 q33

=

[ 3∑i=1

piqi1,

3∑i=1

piqi2,

3∑i=1

piqi3

]

µ´¶³X0 µ´¶³

X1 µ´¶³X2 µ´¶³

X3- - -

X0 = e0


確率的推論

例 4.1: 指紋調査の結果が届く前

PX3|X2(e3|·) := [PX3|X2

(e3|1), PX3|X2(e3|2), PX3|X2

(e3|3)] ∝ [1, 1, 1]

PX2|X0,X3(·|e0, e3) ∝ PX2|X0

(·|e0) × PX3|X2(e3|·)

=

[ 3∑i=1

piqi1 × 1,

3∑i=1

piqi2 × 1,

3∑i=1

piqi3 × 1

]

µ´¶³X0 µ´¶³

X1 µ´¶³X2 µ´¶³

X3- - -

X0 = e0 X3 = e3


確率的推論

例 4.1: 指紋調査の結果が届くと

PX3|X2(e3|·) ∝ [r1, r2, r3]

PX2|X0X3(·|e0, e3) ∝ PX2|X0

(·|e0) × PX3|X2(e3|·)

=

[ 3∑i=1

piqi1 × r1,3∑

i=1

piqi2 × r2,3∑

i=1

piqi3 × r3

]

µ´¶³X0 µ´¶³

X1 µ´¶³X2 µ´¶³

X3- - -

X0 = e0 X3 = e3


確率的推論

例 4.1: 指紋調査の結果が届くと (続)

PX3|X1(e3|·) ∝

q11 q12 q13

q21 q22 q23

q31 q32 q33

r1r2r3

=

∑3

j=1 q1j rj∑3j=1 q2j rj∑3j=1 q3j rj

PX1|X0X3(·|e0, e3) ∝ PX3|X1

(e3|·) × PX1|X0(·|e0)

=

[ 3∑j=1

q1j rj × p1,

3∑j=1

q2j rj × p2,

3∑j=1

q3j rj × p3

],


確率的推論

例 4.1: 容疑者 1に強いアリバイがあることわかると

PX1|X0(·|e0) = [p1, p2, p3] → PX1|X0

(·|e0) = [p′1, p

′2, p

′3]

PX2|X0(·|e0) = [p′

1, p′2, p

′3]

q11 q12 q13

q21 q22 q23

q31 q32 q33

=

[ 3∑i=1

p′iqi1,

3∑i=1

p′iqi2,

3∑i=1

p′iqi3

]

µ´¶³X0 µ´¶³

X1 µ´¶³X2 µ´¶³

X3- - -

X0 = e0 X3 = e3


確率的推論

例 4.1: 容疑者 1に強いアリバイがあることわかると (続)

PX1|X0X3(·|e0, e3) ∝ PX1|X0

(·|e0) × PX3|X1(e3|·)

=

[p′1 ×

3∑j=1

q1j rj , p′2 ×

3∑j=1

q2j rj , p′3 ×

3∑j=1

q3j rj

],

PX2|X0X3(·|e0, e3) ∝ PX2|X0

(·|e0) × PX3|X2(e3|·)

=

[ 3∑i=1

p′iqi1 × r1,

3∑i=1

p′iqi2 × r2,

3∑i=1

p′iqi3 × r3

]


確率的推論

例 4.2: (1) 別の指紋研究所での調査結果 X4 = e4

PX4|X2(e4|·) := [PX4|X2

(e4|1), PX4|X2(e4|2), PX4|X2

(e4|3)] ∝ [s1, s2, s3]

PX3X4|X2(e3, e4|·) := [P(e3, e4|1), P(e3, e4|2), P(e3, e4|3)] ∝ [r1s1, r2s2, r3s3]

PX2|X0X3X4(·|e0, e3, e4)

∝[ 3∑

i=1

p′iqi1 × r1s1,

3∑i=1

p′iqi2 × r2s2,

3∑i=1

p′iqi3 × r3s3

]

(a)

µ´¶³X0 µ´¶³

X1 µ´¶³X2

µ´¶³X3

µ´¶³X4

- - ³³³³³³1

PPPPPPqX0 = e0

X3 = e3

X4 = e4


確率的推論

例 4.2: (2) 容疑者 2が「指紋は私のものです」と主張して、X5 = e5

PX5|X2(e5|·) := [PX5|X2

(e5|1), PX5|X2(e5|2), PX5|X2

(e5|3)] ∝ [0, 1, 0]

PX3X4X5|X2(e3, e4, e5|·) ∝ [r1s1 × 0, r2s2 × 1, r3s3 × 0]

PX3X4X5|X2(e3, e4, e5|·) = [0, 1, 0]

(b)

µ´¶³X0 µ´¶³

X1 µ´¶³X2

µ´¶³X3

µ´¶³X4

µ´¶³X5

- - ©©©©©©*

HHHHHHj

-

X0 = e0

X3 = e3

X4 = e4

X5 = e5


確率的推論

例 4.2: (3) 容疑者 1のアリバイ X6 = e6という証拠

PX6|X1(e6|·) := [PX6|X1

(e6|1), PX6|X1(e6|2), PX6|X1

(e6|3)] ∝ [t1, t2, t3]

(c)

µ´¶³X0 µ´¶³

X1 µ´¶³X2 µ´¶³

X3

µ´¶³X6

?X6 = e6

- - -

X0 = e0

X3 = e3


確率的推論

例 4.2: (3) 容疑者 1のアリバイ X6 = e6という証拠 (続)

PX3X6|X1(e3, e6|·) ∝ PX3|X1

(e3|·) × PX6|X1(e6|·)

=

[ 3∑j=1

q1j rj × t1,3∑

j=1

q2j rj × t2,3∑

j=1

q3j rj × t3

]

PX1|X0X3X6(·|e0, e3, e6)

∝ PX1|X0(·|e0) × PX3X6|X1

(e3, e6|·)

=

[ 3∑j=1

t1q1j rj × p′1,

3∑j=1

t2q2j rj × p′2,

3∑j=1

t3q3j rj × p′3

]


因子グラフ

因子グラフ

M: 有限集合N (a) ⊆ N , a ∈ M

PX1···XN(x1, · · · , xN) =

1

Z

∏a∈M

fa(xi , i ∈ N (a)), (2)

Z :=∑

xi ,i∈N

∏a∈M

fa(xi , i ∈ N (a))

変数頂点 N = 1, · · · , Nの要素因子頂点 Mの要素

辺 (i , a) | i ∈ N (a), a ∈ Mの要素

i ∈ N と辺で結ばれた因子頂点の集合をM(i) ⊆ Mであらわすと、

(i , a) | i ∈ N (a), a ∈ M = (i , a) | i ∈ N , a ∈ M(i)


因子グラフ

因子グラフ (続)

(2)を、変数頂点、因子頂点、およびそれらを結ぶ辺で表す

(a)

AAA

¢¢¢

AAA

¢¢¢

A B C

m1 m2(b)

AAA

¢¢¢

AAA

¢¢¢

A B C D E©©©©©

³³³³³³³³m1 m2(c)

AAA

¢¢¢

AAA

¢¢¢

A B F

m1 m2(d)

m1 G m2


因子グラフ

因子グラフの例

(a)

PX0X1X2X3(e0, x1, x2, e3)

= PX0(e0)PX1|X0(x1|e0)PX2|X3

(x2|x3)PX3|X2(e3|x2)

= fA(x1)fB(x1, x2)fC (x2) (3)

N = 1, 2, M = A, B,C, N (A) = 1, N (B) = 1, 2,N (C ) = 1, 2(b)

PX0X1X2X3X4X5(e0, x1, x2, x3, x4, x5)

= PX0(e0)PX1|X0(x1|e0)PX2|X3

(x2|x3)PX3|X2(e3|x2)

· PX4|X2(e4|x2)PX5|X2

(e5|x2)

= fA(x1)fB(x1, x2)fC (x2)fD(x2)fE (x2) (4)

N = 1, 2,M = A, B, C , D, E,N (A) = 1,N (B) = 1, 2,N (C ) = N (D) = N (E ) = 2


因子グラフ

因子グラフの例 (続)

(4)で fF (x2) := fC (x2)fD(x2)fE (x2)とおくと、

PX0X1X2X3X4X5(e0, x1, x2, x3, x4, x5) = fA(x1)fB(x1, x2)fF (x2)

fG (x1, x2) := fA(x1)fB(x1, x2)fF (x2)とおくと、

PX0X1X2X3X4X5(e0, x1, x2, x3, x4, x5) = fG (x1, x2)


因子グラフ

巡回経路

.

巡回経路

.

.

.

. ..

.

.

異なる 2因子頂点を結ぶ辺の列が 2個以上存在

PX1(x1)PX2|X1(x2|x1)PX3|X2

(x3|x2) = fA(x1)fB(x1, x2)fC (x2, x3)

PX1(x1)PX2|X1(x2|x1)PX3|X1,X2

(x3|x1, x2) = fA(x1)fB(x1, x2)fC (x1, x2, x3)


ビリーフプロパゲーション

アルゴリズム 4.1

i ∈ N , a ∈ Mni→a, ma→i : Xi から非負実数への写像

ni→a(xi ) := 1, ma→i (xi ) := 1, xi ∈ Xi

ni→a(xi ) :=∏

c∈M(i)\a

mc→i (xi ), (5)

ma→i (xi ) :=∑

xa,i∈Xa,i

fa(xa)∏

j∈N (a)\i

nj→a(xj) (6)

Xa,i : xj , j ∈ N (a)\iのとり得る値

.


.

.

.

. ..

.

.

ni→a(xi ) := 1, ma→i (xi ) := 1, xi ∈ Xi とおき、各 (i , a) ∈ N ×Mに対して，毎回同時に (5), (6)を適用して，ni→a(xi ), ma→i (xi )を更新



アルゴリズム 4.1 (続)

(5)より、ma→i (xi )だけで (5),(6)を更新してもよい:

ma→i (xi ) :=∑

xa,i∈Xa,i

fa(xa)∏

j∈N (a)\i

∏c∈M(j)\a

mc→j(xj) (7)

.

メッセージ

.

.

.

. ..

.

.

ni→a(xi ), ma→i (xi ), xi ∈ Xi



定理 4.1

.

定理 4.1

.

.

.

. ..

.

.

因子グラフが巡回経路を含まないとき、アルゴリズム 1において (5), (6)の有限回の適用で ni→a(xi ), ma→i (xi )が一定値に収束

その収束値について、

bi (xi ) ∝∏

a∈N(i)

ma→i (xi ), (8)

∑xi∈Xi

bi (xi ) = 1 (9)

を満足する bi (xi )は，PXi(xi )に等しい。



定理 4.1 (続)

ba(xa) ∝ fa(xa)∏

i∈N(a)

ni→a(xi ), (10)

∑xa∈Xa

ba(xa) = 1 (11)

を満足する ba(xa)は，PXa(xa) := PXj ,j∈N (a) (xj , j ∈ N (a))に等しい。∑xa,i∈Xa,i

ba(xa) = bi (xi ) (12)

.

ビリーフ

.

.

.

. ..

.

.

bi (xi )i∈N , ba(xa)a∈M

ビリーフの値が更新されることをビリーフプロパゲーションという



例 4.5

例 4.1でfA(x1) := PX0(e0)PX1|X0

(x1|e0)fB(x1, x2) := PX2|X1

(x2|x1)fC (x2) := PX3|X2

(e3|x2)

(a) A

mA→1

n1→A

-¾ ¹¸

º·1

n1→B

mB→1

-¾

B

mB→2

n2→B

-¾ ¹¸

º·2

n2→C

mC→2

-¾

C



例 4.5 (続)

n2→B(x2) = mC→2(x2),

n1→A(x1) = mB→1(x1),

n1→B(x1) = mA→1(x1),

n2→C (x2) = mB→2(x2),

mA→1(x1) = fA(x1) = PX0(e0)PX1|X0(x1|e0),

mB→2(x2) =∑x1

fB(x1, x2)n1→B(x1) =∑x1

fB(x1, x2)mA→1(x1)

=∑x1

PX0(e0)PX1|X0(x1|e0)PX2|X1

(x2|x1),



例 4.5 (続)

mC→2(x2) = fC (x2) = PX3|X2(e3|x2),

mB→1(x1) =∑x2

fB(x1, x2)n2→B(x2) =∑x2

fB(x1, x2)mC→2(x1)

=∑x2

PX2|X1(x2|x1)PX3|X2

(e3|x2),

b1(x1) ∝ mA→1(x1)mB→1(x1)

= PX0(e0)PX1|X0(x1|e0)

∑x2

PX2|X1(x2|x1)PX3|X2

(e3|x2)

b2(x2) ∝ mB→2(x2)mC→2(x2)

=∑x1


(x2|x1)PX3|X2(e3|x2)



例 4.5 (続)

bA(xA) ∝ fA(x1)n1→A(x1)

= PX0(e0)PX1|X0(x1|e0)

∑x2

PX2|X1(x2|x1)PX3|X2

(e3|x2),

bB(xB) ∝ fB(x1, x2)n1→B(x1)n2→B(x2)

= PX0(e0)PX1|X0(x1|e0)PX2|X1

(x2|x1)PX3|X2(e3|x2),

bC (xC ) ∝ fC (x2)n2→C (x2)

=∑x1


(x2|x1)PX3|X2(e3|x2).



例 4.5 (続)

例 4.2fD(x2) = PX4|X2

(e4|x2), fE (x2) = PX5|X2(e5|x2)

(b)

A

mA→1

n1→A

-¾ ¹¸

º·1

n1→B

mB→1

-¾

B

mB→2

n2→B

-¾ ¹¸

º·2

n2→C

mC→2

-¾

C

D

E

?6

6?

mD→2n2→D

mE→2n2→E



例 4.5 (続)

mD→2(x2) = fD(x2) = PX4|X2(e4|x2),

mE→2(x2) = fE (x2) = PX5|X2(e5|x2),

n2→B(x2) = mC→2(x2)mD→2(x2)mE→2(x2)

= PX3|X2(e3|x2)PX4|X2

(e4|x2)PX5|X2(e5|x2),

n2→C (x2) = mB→2(x2)mD→2(x2)mE→2(x2),

n2→D(x2) = mB→2(x2)mC→2(x2)mE→2(x2),

n2→E (x2) = mB→2(x2)mC→2(x2)mD→2(x2),

b2(x2) ∝ mB→2(x2)mC→2(x2)mD→2(x2)mE→2(x2)

=∑x1


(x2|x1)

· PX3|X2(e3|x2)PX4|X2

(e4|x2)PX5|X2(e5|x2)




定理 4.1は，アルゴリズム 4.2でも成立する:ni→a(xi ) := 1, ma→i (xi ) := 1, xi ∈ Xi

.


.

.

.

. ..

.

.

(i , a) ∈ N ×Mに対して事前に更新する順序を決めておく。1回に 1つの(i , a)について (5), (6)を適用して，ni→a(xi ), ma→i (xi )を更新

.

定理 4.2

.

.

.

. ..

.

.

因子グラフが巡回経路を含まないとき、アルゴリズム 2において (5), (6)の有限回の適用で ni→a(xi ), ma→i (xi )が一定値に収束



巡回経路を含むとき、定理 4.2は成立しない

収束しない

収束しても，ba = PXa , bi = PXiなどが成立しない

例: fD を定数として、

PX1X2X3(x1, x2, x3) = fA(x1, x2)fB(x1, x3)fC (x2, x3)fD ,

fA(x1, x2) =

(1 − ϵ)/2, x1 = x2

ϵ/2, x1 = x2,

fB(x1, x3) =

(1 − ϵ)/2, x1 = x3

ϵ, x1 = x3,

fC (x2, x3) =

ϵ/2, x2 = x3

(1 − ϵ)/2, x2 = x3



巡回経路を含むとき、定理 4.1, 4.2は成立しない (続)

bA(x1, x2) = PX1X2(x1, x2)

bB(x1, x3) = PX1X3(x1, x3)

bC (x2, x3) = PX2X3(x2, x3)

が同時に成立しない。

±°²¯2 C ±°²¯

3

±°²¯1

A B

¢¢

¢¢¢

AA

AAA

D



巡回経路を含むとき、定理 4.1, 4.2は成立しない (続)

mA→1(x1) = mB→1(x1) = 1, mA→2(x2) = mC→2(x2) = 1,mB→3(x3) = mC→3(x3) = 1, x1 ∈ X1, x2 ∈ X2, x3 ∈ X3

mA→1(x1) =∑

x2∈X2

fA(x1, x2)mC→2(x2) = 1

となり、すべての a = A, B, C , i = 1, 2, 3でma→i (xi )の値が変更される

ことなく，bi (xi ) =1

2, i = 1, 2, 3に収束

bA(x1, x2) = PX1X2(x1, x2)

bB(x1, x3) = PX1X3(x1, x3)

bC (x2, x3) = PX2X3(x2, x3)

が同時に成立しない。



巡回経路を含むとき、定理 4.1,4.2は成立しない (続)

bA(x1, x2) = fA(x1, x2)mB→1(x1)mC→2 = fA(x1, x2), (14)

bB(x1, x3) = fB(x1, x3)mA→1(x1)mC→3 = fB(x1, x3), (15)

bC (x2, x3) = fC (x2, x3)mA→2(x2)mB→3 = fC (x2, x3) (16)

PX1X2X3(0, 1, 0) + PX1X2X3(0, 1, 1) = ϵ/2,PX1X2X3(1, 0, 0) + PX1X2X3(1, 0, 1) = ϵ/2,

PX1X2X3(0, 0, 1) + PX1X2X3(0, 1, 1) = ϵ/2,PX1X2X3(1, 0, 0) + PX1X2X3(1, 1, 0) = ϵ/2,

PX1X2X3(0, 0, 0) + PX1X2X3(1, 0, 0) = ϵ/2,PX1X2X3(0, 1, 1) + PX1X2X3(1, 1, 1) = ϵ/2

特に ϵ < 1/3のとき、 ∑x1∈X1,x2∈X2,x3∈X3

PX1X2X3(x1, x2, x3) < 1


最大事後確率設定


.


.

.

.

. ..

.

.

PX1···XN(x1, · · · , xN) := max

x1,··· ,xN

PX1···XN(x1, · · · , xN)

を最大にする x1 ∈ X1, · · · , xN ∈ XN を見いだす

n′i→a(xi ) := 1, m′a→i (xi ) := 1, xi ∈ Xi

n′i→a(xi ) :=∏

c∈M(i)\a

m′c→i (xi ), (17)

m′a→i (xi ) := max

xa,i∈Xa,i

fa(xa)∏

j∈N (a)\i

n′j→a(xj) (18)

.


.

.

.

. ..

.

.

n′i→a(xi ) := 1, m′a→i (xi ) := 1, xi ∈ Xi とおき、(i , a) ∈ N ×Mに対して，

毎回同時に (17), (18)を適用して，n′i→a(xi ), m′a→i (xi )を更新



定理 4.3

.

定理 4.3

.

.

.

. ..

.

.

因子グラフが巡回経路を含まないとき，アルゴリズム 4.3で (17), (18)の有限回の適用で n′i→a(xi ), m′

a→i (xi )が一定値に収束し、

収束値について，b′i (xi ) ∝

∏a∈N(i)

m′a→i (xi ) (19)

を最大にする xi ∈ Xi は，P ′Xi

(xi ) := maxx1,··· ,xi−1,xi+1,··· ,xN

PX1···XN(x1, · · · , xN)

を最大にする xi ∈ Xi に等しく，

b′a(xa) ∝ fa(xa)

∏i∈N(a)

n′i→a(xi ) (20)

を最大にする xa ∈ Xaは，P ′Xa

(xa) := maxxj , j ∈N (a)

PX1···XN(x1, · · · , xN) を最

大にする xa ∈ Xaに等しい。鈴木譲 (大阪大学) 鈴木譲「ベイジアンネットワーク入門」(培風館) 4. 確率的推論 4.1 確率分布の計算2010 年 7 月 29 日 (木) (1) 36 / 36

鈴木譲「ベイジアンネットワーク入門」 培風館 4. 確率的推論 4.1...

Documents

鈴木譲「ベイジアンネットワーク入門」培風館 4. 確率的推論 4.1...