chapter11.2
DESCRIPTION
第14回PRML読書会発表資料TRANSCRIPT
第１４回PRML読書会 発表資料11.2 マルコフ連鎖モンテカルロ
2010/05/08
Presented by takmin
この章の流れ
• 11.2 マルコフ連鎖モンテカルロ–どんなサンプリングアルゴリズムか？
– Metropolisアルゴリズムの解説
• 11.2.1 マルコフ連鎖–マルコフ連鎖のより詳細な性質について
• 均一マルコフ連鎖，詳細釣り合い条件，エルゴード性，平衡分布
• 11.2.2 Metropolis-Hastingsアルゴリズム–なぜ目標分布に従うのか
11.2 マルコフ連鎖モンテカルロ
• 高次元の場合にも適用可能なサンプリングアルゴリズム
• 現在のサンプルの状態 に合わせて，提案分布の形を変えて をサンプリング
がマルコフ連鎖になる
• 以下の条件の元でMetropolisアルゴリズムにより目標分布 のサンプリングが可能
– とした時， が計算可能
–提案分布で が成立
)(z
)1( z
)(z
)(zp
pZpp /)(~)( zz )|()|( ABBA qq zzzz
)(~ zp
Metropolisアルゴリズム
1. 現在の状態を とする)(
z
)(z
)(| zzq
zp~
Metropolisアルゴリズム
2. 提案分布 からサンプル を抽出する*z
)(z*
z
)|( )(zzq
Metropolisアルゴリズム
3. 単位区間[0-1]の一様分布から乱数uを選択し，uとAの大小を比較
)(~)(~
,1min,)(
*)(*
z
zzz
p
pA (11.33)
)(z*
z
Metropolisアルゴリズム
3.1. uがA より小さいなら， を受理して以下の式に従って状態 を更新
*)1(zz
)(z*
z
*z
)(z
Metropolisアルゴリズム
*)1(zz
)1( z
3.1. uがA より小さいなら， を受理して以下の式に従って状態 を更新
*z
)(z
Metropolisアルゴリズム
3.2. uがA より大きいなら， を棄却して以下の式に従って状態 を更新
)()1( zz
)(z*
z
*z
)(z
Metropolisアルゴリズム
3.2. uがA より大きいなら， を棄却して以下の式に従って状態 を更新
)()1( zz
)1( z
*z
)(z
Metropolisアルゴリズム
4. ならば で目標分布 に近づく
)(zp0)|( BAq zz
Metropolisアルゴリズム
の独立なサンプルを得たいなら，系列中のほとんどのサンプルを破棄し，M個ごとのサンプルだけ保持する．
)(zp
,, )2()1(zz は高い相関があるため
• ２次元ガウス分布からサンプリングする例
• 提案分布は標準偏差0.2の等方ガウス分布
Metropolisアルゴリズム
ランダムウォークの性質
• 整数を状態とし，以下の遷移確率を持つ状態空間zの例
25.01
25.01
5.0
)()1(
)()1(
)()1(
zzp
zzp
zzp
)(z
0.5
0.250.25
ランダムウォークの性質
• の時，
0E )( z
0)0( z
2/E2)( z
0
イメージ図
に比例する距離しか探索が進まない
MCMCの設計において，ランダムウォーク的性質を避けるのが重要！
11.2.1 マルコフ連鎖
)1(z
)|( )0()1(zzp
)0(z )1( m
z)(m
z
)|( )()1( mmp zz
求めたい分布をサンプリングするために満たすべきマルコフ連鎖の性質
2. の時，初期分布 の選択に関わらず，分布が求めたい不変分布 に収束する(エルゴード性)
)( )0(zp )(*
zp
m )( )0(zp )( )(mp z
)(*zp
)( )(mp z
1. 求めたい分布 が不変となるようなマルコフ連鎖(詳細釣り合い条件)
)(zp
マルコフ連鎖
)1(z
)|( )0()1(zzp
)0(z )1( m
z)(m
z
)|( )()1( mmp zz
)|(),,|( )()1()()1()1( mmmm pp zzzzz (11.37)
マルコフ連鎖
)|(),( )()1()()1( mmmm
m pT zzzz
遷移確率：
)1(z
),( )0()1(
1 zzT
)0(z )1( m
z)(m
z
),( )()1( mm
mT zz
マルコフ連鎖
)|(),( )()1()()1( mmmm
m pT zzzz
遷移確率：
)1(z
),( zzT
)0(z )1( m
z)(m
z
),( zzT
),(),(),( )1()(
1
)()1(zzzzzz
TTT mm
m
mm
m
均一マルコフ連鎖：
マルコフ連鎖
)(
)()|()( )()()1()1(
m
mmmm pppz
zzzz
z
zzzz )(),()( ** pTp
不変分布：分布がマルコフ連鎖の各ステップで変わらない
均一マルコフ連鎖
(11.38)
(11.39)
マルコフ連鎖
),()(),()( **zzzzzz TpTp
詳細釣り合い条件：が不変分布であるための十分条件)(*
zp
z
zzzz )(),()( ** pTp
(11.40)
(11.39)
マルコフ連鎖
),()(),()( **zzzzzz TpTp
詳細釣り合い条件：が不変分布であるための十分条件)(*
zp
)()|()(
),()(),()(
**
**
zzzz
zzzzzz
z
zz
ppp
TpTp
(11.40)
(11.41)
マルコフ連鎖
)1(z
)|( )0()1(zzp
)0(z )1( m
z)(m
z
)|( )()1( mmp zz
求めたい分布をサンプリングするために満たすべきマルコフ連鎖の性質1. 求めたい分布 が不変となるようなマルコフ連鎖(詳細釣り合い条件)
2. の時，初期分布 の選択に関わらず，分布が求めたい不変分布 に収束する(エルゴード性)
)( )0(zp )(*
zp
)(zp
m )( )0(zp )( )(mp z
)(*zp
)( )(mp z
マルコフ連鎖
求めたい分布をサンプリングするために満たすべきマルコフ連鎖の性質1. 求めたい分布 が不変となるようなマルコフ連鎖(詳細釣り合い条件)
2. の時，初期分布 の選択に関わらず，分布が求めたい不変分布 に収束する(エルゴード性)
)(zp
m )( )0(zp )( )(mp z
)(*zp
このとき不変分布をただ１つだけ持つ（=平衡分布）
遷移確率
• 遷移確率を「基本」遷移の組から構築する
K
k
kkBT1
),(),( zzzz
組み合わせ その１
(11.42)
重み 基本遷移
),( zzkB が詳細釣り合い条件満たすとき， も満たす．),( zzT
遷移確率
• 遷移確率を「基本」遷移の組から構築する
1 1
),(),(),(),( 112111
z z
zzzzzzzzK
KKKKK BBBT
組み合わせ その２
(11.43)
),( zzkB が詳細釣り合い条件満たしても， も満たすとは限らない．
),( zzT
の形に対称化することで，満たされるようになる．11 ,,,,, BBBB KK
遷移確率
• の形に対称化した場合の詳細釣り合い条件の展開(K=2の例)
),()(
)(),(),(),(),(
),(),()(),(),(
),(),(),()(),(
),(),(),(),()(),()(
1 2
1 2
1 2
1 2
1121212211
11122212211
11122212111
1112221211
zzz
zzzzzzzzz
zzzzzzzzz
zzzzzzzzz
zzzzzzzzzzzz
z z
z z
z z
z z
Tp
pBBBB
BBpBB
BBBpB
BBBBpTp
Thanks to @shuyoさん @shima__shimaさん
11 ,,,,, BBBB KK
確率遷移
• 合成遷移確率の使用例
–それぞれの基本遷移がある変数の部分集合だけ変更する
K
k
z
z
z
1
z
),(1 zzB
),( zzkB
),( zzKB
11.2.2 Metropolis-Hastingsアルゴリズム
•Metropolisアルゴリズムの提案分布を引数に対して非対称な関数へ一般化
•このアルゴリズムが求めたい分布からサンプリングを行うことを証明
•提案分布の選び方と収束時間の説明
この節で行うこと
Metropolis-Hastingsアルゴリズム
1. 現在の状態を とする2. 提案分布 からサンプル を抽出する
3. 単位区間[0-1]の一様分布から乱数uを選択し，uとAの大小を比較
1. A>uの時，サンプルを受理し，2. A≦uの時，サンプルを棄却し，
4. τ→∞で，目標分布に近づく
)(z
*z)|( )(
zzq
)|()(~)|()(~
,1min,)(*)(
*)(*)(*
zzz
zzzzz
k
kk
qp
qpA
*)1(zz
)()1( zz
Metropolisアルゴリズムとの違い
Metropolis-Hastingsアルゴリズム
は，詳細釣り合い条件を満たす。
zzzzz
zzzzzz
zzzzzzzzzzz
,)|()(
)|()(),|()(min
)|()(),|()(min,)|()(
kk
kk
kkkk
Aqp
qpqp
qpqpAqp
)|()(~)|()(~
,1min,)(*)(
*)(*)(*
zzz
zzzzz
k
kk
qp
qpA
この分布が不変
遷移確率
提案分布の選択
現在の状態を中心としたガウス分布の例
)(z
分散が小さい場合：• 受理率：高• 状態空間の遷移：遅
ステップ幅
長さの比＝受理確率
提案分布の選択
現在の状態を中心としたガウス分布の例
)(z
分散が大きい場合：• 受理率：低• 状態空間の遷移：速
ステップ幅
長さの比＝受理確率
多変量ガウス分布の例•提案分布のスケールρは
高い棄却率を招かない限り，できるだけ大きくすべき
•元々の状態から，多少なりとも独立な状態を訪れるのに必要なステップ数のオーダー
)( min O
2
minmax )/( O
提案分布の選択
まとめ
• マルコフ連鎖モンテカルロ
–高次元でも適用可能なサンプリングアルゴリズム
• マルコフ連鎖
– MCMCを行うのに必要な遷移確率の条件
• 詳細釣り合い条件
• エルゴード性
• Metropolis-Hastingsアルゴリズム
–状態空間を拡散する速度と棄却率はトレードオフ
ご静聴ありがとうございました。