時系列解析（13）...kkm mggt km m gt t p km g t p p mg t p 2 東京学北川源四郎数理...

東京⼤学北川源四郎数理⼿法VII （時系列解析）

東京⼤学数理・情報教育研究センター北川源四郎

時系列解析（１３）−粒⼦フィルタ−

配布⽤


非線形・非ガウス型フィルタの計算量

状態の次元システムノイズの次元分点数システムノイズの分点数jq

i

kk

m

1

11~ ( )( ) ~ m

m q qk k k k n k n

計算量

1 2 3 4 5 6 710 100 1 10 100 1 10 10030 1 30 1 30 1 30 1

100 10 1 100 10 1 100 10300 100 30 10 3 1 300

1000 1 1 1 1

kK K K M M M

K K M M G G TK M M G T T PK M G T P P

M G T P

2


混合正規

粒⼦近似.

0. ガウス近似（拡張）カルマンフィルタ・平滑化

1. 区分的線形（階段）関数近似

非ガウス型フィルタ・平滑化

2. 混合ガウス近似

ガウス和フィルタ・平滑化

3．粒子近似

モンテカルロフィルタ・平滑化

分布の近似

真の分布

ガウス近似

区分的線形関数

階段関数

3


長所• 分布の計算（畳み込み積分，非線形変換）は大変で

時間がかかるが，粒子ごとの代入計算は簡単で早い• 状態の次元が増えても計算量はそれほど増えない

問題点• 常にサンプリング誤差を伴う• 粒子数 mを増やしても分散減少は 1/m

モンテカルロ計算の長所，欠点

4

東京⼤学北川源四郎数理⼿法VII （時系列解析） 5

粒子による分布の近似

)|(~,, 1)()1(

nnm

nn Yxppp

F xm

I x pn nj

j

m

( ) ( ; )( )1

1

Pr( | )( )X p Ymn n

jn 1

1 m1

分布関数

経験分布関数

（ステップ幅）

(1) ( )1

(1) ( )

(1) ( )| |

(1) ( )

, , ~ ( | )

, , ~ ( | )

, , ~ ( | )

, , ~ ( )

mn n n n

mn n n n

mn N n N n N

mn n n

p p p x Y

f f p x Y

s s p x Y

v v p v

予測分布　　　　　

フィルタ分布　　　

平滑化分布　　　　

システムノイズ分布


m =10

m =100

m =1000

経験分布関数による分布の近似

‐6 ‐4 ‐2 0 2 4 6

1.0

0.5

0.0

1.0

0.5

0.0

1.0

0.5

0.0


一期先予測の導出

1 1 1 1 1

1 1 1 1 1 1 1 1

1 1 1 1 1

( | ) ( , , | )

( | , , ) ( | , ) ( | )

( ( , )) ( ) ( | )

n n n n n n n n

n n n n n n n n n n n

n n n n n n n n

p x Y p x x v Y dx dv

p x x v Y p v x Y p x Y dx dv

x F x v p v p x Y dx dv

( )1 1 1

( )

~ ( | )

~ ( )

jn n n

jn

f p x Y

v p v

p F f v p x Ynj

nj

nj

n n( ) ( ) ( )( , ) ~ ( | ) 1 1

7


フィルタ

:)( jn 粒子の重み係数pn

j( )

( ) ( )1

( )1

1

( ) ( )1

( ) ( )1

1

( ) ( )1

( ) ( )11 1

Pr( | ) Pr( | , )

Pr( , | )Pr( | )

Pr( | )Pr( | )

Pr( | )Pr( | )

j jn n n n n n n

jn n n n

n n

j jn n n n n n

mi i

n n n n n ni

j jn m n

m mj jn nmi i

X p Y X p Y y

X p y Yy Y

y X p X p Y

y X p X p Y

nj( )

y n

p y pn nj( | )( )

pnj( )

fnj( )

nj

n n njp y X p( ) ( )( | )

m1

( )jn


リサンプリング

m 個の重み付き粒子で近似されたフィルタ分布を等確率のm 個の粒子で近似しなおす

( )

1( ) ( ) ( )

1 1

( )

1

( ) ( )

( ) [0,1)

1 1( )

( )

jn

i ik j k

n n nk k

mk

nk

j in n

a u U

b uC C

i

C

c f p

一様乱数を生成する。

を満たす

　　を探す。

　　ただし，

フィルタの粒子をとする。

f nj( )

f nj( )

( )jnu

1

0

9


フィルタリング

)( jn

粒子の重み

pnj( )

)( jnf

経験分布関数

予測分布

フィルタ分布

均一ステップ幅

重みに比例)( j

n

フィルタ分布

均一ステップ幅


粒子フィルタ（MCF)

・システムノイズ

v p v j mnj( ) ~ ( ) , , 1

・重要度（ベイズ係数）

p F f vnj

nj

nj( ) ( ) ( )( , ) 1

・予測分布

nj

n njp y p( ) ( )( | )

・フィルタ分布のリサンプリング

p nj( ) f n

j( )

Gordon et al. (1993), Kitagawa (1996)Doucet, de Freitas and Gordon (2001) “Sequential Monte Carlo Methods in Practice”


One Cycle of Particle Filter密度関数経験分布関数

一期前の分布

システムノイズ

予測分布

フィルタ分布

フィルタ分布（リサンプリング後）


層化リサンプリング

( )

( )

1,

1

( )

( ) 0,1

jn

jn

j j

m m

j

m

a u U

a u

。

一様乱数を生成する。

固定したについて，とする

リサンプリングの目的は重みを持つ粒子で定義される分布関数を，重みが等しい経験分布で表現しなおすことであり，厳密なランダムサンプリングは必ずしも必要ではない。

(1) ( ){ , , }mn n (1) ( ){ , , }m

n np p

単純リサンプリング層化リサンプリング

1

0

1

0

( )jnu

m回繰り返す

( )jnu

各区間で1回

14


2

( ) ( ) ( )

1 1

( , ) ( ( ) ( ))

1 1( , ) ( , )

p f p f

m mi i i

n n ni i

J D D D x D x dx

I x p I x f dxc m

( )

1

mi

ni

c

m J(Df ,Dp) J(Dp ,Df*)Random Stratified Deterministic

10 Sort 0.0326 0.00379 0.00176 0.1021

No‐sort 0.0321 0.00859 0.00513 0.1021

100 Sort 0.00381 0.636x10‐3 0.311x10‐4 0.860x10‐2

No‐sort 0.00405 0.939x10‐3 0.612x10‐3 0.860x10‐2

1,000 Sort 0.398x10‐3 0.838x10‐6 0.407x10‐6 0.102x10‐2

No‐sort 0.379x10‐3 0.982x10‐4 0.611x10‐4 0.102x10‐2

10,000 Sort 0.387x10‐4 0.101x10‐7 0.498x10‐8 0.248x10‐3

No‐sort 0.406x10‐4 0.936x10‐5 0.636x10‐5 0.348x10‐3

Comparison of the Resampling MethodsDf

*： Exact filter distribution

J(Df ,Dp) is negligible

15


平滑化（粒子を保存する方法）

( ) ( )1| | 1( , , ) ~ ( , , | )j j T

i n i n is s p x x Y

( ) ( )1 1| 1 1 1| 1 1

( )

( )| 1( )

| 1 ( ) ( )1| 1

1Pr( , , | )

~ ( )

for 1, , 1

( , ) for

j jn n n n n

jn

ji nj

i n j jn n n

mx s x s Y

v q v

s i np

F s v i n

　　

( ) ( )1| 1 | 1 1 1( , , ) ~ ( , , | )j j T

n n n n np p p x x Y

とするとき、n 個の粒子を

と定義すると


平滑化（粒子を保存する方法）(2)

( ) ( )1| 1 | 1

( ) ( )1| 1 | 1 1

( ) ( ) ( ) ( )1| 1 | 1 1 1| 1 | 1 1

1

( ) ( )| 1 1| 1

Pr( , , | )

Pr( , , | , )

( | , , , )Pr( , , | )Pr( | )

Pr( | )Pr( , ,

j ji n n n n n

j ji n n n n n n

j j j jn i n n n n n i n n n n n

n n

j jn n n i n n n

x p x p Y

x p x p Y y

p y x p x p Y x p x p Yy Y

y p x p x p

( )| 1 1

1

| )Pr( | )

jn n

n n

Yy Y

( ) ( )| 1 |j j

n n np p ただし、

( ) ( ) ( )1 1 1| -1 1| 1

1

( ) ( ) ( )1| 1| |

( , , | ) , , , , 1, ,

( , , | )

, , , , 1, ,

Tj j jn n n n n n

n n

Tj j jn n n n n

p x x Y n s s p j m

p x x Y n

s s s j m

に従う次元粒子

のリサンプリングによってに従う等確率の次元粒子

を生成する

yn 新しいデータ


1 500( | )p x Y

1( | )np x Y(1) ( )1| 1|{ ,..., }m

n ns sHistogram

1 1 500( | ), ( | )nD p x Y p x Y

(1) ( )1 1| 1|( | ),{ ,..., }m

n n nD p x Y s s

Accuracy vs. lag

18


問題点・リサンプリングによって（実質的）粒子数が単調減少

する

解決策

1. 固定ラグ平滑化を用い、ラグを大きくしない

2. 2方向フィルタを用いる

平滑化の困難

19


平滑化の改善

（固定区間）平滑化

s s pnj

n nj

nj

1 1 1 1|( )

|( ) ( ), , , s sn

jn n

j1 |( )

|( ), ,

s s pn L nj

n nj

nj

|( )

|( ) ( ), , ,1 1 1 s sn L n

jn n

j |

( )|

( ), ,固定ラグ平滑化

すべての履歴でなく、最近のL個だけをリサンプルすると固定ラグ平滑化が実現できる。

20


粒子数と精度

-3

-2

-1

0

1

2

3

0 100 200 300 400

-3

-2

-1

0

1

2

3

1 101 201 301 401

m=100,000 m=10,000

Exact Non-Gaussian Smoother

-3

-2

-1

0

1

2

3

1 101 201 301 401

-3

-2

-1

0

1

2

3

1 101 201 301 401

m=100

m=1,000

-3

-2

-1

0

1

2

3

1 101 201 301 401

m=10,000


Accuracy vs. Number of Particles

0.0001

0.001

0.01

0.1

1

10

100

1 2 3 4 5 60.001

0.01

0.1

1

10

100

1 2 3 4 5 6

Filter Smoother Fixed‐interval

102 103 104 105 106 107 102 103 104 105 106 107

Number of Particles Number of Particles

Gaussian model Cauchy model

Smoothing (max lag) FilterSmoothing

(best lag) xnxDnxDDDIN

n

L

jjj

2

1 1),(ˆ),()ˆ,(

22


Accuracy in Computing Log-Likelihood

Gaussian model Cauchy modelm Log-L S.D. CPU-time Log-L S.D. CPU-time

102 -750.859 2.287 0.02 -752.207 6.247 0.02103 -748.529 1.115 0.06 -743.244 2.055 0.06104 -748.127 0.577 0.58 -742.086 0.429 0.63105 -747.960 0.232 5.84 -742.024 0.124 6.27106 -747.931 0.059 59.41 -742.029 0.038 62.73107 -747.926 0.023 591.04 -742.026 0.013 680.33108 -747.930 0.008 5906.62 -742.026 0.003 6801.55109 -747.928 0.002 59077.35 -742.026 0.001 69255.03

23


Number of Different Particles in Fixed-Lag Smoothing

1

10

100

1000

10000

100000

1000000

0 25 50 75 100 125 150 175 200

M=100 M=1000 M=10000M=10^5 M=10^6

1

10

100

1000

10000

100000

1000000

0 25 50 75 100 125 150 175 200

M=100 M=1000 M=10000M=10^5 M=10^6


Lag Lag

m=100m=105

m=1000m=106

m=10000 m=10000m=1000m=106

m=100m=105

24


Accuracy of Fixed-Lag Smoother


m=100

m=103

m=104

m=105

m=106

m=107

25


)|()|(

)|,(

),|()|(

1

1

1

nnnn

N

nn

Nn

nNnnNn

YxpxYp

YYxp

YYxpYxp

Smoothing by Two Filter Formula

Smoother

Filter

)|()|(

)|,(

),|()|(

1

1

1

nnnn

nnn

nnnnn

Yxpxyp

Yyxp

yYxpYxp Nn

nN

nn

yyY

yyY

,,

,,1

)|(

)|(

nn

N

nn

xYp

xyp

26


Backward Filtering

)|()|( NNNN

N xypxYp

Backward Filtering

)|()|()|(

)|()|()|(1

11111

nn

Nnnnn

N

nnnnn

Nnn

N

xYpxypxYp

dxxxpxYpxYp

Initialization

27


Two-Filter Formula for Smoothing

Backward FilteringFiltering

)|( nn

N xYp

Smoothing

n-1n-2 n+2n+1n)|( 1nn Yxp

28


Fixed-Lag with LAG=500 Two-Filter Formula

m=100,000

29

m=10,000

m=1,000


mGaussian Model Cauchy Model

Fixed-lag

Fixed-interval

Two-filter

Fixed-lag

Fixed-interval

Two-filter

102 8.693 41.723 6.913 21.248 47.881 26.440103 2.259 16.275 1.399 6.042 23.654 4.870104 0.717 5.547 0.333 1.001 3.679 0.378105 0.185 1.448 0.118 0.140 0.380 0.072

Accuracy of Smoothing

Evaluated by )ˆ,( DDI

30


Accuracy of Two-Filter Smoothing Algorithm


1 10 102 103 104

Accuracy

Accuracy

ms: Number of evaluated particles ms: Number of evaluated particles1 10 102 103 104

ms=100 is sufficient.ms=10 might be reasonable

31


粒子フィルタの応用

Gordon et al. (1993), Kitagawa (1996)Doucet, de Freitas and Gordon (2001) “Sequential Monte Carlo Methods in Practice”

1. 非ガウス型平滑化レベルシフト（構造変化）非ガウス型季節調整確率的ボラティリティモデル

2．非線形平滑化トラッキングPhase-unwrapping

3. 信号抽出問題

4. 計数データのモデリング

5. 自己組織型状態空間モデル

6. 高次元フィルタ（データ同化）

32


日経２２５平均株価

・平均値が変動・分散が変動・分散変動と平均値の変化に相関の可能性がある

40000

30000

20000

33


トレンドと分散は独立

観測モデル

トレンドとボラティリティのモデル化

, ~ (0,1)n n n n ny t w w N

1 2

2 2 21 2

2

log 2log log

n n n n

n n n n

t t t v

u

トレンド成分モデル

分散変動成分モデル

34


状態空間モデル

状態ベクトル

状態空間モデル

21

21

loglog

n

n

n

n

n

tt

x

nnnnn wtwxH ),(

n

nnv

1

( , )n n n

n n n

x Fx Gvy H x w

2 1 1 01 0 0 0

,2 1 0 11 0 0 0

F G

35


確率的ボラティリティ

2122

Model ( , ) ( , )

9000 700

0.0026 0.0005AIC 13726.02 13765.84

G G C G

0 100 200 300 400 500 600 700 800 900

40000

30000

20000

10000

1500

1000

500

0

2 21 22 21 2

Model( , ) ~ (0, ) ~ (0, )

Model( , ) ~ (0, ) ~ (0, )n n

n n

G G N N

C G C N

Nikkei 225

Volatility

36


確率的ボラティリィティ（自己組織化）

2,,

/ 21

1 1

1 22 2

31

0 0 00 1 0 00 0 1 0

log log 0 0 0 1

~

n

n

n n n

n n n

n n n

nn n

xn n

x x ve

r e w

同時推定のための状態空間モデル

オリジナルの状態空間モデル

nx

n

nnn

weer

vxxn2/

1

),0(~ 2Nvn

未知パラメータ

2logn n


/21

1 3

n

n

n n n

n n n

xn n

x x veI

r e w

2log n

2log

2( , , log )Tn n n n

0 200 400 600 800

0 200 400 600 800

0 200 400 600 800

0 200 400 600 800

1614121086

0‐2‐4‐6

1.00.90.80.70.6

11.010.810.610.410.210.0

確率的ボラティリィティ（自己組織化）


Log‐LK AIC

Gaussian 0.874 x 105 0.146 x 106 0.365 x 104 0.98 ‐670.39 1346.8

Non‐Gaussian 0.288 x 105 0.528 x 103 0.362 x 103 0.98 ‐667.01 1342.0

季節調整：構造変化が存在する場合

2̂

2

2 21 12 22 2

~ (0, )

~ (0, ) (1 ) (0, )

~ (0, ) (1 ) (0, )

n

n

n

w N

v N N

u N N

1 2

1 1

2( )

n n n n

n n n n

n n n p n

y T S w

T T T vS S S u

21̂

22̂ ˆ̂

39


季節調整：異常値

ガウスモデル

非ガウス型

季節成分ガウスモデル

季節成分非ガウス型

40


非線形平滑化

nn

n

nn

nnn

wxy

vnxxxx

20

)2.1cos(8125

21

2

21

11

信号

観測値

)1,0(~ ),1.0,0(~ NwNv nn

nx

ny

粒⼦フィルタ

⾮線形フィルタ

拡張カルマンフィルタ


非線形モデル（自己組織化）

nnnn

nnn

nnnnn

wxy

vnxxxx

26

521

1413 )2.1cos(

1

6

1

n

n

n

n

x

z

Augmented State Vector

})exp{,0(~ }),exp{,0(~ 21 nnnn NwNv

42


自己組織型平滑化1n

2n

3n

4n

5n

6n

信号

観測値

信号の推定

nnnn

nnn

nnnnn

wxy

vnxxxx

26

521

1413 )2.1cos(

1

})exp{,0(~ }),exp{,0(~ 21 nnnn NwNv

43


ny

n n nt s

nt

ns

計数データの季節調整

n

yn

nn yeyP

nn

)|(

1 2

1 11

log 2log loglog (log log )

n n n n

n n n n

t t t vs s s u

ポアソン分布

44


データ同化: 非線形状態空間モデル

tttt

tttt

wxHyvxFx

),( 1

データ同化 = 状態 ( ) 推定問題

tytx

tvtw

(システムモデル)

(観測モデル)

超高次元 tx : 104~106

ty : 102~105

txデータ同化結果

観測データ

大地震発生時の微気圧変動のデータ同化結果（統数研）

シミュレーションモデル

観測データ

データ同化+ 現実的なシミュレーション

: シミュレーションモデルの全変数

: 全観測変数

: システムモデルの不確実性

: 観測モデル

45


m=1,000

m=10,000

# Generation of data## trend modelx <- rep(0,400)x[101:200] <- 1x[201:300] <- -1y <- x + rnorm(400, mean=0, sd=0.5)

################################ Particle Filter###############################m <- 10000tau <- 0.04sig <- 0.25

# Initial distributionxf <- rnorm(m,mean=0,sd=2)n <- length(y)trend <- rep(0,length=n)

for (ii in 1:n) {# Prediction stepv <- rnorm(m,mean=0,sd=tau)xp <- xf + v

# Bayes factor (weights of particles)alpha <- dnorm(y[ii]-xp,mean=0,sd=sig,log=FALSE)alpha <- alpha/sum(alpha)

# re-samplingxf <- sample(xp,prob=alpha,replace=T)

qxf <- quantile(xf)trend[ii] <- mean(qxf)}

plot(y,type="l",ylim=c(-3,3))par(new=T)plot(trend,type="l",col="red",lwd=2,ylim=c(-3,3))

46


V: Cauchy distributionv <‐ rcauchy(m,location=0,scale=0.0001)

47


並列計算

MCFアルゴリズムの直接並列化

単純並列 MCF• 単純にk 個の MCFを並列に実行

• 事後分布を平均

重み付き並列 MCF• 事後分布の（モデルの尤度に基づく）重み付き平均

• 交叉を伴う重み付き並列MCF

移住を伴う重み付き並列 MCF• “良い”MCFから “悪い” MCFへの粒子の移住

48

時系列解析（13）...kkm mggt km m gt t p km g t p p mg t p 2 東京 学 北川源四郎 数理...

Documents

時系列解析（13）...kkm mggt km m gt t p km g t p p mg t p 2 東京学北川源四郎数理...