時系列分析 4...

11

時系列分析 4

(一変量時系列モデルによる予測)

担当：長倉大輔

（ながくらだいすけ）

一変量時系列モデルによる予測

◼ 時系列モデルによる予測とは？

予測とは将来の値を推測する事である。

予測の目的により様々な予測が存在しうる。

時系列モデルによる予測は、通常、現在までに観測された観測値に基づいて、予測をする事になる。

2


◼ 情報集合

どのような情報に基づいて予測をしたのかを明示的に表すために次のようなものを定義する。

時点 t までの観測値の集合：

Ωt = {yt , yt –1 , …., y1}

を情報集合という。

3


◼ 情報集合

この場合、情報集合 Ωtに基づく予測とは、予測をする際に用いた情報が yt , yt–1 ,…, y1であるという事である。

一般的には情報集合とは必ずしも ytの値だけとは限らない。例えば他に xtという変数も用いたのであれば情報集合は Ωt = {yt , …., y1 , xt ,…, x1} となる。

4


◼ h期先予測

時点 tにおいてある時系列変数 ytの t + h時点 (h > 0)

における値 yt +hを予測する事を考えよう。このような予測は h期先予測と呼ばれる。

情報集合 Ωtに基づいたこのような予測の予測値を

と書くことにする。これは情報集合に含まれている変数の関数となる。

5

thty |ˆ+


◼ どのような予測が望ましいか？

Ωtに基づいて予測する方法として様々な方法が考えられる。それらの間の優劣はどのような基準で決定すればよいだろうか？

どのような基準で予測の優劣を決めるかは、実は予測に対する分析者の目的による。

通常よく使われる基準は以下の平均二乗誤差( MSE:

Mean Squared Error) という基準である。

6


◼ 平均二乗誤差(MSE: Mean Squared Error)

予測誤差を

と定義する。平均二乗誤差とはこの予測誤差の二乗のΩt という条件付き期待値として定義される。

さまざまな予測が実行可能であれば、通常MSE を最小にする予測が選択される。

7

ththttht yye || ˆˆ +++ −=

]|ˆ[

]|)ˆ[()ˆ(

2|

2||

ttht

tththttht

eE

yyEyMSE

=

−=

+

+++


MSEにおいて、どの情報集合に基づいているか明らかでない時に、情報集合を明示して表記したい場合には

のように書くこととする。上記は情報集合Ωt に基づいたt時点における h期先予測のMSEを表している。

8

)|ˆ( | tthtyMSE +


◼ 最適予測

MSEを最小にする予測を最適予測と呼ぼう。最適予測は yt+hの Ωt という条件付き期待値 μt+h |tである事を示そう。これは

と変形し、第 1 項は予測値に依存しない0以上の数であり、第 2 項はの時に最小値 0 になる事より示される。

9

]|)ˆ[(]|)[(

]|)ˆ[(

)ˆ(

2||

2|

2|

|

tthtthttththt

tththt

tht

yEyE

yyE

yMSE

−+−=

−=

++++

++

+

thtthty ||ˆ

++ =


● MSE( ) の変形

と書き直せるが、10

|

2|

2| | |

2| | | |

2| |

2| | | |

ˆ( )

ˆ[( ) | ]

ˆ[( ) | ]

ˆ[( ) 2( )( )

ˆ( ) | ]

ˆ[( ) | ] 2 [( )( ) | ]

t h t

t h t h t t

t h t h t t h t t h t t

t h t h t t h t h t t h t t h t

t h t t h t t

t h t h t t t h t h t t h t t h t t

MSE y

E y y

E y y

E y y y

y

E y E y y

E

+

+ +

+ + + +

+ + + + + +

+ +

+ + + + + +

= −

= − + −

= − + − −

+ −

= − + − −

+ 2| |ˆ[( ) | ]t h t t h t ty + +−

|ˆt h ty +


この第2項の期待値は、μt+h|t およびはともにΩtの関数なのでΩtで条件付けしてある場合、定数として扱える。よって

となる。第2項が0なので、先ほどの式は

となる。 11

| | |

| | |

| | |

| | | |

ˆ[( )( ) | ]

ˆ( ) [ | ]

ˆ( ){ [ | ] }

ˆ( ) ( )

0

t h t h t t h t t h t t

t h t t h t t h t h t t

t h t t h t t h t t h t

t h t t h t t h t t h t

E y y

y E y

y E y

y

+ + + +

+ + + +

+ + + +

+ + + +

− −

= − −

= − −

= − −

=

|ˆt h ty +

2 2| | | |ˆ ˆ( ) [( ) | ] [( ) | ]t h t t h t h t t t h t t h t tMSE y E y E y + + + + += − + −


◼ 最適予測

以後は予測と言えば、特に言及しない限り、最適予測を表し、それを表すのにとの両方を用いる。

12

thty |ˆ+ tht |+


例題 1:

以下のAR(1)モデル：

において情報集合 Ωt ={yt , …, y1} が与えられたもとでの yt +1の最適予測を求めよ。またその時のMSEの値も求めよ。ここでεt ~ i.i.d.(0,σ2) はεtが期待値 0、分散σ2のi.i.d.系列である事を表す。

例題 2:

上記の問題と同じ設定において yt+2の最適予測とMSE

の値を求めよ。

13

),0.(d.i.i~, 211 tttt ycy ++= −


◼ AR(1) 過程の h期先予測

AR(1) 過程の 1 期先予測と 2 期先予測はすでに見た。ここでは一般に AR(1) 過程の h期先予測を考える。

先ほどと同様の議論により

を得る。

14

−

=−+

=

−

+−

−+−++

−

+−+−+−+

+−+−++

++=

+++++

+++++=

++++++=

++++=

1

011

1

11

11

122

111

11

12

11

123111

1211

)1(

))((

)(

h

kkht

kt

hh

k

k

th

hththt

thh

hthththt

hthththt

yc

yc

yccc

yccy


◼ AR(1) 過程のh期先予測

また εtが i.i.d. という仮定により(これより過去の ys, s <t

と独立となる)、 j > 0 に対して E[εt+j | Ωt ] = 0である。よって h期先最適予測は、

となる(ここで εtは i.i.d としていることに注意しよう。εt がホワイトノイズというだけでは一般にE[εt+j | Ωt ] = 0 は成り立たない。)

15

th

h

h

ktkht

kt

hh

k

k

thttht

yc

Eyc

yEy

1

1

1

1

011

1

11

|

1

1

]|[

]|[ˆ

+−

−=

++=

=

−

=−+

=

−

++


◼ AR(1)過程のh期先予測

またこの最適予測のMSEは

となる。

16

21

212

1

0

21

2

21

0 1

2||

1

1

]Ω)([

]Ω|)ˆ[()ˆ(

−

−=

=

=

−=

−

=

−

= −+

+++

h

h

k

k

t

h

k khtk

tththttht

E

yyEyMSE


◼ AR(1)過程のh期先予測の性質

AR(1)過程のh期先予測は

(1) 情報集合 Ωtの中で ytのみに依存する(直近の情報しか役に立たない)。

(2) hが大きくなるほどMSE は大きくなる(予測の期間が先になるほど予測精度は悪くなる)。

(3) h → ∞ の時、定常性の条件、| | < 1より → 0 なので、

(a) , (b)

となる。これは ytの定常分布の平均と分散である。

17

1

|1

ˆ−

→+

cy tht 2

1

2

|1

)ˆ(

−→+ thtyMSE

1h

1


◼ AR(1)過程のh期先予測の性質

最後の (3) の (a) の性質、つまり無限期先予測が定常分布の平均に収束する性質、は平均回帰的とよばれる。定常な過程の無限期先予測は常にこの性質を満たす(定常分布に期待値が存在するとする)。

以下は AR(1) モデル: yt = 1 + 0.9 yt –1 + εt, εt ~ N(0, 1)

より T = 70 のデータを発生させ、

① t = 16 より h =1~54期先最適予測 (最適予測1)

② t = 40 より h =1~30期先最適予測 (最適予測2)

をプロットしたものである。

18

16|16ˆ

hy +

40|40ˆ

hy +


◼ AR(p)過程のh期先予測

一般のAR(p)過程

yt = c + yt –1+ … + yt –p + εt, εt ~ N(0, σ2)

の情報集合 Ωt ={yt, …., y1} のもとでの 1 期先最適予測は

である事がわかり、そのMSEは

となる。

20

ptpttttt yycyEy −+++ +++== 111|1 ...]Ω|[ˆ

22|11|1 ]Ω|)ˆ[()ˆ( =−= +++ tttttt yyEyMSE

1 p


◼ AR(p)過程のh期先予測

2期先最適予測も、同様の手順により

となり、そのMSEは

となる。

3期以降も同様の手順で求める事はできるが、計算が煩雑。AR(p) の場合はAR(1)と異なり一般の hに対して最適予測の簡潔な表現がない。

21

11

132122

11|2

...

)()()1(ˆ

+−

−+

+

++++++=

ptp

tttt

y

yycy

221|2 )1()ˆ( +=+ ttyMSE


◼ AR(p)過程の逐次予測

AR(p) 過程の h期先予測には逐次予測が用いられる。逐次予測とはまだ実現していない値を予測値で逐次置き換えて予測する事である。

例えば 2 期先予測はyt+1を予測値で置き換えて

= c + + yt+ … + yt–p+2

となる。これは先ほどの2 期先最適予測と一致する。

ただしこのような方法はMSEの計算には使えない。一般のAR(p)のMSEの計算にはカルマンフィルターなどの知識が必要とされるが、この講義では扱わない事とする。

22

tty |2ˆ+

tty |1ˆ+1 2 p


◼ AR(p)過程の逐次予測

一般に逐次予測によるAR(p) 過程の h期先予測は

となる。ここで s ≤ tに対してはとなる。

以下はAR(2)モデル: yt = 1 + 1.3yt –1– 0.4yt + εt,

εt ~i.i.d. N(0, 1) より T = 70 のデータを発生させ、

① t = 11 より h =1~59期先最適予測 (最適予測1)

② t = 25 より h =1~30期先最適予測 (最適予測2)


23

tphtpthtthttht yyycy ||22|11|ˆ...ˆˆˆ

−+−+−++ ++++=

sts yy =|ˆ

11|11ˆ

hy +

25|25ˆ

hy +


◼ AR(p)過程のh期先予測の性質

(1) 情報集合 Ωtの中で yt , yt –1, …, yt –p+1のみに依存する(直近の情報しか役に立たない)。

(2) hが大きくなるほどMSE は大きくなる(予測の期間が先になるほど予測精度は悪くなる)。

(3) hが h → ∞につれ、

(a) , (b) の定常分散

となる。(a)は ytの定常分布の平均(定常平均)である。

25

p

tht

cy

−−−→+

...1ˆ

1

| ttht yyMSE →+ )ˆ( |


◼ 区間予測

ここまでの予測は将来の値をある 1 点で予測していた。このような予測は点予測と呼ばれる。

これに対して、将来の値をある確率で含むような区間を予測する予測を区間予測という。

以下ではまずAR(1)モデルの区間予測を考える。

26


◼ AR(1)モデルの 1 期先区間予測

例題1のAR(1)モデルの誤差項に正規分布を仮定したAR(1)モデルを考える。

この時、例題1,2 よりyt +1の yt という条件付き分布は

yt+1| yt ~ N (c + yt, σ2 )

となる事を示す事ができる。この場合の95％予測区間は

[ c + yt – 1.96σ, c + yt + 1.96σ ]

となる。これは yt+1がこの区間に入る確率が 95% である区間という事である。

27

1

1 1


◼ AR(1)モデルの 2 期先区間予測

次にAR(1) モデルの2期先区間予測を考えよう。yt+2の条件付き分布は

となるので 2期先95%区間予測は

となる。以下は先ほどの予測に95%予測区間(点線)を加えたものである。

28

+++++−++ 22

12

1122

1211 )1(96.1)1(,)1(96.1)1( tt ycyc

( )221

2112 )1(,)1(~| ++++ ttt ycNyy


◼ AR(p)モデルの区間予測

AR(p) モデルに対して、誤差項がi.i.d.の正規分布に従うという仮定のもので、yt+h の情報集合 Ωt = {yt , …, y1} で条件付けした条件分布は、期待値分散の正規分布:

に従う。この時 100 α %区間予測は

で与えられる。ここで cαは α に依存して決まる定数で、α = 0.9 なら cα =1.64、α = 0.95 なら cα = 1.96、α= 0.99

なら cα = 2.58 である。

30

))ˆ(,ˆ(~| || thtthttht yMSEyNy +++

thty |ˆ+ )ˆ( |thtyMSE +

])ˆ(ˆ,)ˆ(ˆ[ |||| thtthtthttht yMSEcyyMSEcy ++++ +−


◼ MA過程の予測

MA過程の予測も原理的には同じである。すなわち点予測については(情報集合を条件とする)条件付き期待値で予測し、区間予測に関しては条件付き分布をもとに α%予測区間を構築する。

ただし、MA過程は観測されないノイズに依存するので、正確な最適予測を構成するのは(不可能ではないが)難しい。

以下では最適予測の近似を計算する簡便な方法のみ説明する(実用上はこれで十分)。

31


◼ MA(1) 過程の点予測

まず、MA(1) 過程: yt = μ + εt + θ1εt –1, εt ~ i.i.d. N(0, σ2)

について考えてみる。

ここではひとまず情報集合として

Ξt = (εt, εt –1,…, ε1, ε0)

が与えられているとする (もちろんこれは通常は観察不可能)。

32


◼ MA(1) 過程の 1 期先点予測と区間予測

ここで yt+1は

yt+1 = μ + εt+1 + θ1εt

であるので yt+1の Ξt という条件付き分布は

yt+1 | Ξt ~ N( μ + θ1εt, σ2)

となる。これより点予測、95％区間予測はそれぞれ

となる。

33

,ˆ1|1 ttty +=+

]96.1,96.1[ 11 ++−+ tt



ここまでの議論は基となる情報集合を Ξt としていた。実際に t期までに観測されるのは yt , yt –1, …, y1である。そこで

Ωt = { yt , yt –1, yt –2,…., y1, ε0}

という情報集合を考えてみよう(ε0 が入っている事に注意)。

Ωtには εtが入っていないので、一見するとこの情報集合からは εtがわからないようにみえる。

34



しかしながら、ε0 とy1, y2, …., ytがわかっていれば

y1 = μ + ε1 + θ1ε0 → ε1 = y1 – μ – θ1ε0

y2 = μ + ε2 + θ1ε1 → ε2 = y2 – μ – θ1 (y1 – μ – θ1ε0)

…

と、(εt, εt –1,…, ε1) を順に求める事ができる。これは情報集合として Ωt = (yt, yt –1,…, y1, ε0) は Ξt と同じかそれ以上の情報量を持っている事を示している(実際には同じ)。

35



よって

yt+1| Ωt ~ N (μ + θ1εt, σ2)

に過去のytより計算したεtを代入する事により、先ほどと同様の議論により、yt+1の点予測と区間予測ができる。例えば y2| Ω1 ~ N (μ + θ1 (y1 – μ – θ1ε0), σ

2) である。

通常、推定のところで行ったのと同様に、ε0 = 0を仮定しεt, εt –1,…, ε1を計算する。

36


◼ MA(1) 過程の 2 期先予測

MA(1)過程において yt +2の条件付き分布は

yt+2 = μ + εt+2 + θ1εt+1

より

yt+2| Ωt ~ N (μ , (1 + θ12)σ2)

となる。これはMA(1) 過程の定常分布に他ならない。この場合、点予測と区間予測はそれぞれ

となる。これは 3 期以降も同様である。

37

,ˆ|1 =+ tty

])1(96.1,)1(96.1[ 22

1

22

1 +++−


◼ MA(1) 過程の予測のまとめ

以上の結果をまとめるとMA(1)過程の h期先点予測は

h期先区間予測は

となる。

38

,)2(

)1(ˆ 1

|

=+=+ h

hy t

tht

)2()1(96.1,)1(96.1

)1(96.1,96.1

22

1

22

1

11

+++−

=++−+

h

htt


◼ MA(1)過程の予測の例

以下はMA(1)過程:

yt = 10 + εt + 0.4 εt –1, εt ~i.i.d. N(0, 1)

より T = 70 のデータを発生させ、

t = 19 より h =1~51期先最適予測およびその95％予測区間


39

19|19ˆ

hy +


◼ MA(1) 過程の予測の性質

(1) 1 期先予測は εtのみに依存する。

(2) しかし εtの計算には過去の yt全てが必要となる。つまり 1期先予測は実は過去の yt全てに依存する。

(3) 2 期以上先の予測は定常平均と定常分散のみに依存する。

41


◼ MA(q) 過程の最適予測

MA(q) 過程:

yt = μ + εt + θ1 εt–1 + … + θqεt –q, εt ~ i.i.d.N(0, σ2)

の予測に関してもMA(1) 過程の予測とまったく同様の議論を適用できる。

繰り返しになるので以下では結論だけを述べる。

42


◼ MA(q) 過程の予測まとめ

(MA(q)過程の h期先予測)

となる。ただし h >q の時 θh = 0 とする。

(MA(q)過程の h期先95%区間予測)

となる。

43

,)1(

)(ˆ 1111

|

+

++++=

+−−+−+

+qh

qhy qtqhthth

tht

)1()1(96.1,)1(96.1

)()1(96.1ˆ,)1(96.1ˆ

2

1

22

1

2

1

22

|1

22

|

+

+++−

+++−

==

=+=+

qh

qhyy

q

i i

q

i i

h

i itht

h

i itht


◼ MA(q) 過程の予測まとめ

(1) MA (q) 過程の h期先予測は εt,…, εt–q+hにのみ依存する。

(2) これらは ε0 = ε–1= … = ε–q+1 = 0 などの条件を追加することによって yt, …, y1より計算する。つまりMA(q)

の予測の計算には過去の yt全てを用いる。

(3) q +1 期以上先の予測は定常平均と定常分散のみに依存する。

44


◼ ARMA(p, q) 過程の予測

ARMA (p, q) 過程の予測にはAR過程の予測とMA過程の予測の際の議論を組み合わせればよい。

誤差項に正規分布を仮定すれば、ARMA (p, q)の条件付き分布もやはり正規分布になる事を示すことができるので、その平均と分散が最適予測とMSEとなる。

AR過程の場合のように予測は逐次予測の方法で計算できるが、MSEは高次になると、計算にはカルマンフィルターなどの知識が必要となってくる。

45


演習問題

ytがAR(1)過程: yt = 0.5yt –1 + εt , εt ~ iid N(0, 1)

に従うとする。(yt, yt –1, yt –2)として –1.2, –0.5, 0.7 という観測値が得られていたとする。この時

(1) 1 期先予測の値とそのMSEを求めよ。(2) 1 期先予測の95％区間予測を求めよ。(3) 2 期先予測の値とそのMSEを求めよ。(4) 2 期先予測の95％区間予測を求めよ。(5) 今、仮に εsが s < t +1 に対してすべて観察可能であったとしよう。この場合上記の最適予測の答えのどれが変わりうるか?

46

時系列分析 4...

Documents