URČENIE MODELOV URČENIE MODELOV V BOX – JENKINSOVEJ METODOLÓGIIV BOX – JENKINSOVEJ METODOLÓGII

1.1. Identifikácia modeluIdentifikácia modelu

2.2. Odhad parametrov modeluOdhad parametrov modelu

3.3. Testovanie vhodnosti modeluTestovanie vhodnosti modelu

Prípravné operácie:

1. Vykreslenie časového radu

2. V prípade, že stredná hodnota stacionárneho procesu nie je nulová, je nutné ho centrovať (odčítať nenulovú strednú hodnotu od každej hodnoty časového radu)

1. Identifikácia modelu1. Identifikácia modelu

a. Pomocou odhadnutej autokorelačnej a parciálnej a. Pomocou odhadnutej autokorelačnej a parciálnej autokorelačnej funkcieautokorelačnej funkcie

Na základe priebehu odhadnutej autokorelačnej funkcie rk a parciálnej autokorelačnej funkcie rkk určíme typ a rád vhodného modelu. Obvykle stačí použiť prvých 20 hodnôt. Závery z odhadnutých hodnôt môžu byť výrazne skreslené, preto sa doporučuje prijať a preskúmať niekoľko alternatív.

Ak výberová autokorelačná funkcia neklesá dostatočne rýchlo k 0, signalizuje to, že časový rad nie je stacionárny - musíme ho transformovať napr. diferencovaním:

xt = xt – xt - 1

2xt = xt - xt - 1 = xt – 2 xt - 1 + xt - 2

Platí, že pri postupnom diferencovaní hodnoty odhadnutých rozptylov klesajú, pokiaľ nie je dosiahnutá stacionarita a potom opäť začínajú rásť.

b) Informačné kritériáb) Informačné kritériá

Určia sa horné hranice K a L pre správny rád modelu ARMA(p, q), t. j.

p K, q L.

Čísla K a L by mali byť malé v porovnaní s dĺžkou n časového radu. (Často sa volí K = L = 2, maximálne K = L = 10).

Predpokladajme, že vhodný model je ARMA(k, l), k K,

l L. Označme odhad rozptylu chybovej zložky. 2l,k

Definujme funkciu:

Ak,l = (1 + wn(k, l) ) ; kk = 0, 1, ..., K, ll = 0, 1, ..., L

2l,k

kde wn(k, l) je tzv. penalizačná funkcia, ktorá penalizuje voľbu príliš veľkého rádu modelu. Musí mať dve vlastnosti:

a) Pri pevnej dĺžke časového radu n musí byť rastúca funkcia argumentov kk a ll

b) Pri pevných hodnotách kk a ll musí pre rastúce n konvergovať k 0

Najčastejšie používané informačné kritériá:

Kritérium AIC (AkaikeKritérium AIC (Akaike’s’s IInformanformation Criteriontion Criterion))|

n

ˆln,AIC l,klklk

22

Kritérium Kritérium BBIC (IC (Bayesian IBayesian Informanformation Criteriontion Criterion))|

nnlnˆln,BIC l,k lklk 2

Odhad BIC je (na rozdiel od AIC) silne konzistentný, t. j., asymptoticky pre veľké n vždy určí správnu hodnotu rádu modelu. Dokonca pravdepodobnosť výskytu konkrétnej realizácie časového radu, pri ktorom by BIC neurčil správny rád, je takmer nulová.

V systéme Mathematica: AIC[rad, n]

V systéme Mathematica: BIC[rad, n]

Požiadavka – stacionárny časový rad s nulovou strednou hodnotou. V opačnom prípade môžeme získať nekorektné modely, resp. výpočet môže byť numericky nestabilný.

Každá metóda má svoje výhody, ale aj nevýhody a ohraničenia. Okrem ohraničení z teoretických vlastností odhadov sa pri výbere vhodnej metódy v praxi berie do úvahy aj rýchlosť výpočtu a dĺžka časového radu.

2. Odhad parametrov modelu2. Odhad parametrov modelu

a) a) Yule – Walkerova metódaYule – Walkerova metóda

Používa sa na odhad parametrov modelu AR(p) pre dané p.

Systém (p + 1) rovníc o (p + 1) neznámych:

(k) - 1 (k-1) - 2 (k-2) - … - p (k-p) = 0, k = 1, 2, …, p

(0) - 1 (1) - 2 (2) - … - p (p) = 2 k = 0

V systéme Mathematica: YuleWalkerEstimate[data, p]

ARModel[{0.136139, -0.00615583}, 34.4149]

b) b) Lewinson – Durbinov algoritmusLewinson – Durbinov algoritmus

Je založený na iteračnom riešení Yule – Walkerových rovníc. Počíta vhodné modely AR(1), AR(2), ..., AR(kmax), kde kmax volíme, pričom skutočný rád p kmax.

Výhodou Lewinson – Durbinovho algoritmu je, že okrem priameho riešenia Yule – Walkerových rovníc (bez použitia inverznej matice) pre p = 1, 2, ..., kmax získame aj odhady parciálnej autokorelačnej funkcie r1,1, r2, 2, ... . To nám umožní vybrať vhodný rád pre AR model priamo v procese odhadu parametrov.

V systéme Mathematica: LevinsonDurbinEstimate[data, kmax]

{ARModel[{0.1353}, 34.416], ARModel[{0.1361, -0.0062}, 34.415], ARModel[{0.1358, 0.0017, -0.0579}, 34.299], ARModel[{0.1319, 0.0018, -0.0488, -0.0672}, 34.145], ARModel[{0.1326, 0.0024, -0.0488, -0.0685, 0.0104}, 34.141]}

{0.1353, -0.0062, -0.0579, -0.0672, 0.0104}

Rád AR modelu sa dá odhadnúť aj pomocou disperzií pre chybovú zložku jednotlivých modelov.

Za vhodný rád sa berie tá hodnota p, kde sa disperzia približne stabilizovala – v našom prípade to je p = 4.

{34.416, 34.415, 34.299, 34.145, 34.141, 34.081, 34.065, 34.039}

V systéme Mathematica použijeme postupnosť príkazov: armodels = LevinsonDurbinEstimate[data, počet]

dis = Map[#[[ - 1]]&, armodels]

ListPlot[dis, Joined → True, PlotRange→All]

c) c) Long AR - MethodLong AR - Method

Používa sa na odhad koeficientov modelu ARMA(p, q), ale aj AR(p) (pre q = 0), resp. MA(q) (pre p = 0). Využíva fakt, že invertibilný model ARMA(p, q) môžeme aproximovať modelom AR(k) pre dostatočne veľké k.

Uvažujme časový rad {x1, ..., xn}.

Najprv odhadneme model AR(k) pre dostatočne veľké k:

Odhady koeficientov získame klasickou metódou najmenších štvor-cov. Tieto odhady dosadíme do (1), čím získame odhady reziduí

kˆ,,ˆ 1

tktktt zxxx 11 (1)

ktkttt xˆxˆxz 11 (2)

Tieto reziduá dosadíme do modelu ARMA(p, q):

qtqttptptt zzzxxx 1111

Znova použijeme klasickú metódu najmenších štvorcov, pomocou ktorej odhadneme koeficienty modelu ARMA(p, q).

Disperzia chybovej zložky:

p,kqmaxtn

zˆn

tt

t

1t kde , 1 1

22

1

V systéme Mathematica: LongAREstimate[data, k, p, q]

d) Hannan – Rissanenova procedúrad) Hannan – Rissanenova procedúra

V systéme Mathematica: HannanRissanenEstimate[data, kmax, pmax,

qmax, h] Pozostáva z nasledujúcich krokov:

1. Použije sa Lewinson – Durbinov algoritmus na odhad parametrov modelov AR(1), AR(2), ..., AR(kmax)

2. Vypočíta sa AIC pre všetky modely AR(1), ..., AR(kmax) a vyberie sa model AR(k) s minimálnym AIC.

3. Pre vybraný model AR(k) sa vypočíta časový rad reziduí zt

4. Odhadnú sa koeficienty modelov ARMA(p,q) pre p min(pmax, k) a q qmax (použitím metódy najmenších štvorcov)

5. Odhad disperzie reziduí: p,kqmaxt ,

tnzˆ 1

n

tt

tq,p

1 1

22

1

6. Vyberie sa h modelov s najmenšími BIC.

e) Metóda maximálnejmaximálnej vierohodnosti

Predpoklad: biely šum Zt stacionárneho ARMA procesu s nulovou strednou hodnotou má normálne rozdelenie s nulovou strednou hodnotou a disperziou 2 (t. j. Zt N(0, 2 ) ).

Potom môžeme na odhad jeho parametrov použiť maximalizáciu Gaussovej funkcie vierohodnosti. Parametre, ktoré takto získame, nazývame maximálne vierohodné odhady.

Funkcia vierohodnosti: hustota rozdelenia pravdepodobnosti určitého typu, kde sa za premenné považujú jednotlivé parametre a za dané (známe) hodnoty náhodného vektora..

Na odhad parametrov stacionárneho ARMA procesu sa používa logaritmus funkcie vierohodnosti, ktorý nadobúda maximum v tých istých hodnotách parametrov.

Hustota pravdepodobnosti rozdelenia N(0, 2 ):

2

2

2

21

x

exf

n

ttz

ˆˆlnnlnnvfln

1

22

2

21

22

2

kde za dosadzujeme rozdiel nameraných a teoretických hodnôt časového radu v čase t.

tz

Metóda maximálnej vierohodnosti dáva najlepšie odhady parametrov (nevychýlené s najmenším rozptylom).

V systéme Mathematica používame príkaz:

MLEstimate[dáta, model, počiatočné odhady]

Parameter, ktorý chceme odhadnúť, zadávame jednak v symbolickom tvare ako argument modelu, ale aj dve číselné počiatočné hodnoty:

Počiatočné odhady: {parameter, {prvý odhad, druhý odhad}}

MLEstimate[dáta,ARMAModel[{1},{1},1], {1,0.1,0.12},{1,-0.21,-0.2}]

f) Podmienená metóda maximálnej vierohodnostif) Podmienená metóda maximálnej vierohodnosti

Pre časové rady s veľkou dĺžkou n sa často používa aproximácia metódy maximálnej vierohodnosti – podmienená metóda maximálnej vierohodnosti.

Aproximácia spočíva v tom, že sa pre odhad parametrov modelu ARMA(p, q) fixuje q počiatočných hodnôt chybovej zložky Zp, Zp - 1, ..., Zp – q + 1 a prvých p hodnôt náhodnej premennej Xt.

Metódu maximálnej vierohodnosti teda robíme za podmienok:

Zp = Zp – 1 = ... = Zp – q + 1 = 0

X1 = x1, X2 = x2, ..., Xp = xp.

V systéme Mathematica: ConditionalMLEstimateConditionalMLEstimate[[dáta, modeldáta, model]]

Model – počiatočný odhad, vypočítaný inou, menej presnou metódou

Asymptotické vlastnosti maximálne vierohodných odhadovAsymptotické vlastnosti maximálne vierohodných odhadov

Nech = (1, ..., p, 1, ..., q)T sú skutočné parametre stacionárneho a invertovateľného procesu ARMA(p, q) a je odhad vektora , získaný metódou maximálnej vierohodnosti alebo podmienenou metódou maximálnej vierohodnosti.

Pre n V,Nˆn 0

kde V() je asymptotická kovariančná matica odhadov parametrov typu (p + q) x (p + q).

V praxi nie sú skutočné hodnoty parametrov známe. Preto sa často používa aproximácia asymptotickej kovariančnej matice pomocou informačnej matice.

Informačná matica je stredná hodnota matice 2. parciálnych derivácií logaritmu vierohodnostnej funkcie podľa jej parametrov.

Inverzná matica k informačnej matici je kovariančná matica odhadov parametrov. Aproximácia spočíva v tom, že namiesto stredných hodnôt sa používajú výberové kvantily.

V systéme Mathematica:

Informačná matica: M = InformationMatrix[dáta, model]

Kovariančná matica: Inverse [M]

Štandardné chyby odhadov parametrov sú druhé odmocniny diagonálnych prvkov kovariančnej matice vydelené n

(M = InformationMatrix[data,ar2]) //MatrixForm

(km = Inverse[ M ])//MatrixForm

Ss = Sqrt [Table [km[[ i, i ]], {i, 2}]/n];

ColumnForm[Transpose[{ar2[[1]], Ss}]]

{0.136, 0.035}

{-0.006, 0.034}

1.01740.13730.13731.0176

0011.11351.01351.00009.1

mod = LevinsonDurbinEstimate[rez,10];ar2 = ConditionalMLEstimate[rez, mod[[2]]];

3. Diagnostická kontrola modelu3. Diagnostická kontrola modelu

tt XBBZ

Kvalitne postavený ARMA(p, q) model vedie ku vzťahu:

t.j. „odfiltrovanie“ systematičnosti analyzovaného procesu vedie k procesu bieleho šumu. Preto základná empirická diagnostická kontrola spočíva v posudzovaní reziduí:

tt XBˆBˆZ

Testuje sa:

A. autokorelácia reziduí

B. normalita reziduí

C. podmienená heteroskedasticita reziduí

Najprv vypočítame v systéme Mathematica reziduá príkazomResidual[data, model]Residual[data, model]

a vykreslíme ich.

a) Testovanie nulovosti autokorelačnej funkcieHH00: : (k) = 0 (k) = 0 k k > 0> 0 H H11: : ((kk)) 0 0 k > 0k > 0

Vypočítané hodnoty výberovej autokorelačnej funkcie |rk|, k = 1, ... porovnávame s hodnotou

n1rk

Ak je |rk| < 2(rk) k > 0, potom nemôžeme zamietnuť hypotézu H0 časový rad reziduí je realizácia navzájom nekorelovaných rovnako rozdelených náhodných premenných.

A. Testovanie A. Testovanie autokorelácie reziduíautokorelácie reziduí

b) Portmanteauov testb) Portmanteauov testHH00: : (k) = 0 k =(k) = 0 k = 1, ..., h1, ..., h H H11: : ((kk)) 0 0 k: k: 0 0 < k < k h h

V tomto teste neskúmame hodnotu výberovej autokorelačnej funkcie reziduí stacionárneho procesu ARMA(p, q) zvlášť pre každé posunutie k, k = 1, ..., h, ale budeme skúmať prvých h hodnôt spolu. Testujeme teda hypotézu H0, že prvých h hodnôt výberovej autokorelačnej funkcie je rovných 0 (pre h n/4).

h

k

kh kn

rnnQ1

2

2

Testovacia štatistika Qh má 2(h – p – q). Ak Qh > 21- (h – p – q), model

ARMA(p, q) nepovažujeme za vhodný (na hladine významnosti ).

V systéme Mathematica: PortmanteauaStatistic[reziduá, h]

B. Jarqueho – Berov test normality B. Jarqueho – Berov test normality reziduíreziduí

Jarque-Berov test je založený na súčasnom testovaní šikmosti a špicatosti. Vychádza sa zo skutočnosti, že tretí normovaný moment (šikmosť) normálneho rozdelenia je 0 a štvrtý normovaný moment (špicatosť) normálneho rozdelenia je 3.

Normalita reziduí je dôležitý predpoklad pre interpretáciu odhadu parametrov modelu, ale najmä pre testovanie autokorelácie reziduí a výpočet štandardných chýb odhadov parametrov.

Definujme funkciu pre výpočet j-teho normovaného momentu štandardizovaných reziduí :

4 3, 2, j ,Z

n1m

n

1t

jtj

ˆˆ

n1tt }Z{

ˆ

Zamietnutie nulovej hypotézy často býva aj v prípade, ak reziduá nemajú konštantný rozptyl (nie sú homoskedastické).

Testovacie kritérium pre testovanie šikmosti rozdelenia:

32

23

mm*

6nSK

ˆˆ

Testovacie kritérium pre testovanie špicatosti rozdelenia:

3

ˆˆ

22

4mm

24nSP

Za predpokladu platnosti nulovej hypotézy, ktorá znamená normalitu reziduí, majú štatistiky SK a SP asymptoticky normované normálne rozdelenie N(0, 1) a štatistika TS má rozdelenie 2 (2).

Testovacia štatistiky Jargque – Beryho testu ma tvar:

22 SPSKTS

C. Testovanie podmienenej hC. Testovanie podmienenej heteroeteroskedasticity skedasticity (line(lineáárnrnehoeho typutypu))

H0: časový rad reziduí Zt je rad s podmienenou homoskedasticitou.

Test je založený na Lagrangeových multiplikátoroch. Metodológia zahrňuje nasledujúce dva kroky:

1. Nájdeme vhodný model AR(m):

Yt = a0 + a1 Yt-1 + … + am Yt-m + Zt.

Za predpokladu platnosti nulovej hypotézy má testovacia štatistika n.R2 (kde R2 je index determinácie) asymptoticky 2 – rozdelenie s q-stupňami voľnosti.

Ak je teda vypočítaná hodnota n.R2 väčšia ako kritická hodnota 2(q), nulovú hypotézu H0: 1 = … = q = 0 zamietame chybová zložka je autoregresný proces s podmienenou heteroskedasticitou.

2. Vypočítame odhady reziduí a ich štvorce . Urobíme autoregresný model pre štvorce reziduí:

.

2tZ

22110

2qtqtt ZZZ

Osnova programu na piate a šieste cvičenie

Výber vhodného lineárneho modelu z triedy ARMA pre reziduá: načítanie dát; určenie skúšobnej vzorky; identifikácia modelu pomocou ACF a PACF; identifikácia modelu pomocou rozptylov AR(p), p pmax; odhad parametrov 5 modelov s najmenším BIC pomocou

Hannan- Rissanenovej procedúry; pre najlepší model:

► spresnenie odhadov metódou maximálnej vierohodnosti; ► výpočet štandardných chýb odhadov;

► určenie reziduí, odhad ich strednej hodnoty, rozptylu, smerodajnej odchýlky

► vykreslenie reziduí ► diagnostickými testami otestovať autokoreláciu,

normalitu a podmienenú heteroskedasticitu reziduí

celý postup opakovať pre druhý až piaty najlepší model.