modeli vremenskih nizova i ocenjivanje njihovih …...primer za strogo stacionaran proces, koji nema...

Univerzitet u Ni²u

Prirodno - matemati£ki fakultet

Departman za matematiku

Modeli vremenskih nizova iocenjivanje njihovih parametara

Master rad

Mentor:

Prof. dr Biljana Popovi¢

Student:

Petra Laketa

Ni², 2015.

SADRAJ 2

Sadrºaj

1 Uvod 3

2 Modeliranje vremenskih nizova 42.1 Vremenski niz i stohasti£ki proces . . . . . . . . . . . . . . . . . . . . 42.2 Stacionarnost procesa . . . . . . . . . . . . . . . . . . . . . . . . . . . 72.3 Stacionarni procesi . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9

2.3.1 Autokovarijansna, autokorelaciona i parcijalna autokorelaci-ona funkcija . . . . . . . . . . . . . . . . . . . . . . . . . . . 9

2.3.2 Ocene veli£ina karakteristi£nih za stacionarne procese . . . . . 16

3 Autoregresivni procesi pokretnih sredina 233.1 Denisanje autoregresivnih procesa i procesa pokretnih sredina i nji-

hove osnovne karakteristike . . . . . . . . . . . . . . . . . . . . . . . 233.2 Veza izmeu autoregresivnih procesa i procesa pokretnih sredina . . . 303.3 Autoregresivni procesi kona£nog reda . . . . . . . . . . . . . . . . . . 323.4 Procesi pokretnih sredina kona£nog reda . . . . . . . . . . . . . . . . 443.5 Autoregresivni procesi pokretnih sredina . . . . . . . . . . . . . . . . 50

4 Ocenjivanje parametara 624.1 Metod momenata . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 624.2 Metod maksimalne verodostojnosti . . . . . . . . . . . . . . . . . . . 644.3 Metod najmanjih kvadrata . . . . . . . . . . . . . . . . . . . . . . . . 684.4 Empirijska funkcija verodostojnosti . . . . . . . . . . . . . . . . . . . 70

5 Izbor modela 74

Literatura 75

Biograja 77

Uvod 3

Glava 1

Uvod

Vremenski niz je, grubo re£eno, niz uzastopno izmerenih brojnih vrednosti nekeveli£ine. Ove podatke tretiramo kao deo realizacije nekog stohasti£kog procesa, kojionda predstavlja model datog vremenskog niza.

U drugoj glavi ¢emo se baviti pojmom vremenskog niza, kao i stohasti£kog pro-cesa. Takoe ¢e biti denisan pojam stacionarnosti procesa. Zatim ¢emo se bavitikarakteristikama stacionarnih procesa. Uve²¢emo pojmove autokovarijansne i auto-korelacione funkcije za ovakve procese.

Autoregresivni procesi pokretnih sredina (ARMA), kojima se predstavljaju sta-cionarni procesi bi¢e razmotreni u tre¢oj glavi. Nakon uvoenja autoregresivnogprocesa, kao i procesa pokretnih sredina beskona£nog reda, bi¢e re£i o vezi izmeuovih procesa. Nakon toga ¢emo analizirati procese kona£nog reda, specijalno prvogi drugog reda.

U £etvrtoj glavi ¢emo dati pregled osnovnih metoda ocenjivanja parametara kodmodela. Bi¢e re£i o metodu momenata, metodu maksimalne verodostojnosti, kaoi metodu najmanjih kvadrata. Na kraju ¢emo uvesti pojam empirijske funkcijeverodostojnosti.

U poslednjoj glavi je dat kratak pregled kriterijuma na osnovu kojih biramoodreeni model, koji treba da reprezentuje date podatke.

Zahvaljujem se mentoru, Prof. dr Biljani Popovi¢ na pomo¢i pri izradi masterrada.

Glava 2

Modeliranje vremenskih nizova

U ovoj glavi uvodimo pojam stohasti£kog procesa, koji je od su²tinskog zna£ajaza analizu vremenskih nizova i navodimo neke zna£ajne osobine procesa. Specijalno¢emo se zadrºati na stacionarnim procesima.

2.1 Vremenski niz i stohasti£ki proces

U prirodnim, a i dru²tvenim naukama, £esto smo u situaciji da posmatramo iregistrujemo vrednosti neke veli£ine zt u odreenim vremenskim trenucima t. Skupopservacija zove se vremenski niz. Sa T ¢emo ozna£iti skup svih trenutaka ukojima su izvr²ene opservacije. U zavisnosti od toga da li je T diskretan skup ili jeunija nekih intervala, kaºemo da je vremenski niz diskretan, odnosno neprekidan(kontinualan). Slede neki primeri vremenskih nizova.

Primer 1. Merenjem ja£ine elektri£ne struje I koja prolazi kroz otpornik otpornostiR, na koji je primenjen napon sinusnog oblika U(t) = a cos(νt+θ) dobi¢emo slede¢ivremenski niz

I(t) =1

Ra cos(νt+ θ).

Ako se merenje vr²i u diskretnim vremenskim trenucima 1, 2, 3, ..., dobi¢e sediskretan vremenski niz I1, I2, ..., koji je prikazan gra£ki na slici (2.1).

Slika 2.1: Ja£ina elektri£ne struje

4

Modeliranje vremenskih nizova 5

t zt t zt

1790 3 929 214 1890 62 979 766

1800 5 308 483 1900 76 212 168

1810 7 239 881 1910 92 228 406

1820 9 638 453 1920 106 021 537

1830 12 860 702 1930 123 202 624

1840 17 063 353 1940 132 164 569

1850 23 191 876 1950 151 325 798

1860 31 443 321 1960 179 323 175

1870 38 558 371 1970 203 302 031

1880 50 189 209 1980 226 545 805

Tabela 2.1: Broj stanovnika u S.A.D.

Slika 2.2: Broj stanovnika u S.A.D.

Primer 2. Broj stanovnika u S.A.D., (1790-1980) prikazan je tabelarno (2.1) igra£ki (2.2)

Primer 3. trajkovi u S.A.D., (1951-1980), prikazani su u tabeli (2.2), i dat jeodgovaraju¢i grak (2.3).

Prikupljeni podaci se analiziraju, zatim se bira model koji najbolje opisuje pri-kupljene podatke. Nakon odabira modela, mogu¢e je oceniti njegove parametre,izdvojiti ²um iz signala, predvideti budu¢e vrednosti niza, i jo² mnogo toga. Dabismo bili u mogu¢nosti da formiramo model koji ¢e opisati podatke, potreban namje matemati£ki aparat, koji ¢emo sada razviti.

Smatra¢emo da je svaka opservacija zt zapravo jedna realizacija slu£ajne promen-ljive Zt. U skladu sa tim, vremenski niz zt | t ∈ T ¢emo denisati kao realizacijustohasti£kog procesa Zt | t ∈ T. Uvedimo preciznu deniciju.

Denicija 1. Stohasti£ki proces je familija slu£ajnih promenljivih Zt | t ∈ T,denisanih na prostoru verovatno¢e (Ω,F , P ).


t zt t zt

1951 4737 1966 4405

1952 5117 1967 4595

1953 5091 1968 5045

1954 3468 1969 5700

1955 4320 1970 5716

1956 3825 1971 5138

1957 3673 1972 5010

1958 3694 1973 5353

1959 3708 1974 6074

1960 3333 1975 5031

1961 3367 1976 5648

1962 3614 1977 5506

1963 3362 1978 4230

1964 3655 1979 4827

1965 3963 1980 3885

Tabela 2.2: trajkovi u S.A.D.

Slika 2.3: trajkovi u S.A.D.


Uzimaju¢i u obzir deniciju slu£ajne promenljive, vidimo da je Zt funkcija naskupu Ω, pa stohasti£ki proces moºemo posmatrati kao familiju Z(ω, t) | ω ∈ Ω, t ∈T

Denicija 2. Za ksirano ω0 ∈ Ω niz Z(ω0, t) | t ∈ T predstavlja realizaciju (iliuzora£ku funkciju) stohasti£kog procesa Z(ω, t) | ω ∈ Ω, t ∈ T. Skup svih mogu¢ihrealizacija predstavlja ansambl stohasti£kog procesa.

Mi ¢emo nadalje pod pojmom stohasti£kog procesa podrazumevati i sam procesi njegovu realizaciju.

2.2 Stacionarnost procesa

Intuitivno, stacionarnost bi trebalo da ozna£ava odrºavanje neke veli£ine sa vre-menom. Kako su u pitanju slu£ajne promenljive, veli£ine koje imaju zna£aj sufunkcije raspodele. Zato se dolazi na ideju da se stacionarnost poveºe sa odrºanjemraspodele u vremenu. Jedan od na£ina je da se proces smatra stacionarnim ako seraspodela slu£ajne promenljive Zt odrºava, tj. ako Zt i Zt+k za proizvoljno k > 0imaju istu raspodelu. Ovakva denicija se moºe uop²titi tako ²to ¢emo umestoraspodele jednog £lana niza posmatrati raspodelu nekoliko uzastopnih £lanova. Uskladu sa tim uvodimo slede¢e denicije.

Denicija 3. Neka je τ skup svih vektora t = (t1, ..., tn)′ ∈ T n : t1 < t2 < ... <tn, n = 1, 2... Kona£no-dimenzionalne funkcije raspodele stohasti£kog procesaZt, t ∈ T su funkcije Ft(·), t ∈ τ denisane za t = (t1, t2, ..., tn)′ ∈ τ izrazom

Ft(x) = P (Zt1 ≤ x1, ..., Ztn ≤ xn), x = (x1, ...xn)′ ∈ Rn.

Denicija 4. Stohasti£ki proces je stacionaran prvog reda u raspodeli ako jejednodimenzionalna funkcija raspodele vremenski invarijantna, tj. ako je FZt(x) =FZt+k(x), za bilo koje cele brojeve t i k i svako x iz R. Uop²te, proces je stacionarann-tog reda u raspodeli, ako je Ft(x1, ..., xn) = Ft+k(x1, ..., xn) za bilo koje t =(t1, ..., tn)′ ∈ τ , (x1, x2, ..., xn)′ ∈ Rn, k ∈ Z, i t+ k = (t1 + k, ..., tn + k)′ ∈ τ . Procesje strogo stacionaran ako je stacionaran n-tog reda za bilo koji prirodan broj n.

Umesto pojma stroga stacionarnost, £esto se koriste i sinonimi jaka ili kom-pletna stacionarnost.

Razmatra¢emo one procese kod kojih vremenska promenljiva t uzima celobrojne,a slu£ajna promenljiva Zt realne vrednosti. Za takav proces denisa¢emo o£ekivanjei varijansu. Meutim, u op²tem slu£aju, ove veli£ine ne¢e biti konstante, ve¢ funkcijekoje zavise od vremena

µt = E(Zt), σ2t = V ar(Zt) = E(Zt − µt)2.

Kako su elementi vremenskog niza vrednosti neke veli£ine u odreenim vremen-skim trenucima, to je prirodno o£ekivati da ovi elementi budu zavisni. U skladu satim, uvodimo pojam kovarijanse i korelacije. Kovarijansa i korelacija izmeu Zt1 i


Zt2 su, redom

γZ(t1, t2) = E [(Zt1 − µt1)(Zt2 − µt2)] , ρZ(t1, t2) =γZ(t1, t2)√σ2t1

√σ2t2

.

Po²to ove veli£ine opisuju zavisnost elemenata istog niza, ovim pojmovima se £estododaje preks "auto", tj. koriste se nazivi autokovarijansa i autokorelacija.

Denicija 5. Stohasti£ki proces Zt | t ∈ Z je stacionaran ako1) E|Zt|2 <∞, za svako t ∈ Z,2) E(Zt) = m, za svako t ∈ Z,3) γZ(r, s) = γZ(r + t, s+ t) za sve r, s, t ∈ Z.

U literaturi se mogu na¢i i termini slaba stacionarnost, kovarijansna stacio-narnost ili stacionarnost u ²irem smislu. Uop²teno, proces je slabo stacionarann-tog reda ako svi momenti do n-tog reda (ra£unaju¢i i moment n-tog reda) po-stoje i vremenski su invarijantni. Vidimo da je stacionarnost iz Denicije 5 zapravoslaba stacionarnost drugog reda.

Postavlja se pitanje da li stroga stacionarnost povla£i slabu stacionarnost, kaoi obrnuto. Za slabu stacionarnost je neophodno da postoje odgovaraju¢i momenti,²to ne sledi nuºno iz stroge stacionarnosti, pa je odgovor na prvo pitanje negativan.Primer za strogo stacionaran proces, koji nema kona£ne momente je niz nezavisnih,jednako raspodeljenih Ko²ijevih promenljivih. Takoe, iz slabe stacionarnosti nesledi stroga stacionarnost. Meutim, uz dodatne uslove, to se moºe tvrditi. Naime,poznato je da je vi²edimenzionalna normalna raspodela okarakterisana svojim o£e-kivanjem i kovarijansnom matricom. To zna£i da je jednakost normalnih raspodelaekvivalentna jednakosti njihovih o£ekivanja i kovarijansnih matrica. Proces £ije susve kona£nodimenzionalne funkcije raspodele normalne je Gausov proces. O£iglednoje svaki stacionaran Gausov proces strogo stacionaran.

Primer 4. Posmatrajmo primer uzastopnog bacanja kocke, pri £emu se beleºe do-bijene vrednosti. Neka je t broj bacanja, a Zt odgovaraju¢a vrednost koja se dobijeu tom bacanju, uve¢ana dva puta. Vidimo da je Zt = Z(w, t), gde je t ∈ N ,a w je iz 1, 2, 3, 4, 5, 6 × 1, 2, 3, 4, 5, 6 × 1, 2, 3, 4, 5, 6 × .... Za konkretnow0 = (1, 4, 3, 2, ...) realizacija ¢e biti zt = (2, 8, 6, 4...). U ovom slu£aju ukupanbroj mogu¢ih realizacija u ansamblu je beskona£an. Po²to se radi o nizu IID slu-£ajnih promenljivih (independent and identically distributed - nezavsne i jednakoraspodeljene), proces je strogo stacionaran.

Primer 5. Neka je A slu£ajna promenljiva sa o£ekivanjem nula i jedini£nom disper-zijom, a B slu£ajna promenljiva sa uniformnom raspodelom na intervalu [−π, π],nezavisna od A. Neka je, dalje,

Zt = Asin(wt+B).


Za ovako denisan vremenski niz vaºi slede¢e

E(Zt) = E(A)E[sin(wt+B)] = 0

E(ZtZt+k) = EA2sin(wt+B)sin[w(t+ k) +B] =

= E(A2)E

1

2(cos(wk)− cos[w(2t+ k) + 2B])

=

=1

2cos(wk)− 1

2Ecos[w(2t+ k) + 2B] =

=1

2cos(wk)− 1

2

∫ π

−πcos[w(2t+ k) + 2b] · 1

2πdb =

=1

2cos(wk)− 1

8π[sin(w(2t+ k) + 2b)]

∣∣π−π =

=1

2cos(wk).

Po²to se iz dobijenih jedna£ina vidi da E(Zt) i E(ZtZt+k) zavise samo od vremenskerazlike k, proces je kovarijansno stacionaran.

Primer 6. Posmatrajmo niz Zt nezavisnih slu£ajnih promenljivih, koje naizme-ni£no imaju jednu od slede¢e dve raspodele: normalnuN(0, 1) ili diskretnu raspodelusa dva stanja, 1 i −1, koja se realizuju sa jednakim verovatno¢ama. Kako obe overaspodele imaju o£ekivanje nula i varijansu 1, to je E(Zt) = 0 i E(Z2

t ) = 1. Zbogpretpostavke da su Zt nezavisne, vaºi E(ZtZs) = 0 za t 6= s. Zato je

γZ(t, s) =

0, t 6= s

1, t = s

i

ρZ(t, s) =E(ZtZs)√

E(Z2t )√E(Z2

s )=

0, t 6= s

1, t = s.

Na osnovu ovih rezultata zaklju£ujemo da je proces kovarijansno stacionaran. Zbogtoga ²to se raspodela naizmeni£no menja, ovaj proces ne moºe biti strogo staciona-ran.

2.3 Stacionarni procesi

2.3.1 Autokovarijansna, autokorelaciona i parcijalna autoko-

relaciona funkcija

Moºe se primetiti da i slaba i stroga stacionarnost, ukoliko odgovaraju¢a o£eki-vanja postoje, obezbeuju stacionarnost autokovarijanse i autokorelacije, u smisluda γ(t1, t2) i ρ(t1, t2) zavise samo od vremenske razlike |t2 − t1|, a ne i od samihtrenutaka t1 i t2. Zbog toga ih moºemo posmatrati kao funkcije od te razlike, tj.


moºemo ih zapisati na slede¢i na£in

γk = Cov(Zt, Zt+k), ρk =γ(Zt, Zt+k)√

V ar(Zt)√V ar(Zt+k)

=γkγ0

, k ∈ Z,

gde je t proizvoljan trenutak iz T , a γ0 = Cov(Zt, Zt) = V ar(Zt) = V ar(Zt+k) zbogstacionarnosti. Zbog ovoga se nekad ozna£avaju i kao γ(k) i ρ(k).

Kao funkcija od k, γk se zove autokovarijansna funkcija, a ρk autokorelaci-ona funkcija (ACF). Neke osobine ovih funkcija date su slede¢om teoremom.

Teorema 1. Autokovarijansna i autororelaciona funkcija imaju slede¢e osobine

γ0 = V ar(Zt), ρ0 = 1,

|γk| ≤ γ0, |ρk| ≤ 1,

γk = γ−k, ρk = ρ−k, za svako k.

Dokaz. Prva osobina sledi direktno iz denicije ovih veli£ina, dok je druga posledicaKo²i -varcove nejednakosti:

|Cov(Zt+h, Zt)| ≤ [V ar(Zt+h)]1/2 [V ar(Zt)]

1/2 .

Tre¢a osobina sledi iz komutativnosti kovarijanse i stacionarnosti, tj. iz toga ²to je

γk = Cov(Zt, Zt+k) = Cov(Zt+k, Zt) = Cov(Zt, Zt−k) = γk.

Tre¢a osobina zapravo govori da su γk i ρk parne funkcije. Zbog toga se autoko-relaciona funkcija obi£no crta samo za nenegativne vrednosti koraka k. Ovaj grakse zove korelogram.

Denicija 6. Funkcija f sa realnim vrednostima denisana na skupu celih brojevaje nenegativno denitna ako je

n∑i=1

n∑j=1

Aif(i− j)Aj ≥ 0

za proizvoljan prirodan broj n i proizvoljan vektor A = (A1, ..., An)′, £ije komponenteimaju realne vrednosti.

Teorema 2. Funkcije γk i ρk su nenegativno denitne.

Dokaz. Neka je Zt vremenski niz koji posmatramo i neka je X =∑n

i=1AiZi.Varijansa je uvek nenegativna, pa imamo

0 ≤ V ar(X) =n∑i=1

n∑j=1

AiAjCov(Zi, Zj) =n∑i=1

n∑j=1

AiAjγ|i−j|.

Izraz za ρk se dobija tako ²to se odgovaraju¢i izraz za γk podeli sa γ0.


Slika 2.4: Na ovoj slici prikazan je jedan od mogu¢ih oblika autokorelacione funkcije.

Nenegativna denitnost je jedna od klju£nih osobina autokovarijansne funkcije.Ovo ¢emo preciznije formulisati jednom teoremom, pre koje navodimo teoremu Kol-mogorova, koju ¢emo koristiti u dokazu.

Teorema 3 (Kolmogorov). Funkcije raspodele Ft, t ∈ τ su funkcije raspodelenekog stohasti£kog procesa ako i samo ako za svako n ∈ 1, 2, ...,t = (t1, ..., tn)′ ∈ τi 1 ≤ i ≤ n vaºi

limxi→∞

Ft(x) = Ft(i)(x(i)), (2.1)

gde smo sa x(i) i t(i)ozna£ili (n−1)-dimenzionalne vektore koji se dobijaju brisanjemi-te komponente vektora x i t.

Ako je φt(·) karakteristi£na funkcija koja odgovara Ft(·), onda se uslov (2.1)moºe zapisati u ekvivalentnom obliku

limui→0

φt(u) = φt(i)(u(i)), (2.2)

gde se opet u(i) dobija brisanjem i-te komponente vektora u.

Uslov (2.1) zapravo zahteva konzistentnost funkcije Ft(·), u tom smislu da semarginalna raspodela poklapa sa odgovaraju¢om funkcijom manje dimenzije.

Teorema 4. Funkcija koja slika skup celih u skup realnih brojeva je autokovarijansnafunkcija nekog stacionarnog niza ako i samo ako je parna i nenegativno denitna.

Dokaz. Jedan smer ove teoreme je ve¢ dokazan u Teoremi 2, pa je potrebno dokazatisamo onaj drugi. Neka je γ : Z→ R parna nenegativno denitna funkcija. Za svakipozitivan ceo broj n i svaki vektor t = (t1, ..., tn)′ ∈ Zn, za koji je t1 < t2 < ... < tndeni²iimo karakteristi£nu funkciju φt(·) izrazom

φt(u) = e−u′Γu,

gde je u = (u1, ..., un)′ ∈ Rn i Γ = [γ(ti − tj)]ni,j=1. Po²to je γ nenegativno denitnafunkcija, to je matrica Γ takoe nenegativno denitna, pa je φt(·) karakteristi£na


funkcija n-dimenzionalne normalne raspodele sa o£ekivanjem nula i kovarijansnommatricom Γ. Kako je zadovoljen uslov (2.2), to se moºe primeniti teorema Kol-mogorova, pa postoji stohasti£ki proces Zt sa karakteristi£nom funkcijom φt(·).Zajedni£ka raspodela za Zi i Zj je dvodimenzionalna normalna sa o£ekivanjem nulai kovarijansnom matricom [

γ(0) γ(i-j)

γ(i-j) γ(0)

],

odakle se vidi da je Cov(Zi, Zj) = γ(i− j).

to se ti£e autokorelacione funkcije ρ(k), ona ima iste osobine kao autokovari-jansna funkcija, i jo² jednu dodatnu ρ(0) = 1.

Teorema 5. Potreban i dovoljan uslov da funkcija ρ(k) bude autokorelaciona funk-cija je da bude autokovarijansna funkcija i da vaºi ρ(0) = 1.

Posmatrajmo stacionarni proces Zt, pretpostavljaju¢i, bez gubitka op²tosti, daje E(Zt) = 0. Ovo moºemo pretpostaviti, jer bismo u suprotnom posmatrali procesZt − E(Zt). Neka je Zt+k najbolja linearna ocena za Zt+k u srednjekvadratnomsmislu, data izrazom

Zt+k = α1Zt+k−1 + α2Zt+k−2 + ...+ αk−1Zt+1, α1, α2, ...αk−1 ∈ R.

Koecijenti α1, ..., αk−1 se odreuju tako da Zt+k najmanje odstupa od Zt+k u sred-njekvadratnom smislu, tj. tako da izraz

E(Zt+k − Zt+k)2 = E(Zt+k − α1Zt+k−1 − ...− αk−1Zt+1)2

bude minimalan. Tretiraju¢i koecijente α1, ...αk−1 kao promenljive, i izjedna£ava-ju¢i parcijalne izvode poslednjeg izraza po αi sa nulom, dobij se sistem jedna£ina

γi = α1γi−1 + α2γi−2 + ...+ αk−1γi−k+1, 1 ≤ i ≤ k − 1. (2.3)

Deljenjem jedna£ine sa γ0 dobijamo

ρi = α1ρi−1 + α2ρi−2 + ...+ αk−1ρi−k+1, 1 ≤ i ≤ k − 1. (2.4)

Ovaj sistem moºemo zapisati i u matri£nom oblikuρ1

ρ2

...

ρk−1

=

1 ρ1 ρ2 ... ρk−2

ρ1 1 ρ1 ... ρk−3

......

......

ρk−2 ρk−3 ρk−4 ... 1

α1

α2

...

αk−1

,

pri £emu smo koristili simetri£nost autokorelacione funkcije (ρ−k = ρk), kao i to daje ρ0 = 1.

Sli£no je

Zt = β1Zt+1 + β2Zt+2 + ...+ βk−1Zt+k−1, β1, β2, ..., βk−1 ∈ R,


gde su βi, 1 ≤ i ≤ k − 1, koecijenti dobijeni minimiziranjem

E(Zt − Zt)2 = E(Zt − β1Zt+1 − ...− βk−1Zt+k−1)2.

Dakle, ρ1

ρ2

...

ρk−1

=

1 ρ1 ρ2 ... ρk−2

ρ1 1 ρ1 ... ρk−3

......

......

ρk−2 ρk−3 ρk−4 ... 1

β1

β2

...

βk−1

. (2.5)

Kako su sistemi za odreivanje koecijenata αi i βi, identi£ni, to je αi = βi, 1 ≤ i ≤k − 1. Dakle, vaºi

Zt = α1Zt+1 + α2Zt+2 + ...+ αk−1Zt+k−1, (2.6)

Zt+k = αk−1Zt+1 + αk−2Zt+2 + ...+ α1Zt+k−1. (2.7)

Parcijalna autokorelacija izmeu Zt i Zt+k denisana je kao obi£na korelacijaizmeu Zt − Zt i Zt+k − Zt+k, tj. data je slede¢im izrazom

Pk =Cov(Zt − Zt, Zt+k − Zt+k)√

V ar(Zt − Zt)√V ar(Zt+k − Zt+k)

.

Zbog pretpostavke E(Zt) = 0 je γk = Cov(Zt, Zt+k) = E(ZtZt+k), pa je

V ar(Zt+k − Zt+k) = E(Zt+k − α1Zt+k−1 − ...− αk−1Zt+1)2

= E[Zt+k(Zt+k − α1Zt+k−1 − ...αk−1Zt+1)]

−α1E[Zt+k−1(Zt+k − α1Zt+k−1 − ...αk−1Zt+1)]

−...− αk−1E[Zt+1(Zt+k − α1Zt+k−1 − ...− αk−1Zt+1)]

= E[Zt+k(Zt+k − α1Zt+k − ...− αk−1Zt+1)]

−α1(γ1 − α1γ−1 − ...− αk−1γ2−k)

−...− αk−1(γk−1 − α1γk−2 − ...− αk−1γ0)

= E[Zt+k(Zt+k − α1Zt+k − ...− αk−1Zt+1)],

po²to su ostali £lanovi jednaki nuli zbog jedna£ina (2.4). Dakle,

V ar(Zt+k − Zt+k) = V ar(Zt − Zt) = γ0 − α1γ1 − ...− αk−1γk−1.

Dalje, koriste¢i jedna£ine (2.6) i (2.7), imamo

Cov(Zt − Zt, Zt+k − Zt+k)= E[(Zt − α1Zt+1 − ...− αk−1Zt+k−1)(Zt+k − α1Zt+k−1 − ...− αk−1Zt+1)]

= E[(Zt − α1Zt+1 − ...− αk−1Zt+k−1)Zt+k].


Odatle sledi da je

Pk =γk − α1γk−1 − ...− αk−1γ1

γ0 − α1γ1 − ...− αk−1γk−1

=ρk − α1ρk−1 − ...− αk−1ρ1

ρ0 − α1ρ1 − ...− αk−1ρk−1

. (2.8)

Re²avanje sistema (2.5) po αi (odnosno βi) Kramerovim pravilom daje

αi =

∣∣∣∣∣∣∣∣∣∣∣

1 ρ1 ... ρi−2 ρ1 ρi ... ρk−2

ρ1 1 ... ρi−3 ρ2 ρi−1 ... ρk−3

......

......

......

ρk−2 ρk−3 ... ρk−i ρk−1 ρk−i−2 ... 1

∣∣∣∣∣∣∣∣∣∣∣∣∣∣∣∣∣∣∣∣∣∣

1 ρ1 ... ρi−2 ρi−1 ρi ... ρk−2

ρ1 1 ... ρi−3 ρi−2 ρi−1 ... ρk−3

......

......

......

ρk−2 ρk−3 ... ρk−i−i ρk−1 ρk−i−2 ... 1

∣∣∣∣∣∣∣∣∣∣∣

. (2.9)

Determinanta u brojiocu se dobija tako ²to se u determinanti imenioca i-ta kolonazameni sa (ρ1, ρ2, ..., ρk−1). Ako sada αi izraºeno preko (2.9) zamenimo u (2.8), ipomnoºimo i brojilac i imenilac determinantom∣∣∣∣∣∣∣∣∣∣∣

1 ρ1 ... ρk−2

ρ1 1 ... ρk−3

......

...

ρk−2 ρk−3 ... 1

∣∣∣∣∣∣∣∣∣∣∣,

dobija se

Pk =

∣∣∣∣∣∣∣∣∣∣∣

1 ρ1 ρ2 ... ρk−2 ρ1

ρ1 1 ρ1 ... ρk−3 ρ2

......

......

...

ρk−1 ρk−2 ρk−3 ... ρ1 ρk

∣∣∣∣∣∣∣∣∣∣∣∣∣∣∣∣∣∣∣∣∣∣

1 ρ1 ρ2 ... ρk−2 ρk−1

ρ1 1 ρ1 ... ρk−3 ρk−2

......

......

...

ρk−1 ρk−2 ρk−3 ... ρ1 1

∣∣∣∣∣∣∣∣∣∣∣

. (2.10)

Do izraza za parcijalnu autokorelacionu funkciju se moºe do¢i i na duga£iji na£in.Posmatrajmo regresioni model u slede¢em obliku

Zt+k = φk1Zt+k−1 + φk2Zt+k−2 + ...+ φkkZt + Et+k, (2.11)


gde Et+k predstavlja gre²ku sa o£ekivanjem jednakim nuli i nekorelisan je sa Zt+k−j,za j = 1, 2, ..., k. Mnoºenjem sa Zt+k−j obe strane gornje regresione jedna£ine, azatim posmatranjem o£ekivanja tako dobijene jedna£ine, moº se izraziti γj kao

γj = φk1γj−1 + φk2γj−2 + ...+ φkkγj−k,

a deljenjem poslednje jedna£ine sa γ0 dobija se

ρj = φk1ρj−1 + φk2ρj−2 + ...+ φkkρj−k.

Za j = 1, 2, ..., k imamo sistem jedna£ina

ρ1 = φk1ρ0 + φk2ρ1 + ...+ φkkρk−1

ρ2 = φk1ρ1 + φk0ρ0 + ...+ φkkρk−2

...ρk = φk1ρk−1 + φk2ρk−2 + ...+ φkkρ0.

Re²avanje ovog sistema Kramerovim pravilom za k = 1, 2, ... daje

φ11 = ρ1, φ22 =

∣∣∣∣∣ 1 ρ1

ρ1 ρ2

∣∣∣∣∣∣∣∣∣∣ 1 ρ1

ρ1 1

∣∣∣∣∣, φ33 =

∣∣∣∣∣∣∣∣1 ρ1 ρ1

ρ1 1 ρ2

ρ2 ρ1 ρ3

∣∣∣∣∣∣∣∣∣∣∣∣∣∣∣∣1 ρ1 ρ2

ρ1 1 ρ1

ρ2 ρ1 1

∣∣∣∣∣∣∣∣,

φkk =

∣∣∣∣∣∣∣∣∣∣∣

1 ρ1 ρ2 ... ρk−2 ρ1

ρ1 1 ρ1 ... ρk−3 ρ2

......

......

...

ρk−1 ρk−2 ρk−3 ... ρ1 ρk

∣∣∣∣∣∣∣∣∣∣∣∣∣∣∣∣∣∣∣∣∣∣

1 ρ1 ρ2 ... ρk−2 ρk−1

ρ1 1 ρ1 ... ρk−3 ρk−2

......

......

...

ρk−1 ρk−2 ρk−3 ... ρ1 1

∣∣∣∣∣∣∣∣∣∣∣

. (2.12)

Ako uporedimo jedna£ine (2.12) i (2.10), moºemo zaklju£iti da je φkk = Pk,pa parcijalnu autokrelaciju izmeu Zt i Zt+k moºemo izra£unati i kao regresionikoecijent uz Zt u izrazu (2.11). Nadalje ¢emo za parcijalnu autokorelaciju koristitioznaku φkk, kao ²to je uobi£ajeno u literaturi. Ako je posmatramo kao funkcijuod k, zva¢emo je parcijalna autokorelaciona funkcija (PACF), po analogiji saautokovarijansnom i autokorelacionom funkcijom.


2.3.2 Ocene veli£ina karakteristi£nih za stacionarne procese

Veli£ine koje karakteri²u stacionarni vremenski niz su o£ekivanje µ, disperzijaσ2 i parcijalna autokorelacija φkk. Ta£ne vrednosti ovih parametara mogu se izra-£unati ako je poznat skup svih mogu¢ih realizacija. Ako, pak, ovo nije slu£aj, aliimamo vi²e nezavisnih realizacija, ove veli£ine se mogu oceniti. Meutim, u praksise obi£no sre¢emo sa samo jednom realizacijom, pa ni ovo nije mogu¢e. Za stacio-narne procese postoji alternativa usrednjavanja po vremenu umesto po ansamblu.Ova mogu¢nost se obi£no ozna£ava kao ergodi£nost. U slede¢oj diskusiji istraºi¢emouslove pod kojima je mogu¢e dobro oceniti srednju vrednost i autokovarijansu, aonda i autokorelaciju, usrednjavanjem po vremenu.

Uzora£ka sredinaU slu£aju kada imamo samo jednu realizaciju, najprirodniji na£in za ocenjivanje

srednje vrednosti µ = E(Zt) je uzora£ka sredina

Z =1

n

n∑t=1

Zt,

tj. srednja vrednost po vremenu za n opservacija. Vaºi

E(Z) =1

n

n∑t=1

E(Zt) =1

nnµ = µ,

pa je Zn nepristrasna ocena za µ. Sada imamo

V ar(Zn) = E(Z2

n)− µ2 = E

(1

n2

n∑t=1

n∑s=1

ZtZs

)− µ2 (2.13)

=1

n2

(n∑t=1

n∑s=1

E(ZtZs)− n2µ2

)=

1

n2

n∑t=1

n∑s=1

(E(ZtZs)− µ2)

=1

n2

n∑t=1

n∑s=1

Cov(Zt, Zs) =γ0

n2

n∑t=1

n∑s=1

ρt−s

=γ0

n2

n∑t=1

t−1∑k=t−n

ρk =γ0

n2

(0∑

k=1−n

n+k∑t=1

ρk +n−1∑k=1

n∑t=k+1

ρk

)(2.14)

=γ0

n2

(0∑

k=1−n

(n+ k)ρk +n−1∑k=1

(n− k)ρk

)

=γ0

n2

(0∑

k=1−n

(n− |k|)ρk +n−1∑k=1

(n− |k|)ρk

)

=γ0

n2

n−1∑k=−(n−1)

(n− |k|)ρk =γ0

n

n−1∑k=−(n−1)

(1− |k|

n

)ρk,

pri £emu smo koristili smenu k = t− s, a zatim promenili redosled sumiranja po t i


po k. Ako je

limn→∞

n−1∑k=−(n−1)

(1− |k|

n

)ρk

kona£an, tada je V ar(Zn) → 0. Po²to je Zn nepristrasna ocena za µ, to zna£i davaºi

E(Zn − µ)2 = E(Z2

n)− 2µE(Zn) + µ2 = E(Z2

n)− µ2 = V ar(Zn),

pa iz V ar(Zn)→ 0, n→∞ sledi da je E(Zn − µ)2 → 0, n→∞, tj.

limn→∞

1

n

n∑t=1

Zt = µ (2.15)

u srednjekvadratnom smislu. Za proces kaºemo da je ergodi£an po o£ekivanju akoje ovo ispunjeno. Pokaºimo da je dovoljan uslov da ovo bude ispunjeno to da ρk → 0kada k → ∞. Iz ovog uslova sledi da za prozvoljno ε > 0 moºemo izabrati N takoda bude |ρk| < ε

4za sve k > N . Dakle, za n > N + 1 imamo∣∣∣∣∣∣ 1nn−1∑

k=−(n−1)

ρk

∣∣∣∣∣∣ ≤ 2

n

n−1∑k=0

|ρk| =2

n

N∑k=0

|ρk|+2

n

n−1∑k=N+1

|ρk|

≤ 2

n

N∑k=0

|ρk|+2

n(n−N − 2)

ε

4

≤ 2

n

N∑k=0

|ρk|+ 2ε

4≤ 2

n

N∑k=0

|ρk|+1

2ε

Ako sada n odabereno dovoljno veliko da prvi £lan u pretposlednjoj nejednakostibude manji od ε

2, vaºi¢e ∣∣∣∣∣∣ 1n

n−1∑k=−(n−1)

ρk

∣∣∣∣∣∣ ≤ ε.

Dakle, ako ρk → 0 kada k →∞, imamo

limn→∞

1

n

n−1∑k=−(n−1)

ρk = 0,

²to implicira da u jedna£ini (2.14)

limn→∞

V ar(Zn) = 0. (2.16)

Ovaj rezultat moºemo interpretirati na slede¢i na£in. Ako su Zt i Zt+k na dovoljnovelikoj udaljenosti (tj. za dovoljno veliko k), oni su nekorelisani.


Uzora£ka autokovarijansna funkcijaNa sli£an na£in kao malopre, koriste¢i samo jednu realizaciju, formira¢emo sle-

de¢e ocene koriste¢i usrednjavanje po vremenu, kako bismo ocenili autokovarijansnufunkciju γk. Te ocene su date izrazima

γk =1

n

n−k∑t=1

(Zt − Zn)(Zt+k − Zn)

i

γk =1

n− k

n−k∑t=1

(Zt − Zn)(Zt+k − Zn).

Posmatrajmo sumu koja se javlja kod ovih ocena

n−k∑t=1

(Zy − Zn)(Zt+k − Zn) =n−k∑t=1

[(Zt − µ)− (Zn − µ)

] [(Zt+k − µ)− (Zn − µ)

]=

n−k∑t=1

(Zt − µ)(Zt+k − µ)− (Zn − µ)n−k∑t=1

(Zt − µ)

−(Zn − µ)n−k∑t=1

(Zt+k − µ) + (n− k)(Zn − µ)2.

Kako smo pokazali da je uzora£ka sredina dobra ocena za o£ekivanje, to sumu∑n−kt=1 Zt moºemo aproksimirati sa (n− k)Zn. Na isti na£in se moºe aproksimirati i∑n−kt=1 Zt+k. Ako ove aproksimacije uvrstimo u prethodnu jedna£inu dobijamo

E

(n−k∑t=1

(Zt − Zn)(Zt+k − Zn)

)≈ E

(n−k∑t=1

(Zt − µ)(Zt+k − µ)− (n− k)(Zn − µ)2

)

=n−k∑t=1

E [(Zt − µ)(Zt+k − µ)]− (n− k)E[(Zn − µ)2

]=

n−k∑t=1

[E(ZtZt+k)− µE(Zt)− µE(Zt+k) + µ2

]+ (n− k)

[E(Z

2

n)− 2µE(Zn) + µ2]

=n−k∑t=1

[E(ZtZt+k)− µ2

]+ (n− k)

[E(Z

2

n)− µ2]

=n−k∑t=1

γk − (n− k)V ar(Zn)

= (n− k)(γk − V ar(Zn)

).


Sada imamoE(γk) ' γk −

k

nγk +

n− kn

V ar(Zn)

iE(γk) ' γk + V ar(Zn).

O£igledno je da su obe gornje ocene pristrasne. Pokazali smo da je E([Zn − µ]2) =V ar(Zn) (2.13), pa V ar(Zn) u prethodnim jedna£inama poti£e od gre²ke nastaleaproksimacijom Zt uzora£kom sredinom. Ako ignori²emo ovaj £lan, vidimo da ¢eγk postati nepristrasna, dok γk ne¢e. U tom smislu moºemo re¢i da je γk vi²epristrasna nego γk. Ovo je jo² vi²e izraºeno za velike vrednosti razlomka k

n, tj. kada

je k veliko u odnosu na n. Ako ρk → 0 kada n→∞, tada i γk = ρkγ0 → 0, n→∞. Takoe vaºi V ar(Zn) → 0, n → ∞, pa su i γk i γk nepristrasne ocene.Po²to su γk i γk pristrasne, to se moºe do¢i na ideju da je bolje uporeivati njihovesrednjekvadratne gre²ke. Moºe se pokazati da za odreene tipove procesa γk imamanju srednjekvadratnu gre²ku nego γk. Po²to je γk nenegativno denitna funkcija,bilo bi dobro da i ocena ima istu osobinu. Pokaºimo sada da je γk nenegativnodenitna.

Nenegativna denitnost γk ekvivalentna je nenegativnoj denitnosti matrice

Γk =

γ0 γ1 · · · γk−1

γ1 γ0 · · · γk−2

...

γk−1 γk−2 · · · γ0

.

Neka je k ≥ n. Formirajmo matricu M na slede¢i na£in

M =

0 0 0 · · · 0 Y1 · · · Yk−1 Yk

0 0 0 · · · Y1 Y2 · · · Yk 0...

0 Y1 Y2 · · · Yk−1 Yk · · · 0 0

,

gde je Yi = Zi−Zn za i = 1, 2, ..., n, i Yi = 0 za i = n+1, ..., n+k. Moºe se pokazatida je

Γk =1

nMM ′.

Tada za svaki realan vektor a dimenzije k vaºi

a′Γka =1

n(a′M) (M ′a) ≥ 0.

Dakle, Γk je nenegativno denitna za k ≥ n. Tim pre ovo vaºi i za k = n. Naosnovu poznatog tvrenja iz linearne algebre, da je glavna podmatrica nenegativnodenitne matrice takoe nenegativno denitna, zaklju£ujemo da je Γk nenegativnodenitna i za svako k < n.


Sa druge strane, γk ne mora biti nenegativno denitna, pa ¢emo zbog svega ovogakoristiti γk kao uzora£ku autokovarijansnu funkciju za ocenjivanje funkcije γk.

Za slu£aj kada je proces Zt Gausov, Bartlet (Bartlett) je pokazao da aproksi-mativno vaºi

Cov(γk, γk+j) '1

n

∞∑i=−∞

(γiγj + γi+k+jγi−k)

i

V ar(γk) '1

n

∞∑i=−∞

(γ2i + γi+kγi−k).

Sli£no je

Cov(γk, γk+j) '1

n− k

∞∑i=−∞

(γiγi+j + γi+k+jγi−k),

i

V ar(γk) '1

n− k

∞∑i=−∞

(γ2i + γi+kγi−k).

Uzora£ka autokorelaciona funkcijaUzora£ka ACF vremenskog niza na osnovu uzorka Z1, Z2, ..., Zn je denisana kao

ρk =γkγ0

=

∑n−kt=1 (Zt − Zn)(Zt+k − Zn)∑n

t=1(Zt − Zn)2, k = 0, 1, 2, ...

gde je Zn = 1n

∑nt=1 Zt, uzora£ka sredina vremenskog niza.

Za stacionarni Gausov proces, Bartlet je pokazao da za k > 0 i k + j > 0 vaºi

Cov(ρk, ρk+j) '1

n

∞∑i=−∞

(ρiρi+j + ρi+k+jρi−k − 2ρkρiρi−k−j

−2ρk+jρiρi−k + 2ρkρk+jρ2i ).

Za veliko n, ρk ima aproksimativno normalnu raspodelu sa o£ekivanjem ρk i disper-zijom

V ar(ρk) '1

n

∞∑i=−∞

(ρ2i + ρi+kρi−k − 4ρkρiρi−k + ρ2

kρ2i ).

Za proces u kojem je ρk = 0 za k > m, Bartletova aproksimacija prethodnejedna£ine postaje

V ar(ρk) '1

n(1 + 2ρ2

1 + 2ρ22 + ...+ 2ρ2

m).

U praksi su ρi, i = 1, 2, ...,m, nepoznate i zamenjuju se njihovim uzora£kim ocenama


ρi. Imaju slede¢u standardnu gre²ku za ρk

Sρk =

√1

n(1 + 2ρ2

1 + ...+ ρ2m).

Za testiranje procesa belog ²uma koristimo

Sρk =

√1

n.

Primer 7. Radi ilustracije izra£unavanja uzora£ke ACF, posmatrajmo slede¢ih de-set vrednosti jednog vremenskog niza:

t 1 2 3 4 5 6 7 8 9 10

zt 13 8 15 4 4 12 11 7 14 12

Uzora£ka sredina je Z = 10. Ocene korelacija su

ρ1 = −0, 188, ρ2 = −0, 201, ρ3 = 0, 188.

Primetimo da je

ρk =

∑n−kt=1 (Zt − Z)(Zt+k − Z)∑n

t=1(Zt − Z)2=

=

∑nt=k+1(Zt − Z)(Zt−k − Z)∑n

t=1(Zt − Z)2= ρ−k,

tj. uzora£ka ACF je simetri£na u odnosu na korak k = 0, ba² kao i ρk.

Uzora£ka parcijalna autokorelaciona funkcijaUzora£ka PACF φkk se dobija tako ²to se u jedna£ini (2.12) ρi zameni sa ρi, za

svako i = 1, 2, ..., k. Kako bi se izbeglo komplikovano ra£unanje determinanti zaveliko k, koristi se rekurzivni metod koji je dao Durbin. Ovaj metod po£inje sastartnom vredno²¢u φ11 = ρ1 i koristi rekurzivnu formulu

φk+1,k+1 =ρk+1 −

∑kj=1 φkj ρk+1−j

1−∑k

j=1 φkj ρj

iφk+1,j = φkj − φk+1,k+1φk,k+1−j, j = 1, ..., k.

Metod se takoe moºe koristiti za teoretsku PACF.Kvenovil (Quenouille) je pokazao da se za proces belog ²uma disperzija ocena

φkk moºe aproksimirati na slede¢i na£in

V ar(φkk) '1

n.

Kao kriti£nu vrednost za φkk za testiranje hipoteze da li je neki proces beli ²um


moºemo uzeti vrednost ± 2√n, tj. kriti£na oblast je (− 2√

n, 2√

n).

Primer 8. Kori²¢enjem podataka iz Primera 7, imamo

φ11 = ρ1 = −0, 188, φ22 =ρ2 − ρ2

1

1− ρ21

= −0, 245,

φ21 = φ11 − φ22 · φ11 = −0, 234, φ33 =ρ3 − φ21ρ2 − φ22ρ1

1− φ21ρ1 − φ22ρ2

= 0, 097.

Ostali φkk, za k > 3, mogu se izra£unati na sli£an na£in.

Glava 3

Autoregresivni procesi pokretnih

sredina

Ova glava posve¢ena je autoregresivnim procesima pokretnih sredina, koji sunajzna£ajniji u modeliranju vremenskih nizova stacionarnim procesima. Prvo ¢emose upoznati sa autoregresivnim procesom i procesom pokretnih sredina. Zatim ¢emosvaki od ova dva tipa procesa zasebno izu£avati. Na kraju ¢emo posmatrati njihovukombinaciju u vidu autoregresivnog procesa pokretnih sredina.

3.1 Denisanje autoregresivnih procesa i procesa po-

kretnih sredina i njihove osnovne karakteristike

Jedan od najjednostavnijih tipova procesa je onaj proces Zt kod kojeg suslu£ajne promenljive Zt nezavisne i jednako raspodeljene, sa o£ekivanjem nula ivarijansom σ2. Ovakav proces ozna£avamo na slede¢i na£in

Zt ∼ IID(0, σ2).

Kod denisanja stacionarnosti (slabe) posmatrali smo momente najvi²e drugog reda,i zahtevali da oni imaju iste osobine kao kod strogo stacionarnih procesa. Sada¢emo uraditi ne²to sli£no. Naime, razmatra¢emo one procese koji su identi£ni IIDprocesu, ali samo posmatraju¢i karakteristike drugog reda (sve one veli£ine koje semogu dobiti samo pomo¢u momenata prvog i drugog reda), tj. one procese kojiimaju o£ekivanje nula i autokovarijansnu funkciju u obliku

γk =

σ2, ako je k = 0,

0, ako je k 6= 0.

Ovakvi procesi se zovu beli ²um i ozna£avaju sa

Zt ∼WN(0, σ2).

23

Autoregresivni procesi pokretnih sredina 24

Slika 3.1: ACF i PACF procesa belog ²uma

Lako se pokazuje da je autokorelaciona funkcija

ρk =

1 ako je k = 0,

0 ako je k 6= 0,

dok je parcijalna autokorelaciona funkcija oblika

φkk =

1, ako je k = 0,

0, ako je k 6= 0.

Ove funkcije su prikazane na slici (3.1).Po²to je ρ0 = φ00 = 1 za svaki proces, pod autokorelacijom i parcijalnom au-

tokorelacijom se obi£no podrazumevaju ρk i φkk za k 6= 0. U tom smislu moºemore¢i da je osnovna osobina procesa belog ²uma to da su njegove ACF i PACF iden-ti£ki jednake nuli. IID proces je strogo stacionaran, dok je proces belog ²uma slabostacionaran.

Jedan od najlak²ih na£ina da konstrui²emo stacionaran proces je da ga deni²emokao funkciju elemenata procesa belog ²uma. Ako bismo ºeleli strogo stacionaranproces, tada bismo proces belog ²uma zamenili IID procesom. Dakle, neka je

Zt = f(At, At−1, ...., At−q).

Ako je At IID proces, za ovako denisan vremenski niz Zt kaºemo da je q-zavisan, a pod tim mislimo da su Zs i Zt nezavisne za |t − s| > q. Sli£no kaºemoda je vremenski niz Zt q-koreliran ako je γk = 0 za |k| > q. Ako funkcija f imaoblik linearne kombinacije elemenata procesa belog ²uma dobi¢emo slede¢i proces

Zt = µ+ At + ψ1At−1 + ψ2At−2 + ...ψqAt−q,

gde je At beli ²um. Posmatrajmo topologiju indukovanu normom ‖X‖ = E(X2).


Sada u prethodnoj jedna£ini moºemo zameniti kona£nu sumu redom, tj. limesomdelimi£nih suma u pomenutoj topologiji. Dakle, neka je

Zt = µ+ At + ψ1At−1 + ψ2At−2 + ... = µ+∞∑j=0

ψjAt−j, (3.1)

gde je ψ0 = 1, a At proces belog ²uma sa o£ekivanjem nula i varijansom σ2A i vaºi∑∞

j=0 ψ2j < ∞. Poslednji uslov nam je potreban da bi red u (3.1) konvergirao u

srednjekvadratnom smislu. Kako je∣∣∣∣∣∣∣∣∣∣

m∑j=n+1

ψjAt−j

∣∣∣∣∣∣∣∣∣∣ = E

(m∑

j=n+1

ψjAt−j

)2

= σ2A

m∑j=n−1

ψ2j

i red∑∞

j=0 ψ2j je konvergentan, to se moºe odabrati N tako da suma

∑mj=n+1 ψ

2j bude

manja od unapred zadatog ε > 0, za m,n > N . Odatle sledi da delimi£ne sume

obrazuju Ko²ijev niz, pa red u (3.1) konvergira. Kako je∑n

j=1 ψ2j ≤

(∑nj=1 |ψj|

)2

,

za konvergenciju reda u (3.1) je dovoljno pretpostaviti da je∑n

j=1 |ψj| <∞.Ovakav proces zove se proces pokretnih sredina ili MA proces (Moving Ave-

rage). Nekad se ozna£ava i sa MA(∞), tj. kao proces pokretene sredine besko-na£nog reda. Naziv poti£e odatle ²to je Zt izraºeno kao teºinska sredina elemenataAt, At−1, At−2, ..., koji su slu£ajne promenljive.

Svaki stacionaran proces moºe se predstaviti kao zbir deterministi£ke i nedeter-ministi£ke komponente, pri £emu nedeterminist£ka komponenta ima isti oblik kaoMA(∞) proces. Ovo tvrenje predstavlja Voldovu (Wold) teoremu, a takvo predsta-vljanje stacionarnog procesa se ozna£ava kao Voldova dekompozicija. Kao posledicudobijamo to da se svaki £isto nedeterministi£ki proces (onaj £ija je deterministi£kakomponenta jednaka nuli) moºe izraziti u obliku procesa pokretnih sredina. Ponekadse za ovakav prosec koristi i naziv linearni proces, po²to je on rezultat delovanjalinearnog ltera na proces belog ²uma.

Uvode¢i operator pomeranja unazad BjXt = Xt−j moºemo zapisati (3.1) u sa-ºetijem obliku

Zt = Ψ(B)At,

gde je Zt = Zt − µ, aΨ(s) polinom dat sa Ψ(s) =∑∞

j=0 ψjsj.

Teorema 6. MA proces Zt ima slede¢e osobine

E(Zt) = µ,

E(AtZt−k) =

σ2A, k = 0,

0, k > 0,(3.2)

V ar(Zt) = σ2A

∞∑j=0

ψ2j ,


γk = σ2A

∞∑i=0

ψiψi+k,

ρk =

∑∞i=0 ψiψi+k∑∞i=0 ψ

2i

.

Dokaz. Po²to je At proces belog ²uma sa o£ekivanjem nula, vaºi E(At) = 0,V ar(At) = σ2

A i Cov(Ai, Aj) = 0 za i 6= j.Prvo ¢emo izra£unati o£ekivanje slu£ajne promenljive Zt. Imamo da je

E(Zt) = E(µ) +∞∑j=0

ψjE(At−j) = µ.

Pokaºimo sada drugu relaciju

E(AtZt−k) = E(µAt +∞∑j=0

ψjAt−k−jAt)

= µE(At) +∞∑j=0

ψjE(At−k−jAt).

Prvi sabirak je jednak nuli. Ako je k > 0, tada je t − k − j < t za svako j ≥ 0,pa je i drugi sabirak nula. Za k = 0, jedini £lan razli£it od nule je za j = 0, pa seprethodni izraz svodi na ψ0E(A2

t ) = σ2A. Tako dobijamo da je

E(Z2t ) = E

(µ2 +

∞∑j=0

ψ2jA

2t−j + 2µ

∞∑j=0

ψjAt−j + 2∞∑

i 6=j i,j=0

ψiψjAt−iAt−j

)

= µ2 +∞∑j=0

ψ2jE(A2

t−j) + 2µ∞∑j=0

ψjE(At−j) + 2∞∑

i 6=j i,j=0

ψiψjE(At−iAt−j)

= µ2 +∞∑j=0

ψ2jE(A2

t−j) + 2∞∑

i 6=j i,j=0


= µ2 +∞∑j=0

ψ2jE(A2

t−j)−∞∑j=0

ψ2j [E(At−j)]

2 + 2∞∑

i 6=j i,j=0


− 2∞∑

i 6=j i,j=0

ψiψjE(At−i)E(At−j)

= µ2 +∞∑j=0

ψ2jV ar(At−j) + 2

∞∑i 6=j i,j=0

ψiψjCov(At−iAt−j)

= µ2 + σ2A

∞∑j=0

ψ2j .


Zbog

V ar(Zt) = E(Z2t )− (EZt)

2 = σ2A

∞∑j=0

ψ2j

vaºi

E(ZtZt+k) = E ((Zt − µ)(Zt+k − µ))

= E(ZtZt+k)− µ (E(Zt) + E(Zt+k)) + µ2

= E(ZtZt+k)− µ2 = γk,

pa je

γk = E(ZtZt+k)

=∞∑i=0

∞∑j=0

ψiψjE(At−iAt+k−j)

= σ2A

∞∑i=0

ψiψi+k (3.3)

i

ρk =

∑∞i=0 ψiψi+k∑∞i=0 ψ

2i

. (3.4)

Pritom formule za γk i ρk vaºe i za negativno k, ako dodeni²emo ψj = 0 zaj < 0. Neka je k < 0. Tada je

∞∑i=0

ψiψi+k =∞∑i=0

ψiψi−|k| =

|k|−1∑i=0

ψiψi−|k| +∞∑i=|k|

ψiψi−|k|.

Prva suma jednaka je nuli, jer je ψi−|k| = 0 za i < |k|. Dakle,∑∞

i=0 ψiψi+k se svodina∑∞

i=|k| ψiψi−|k|, a kako je |k| > 0, to moºemo primeniti (3.3), pa je

∞∑i=0

ψiψi+k = γ|k| = γ−k = γk.

O£igledno su autokovarijansna i autokorelaciona funkcija u (3.3) i (3.4) funkcije samovremenske razlike k. Za stacionarnost nam je potrebno jo² i to da γk bude kona£no.Kako u ovim izrazima guri²e beskona£na suma, to je potrebno da odgovaraju¢iredovi budu konvergentni, kako bi γk bilo denisano i kona£no. Na osnovu

|γk| = |E(ZtZt+k)| ≤ [V ar(Zt)V ar(Zt+k)]12 = σ2

A

∞∑i=1

ψ2j ,

vidimo da je za to dovoljno da vaºi∑∞

j=0 ψ2j <∞.


U skladu sa denicijom generatorske funkcije niza, za zadati niz autokovarijansiγk, k = 0,±1,±2, ..., autokovarijansna generatorska funkcija je data sa

γ(s) =∞∑

k=−∞

γksk,

gde je γ0, disperzija procesa, koecijent uz s0, a γk = γ−k je koecijent uz sk i s−k.Kori²¢enjem (3.3) i stacionarnosti, γ(s) moºemo zapisati kao

γ(s) = σ2A

∞∑k=−∞

∞∑i=0

ψiψi+ksk

= σ2A

∞∑i=0

∞∑j=0

ψiψjsj−i

= σ2A

∞∑j=0

ψjsj

∞∑i=0

ψis−i

= σ2AΨ(s)Ψ(s−1), (3.5)

gde smo izvr²ili prenumeraciju indeksa j = i + k i dodenisali ψj = 0 za j <0. Ovaj metod je pogodan za ra£unanje autokovarijanse nekih linearnih procesa.Odgovaraju¢a autokorelaciona generatorska funkcija ¢e biti

ρ(s) =∞∑

k=−∞

ρksk =

γ(s)

γ0

.

Drugi koristan oblik za zapisivanje procesa Zt je u obliku autoregresivnog iliAR procesa (Autoregressive). Ponekad se ozna£ava i sa AR(∞). Ovaj proces jeobrnut od procesa pokretnih sredina, u tom smislu da ima sli£an oblik kada Zt i Atzamene mesta tj.

At = Zt − π1Zt−1 − π2Zt−2 − ...

Ako odavde izrazimo Zt dobija se

Zt = π1Zt−1 + π2Zt−2 + ...+ At.

Dakle, u autoregresivnoj reprezentaciji je vrednost Zt u trenutku t predstavljenakao linearna kombinacija njegovih prethodnih vrednosti i postoji dodatni sabirakAt. Odavde i poti£e naziv autoregresivnog procesa. Prethodnu jedna£inu moºemozapisati i kao

Π(B)Zt = At, (3.6)

gde je Π(s) = 1−∑∞

j=1 πjsj i 1 +

∑∞j=1 |πj| <∞.

Za proces koji se moºe zapisati u ovakvom obliku, tj. onaj kod kog je mogu¢eizraziti op²ti £lan procesa belog ²uma preko elemenata tog procesa, kaºemo da jeinvertibilan. Ovaj pojam su uveli Boks (Box) i Dºenkins (Jenkins), i oni tvrde dasu jedino takvi procesi zna£ajni u predvianju.


U praksi je situacija malo druga£ija, s obzirom na kona£nost broja podataka.Nemogu¢e je odrediti beskona£an broj parametara ovih reprezentacija. Iz tog ra-zloga se prelazi na MA i AR kona£nog reda, tj. red se zamenjuje samo kona£nomsumom. Svaki proces koji ima MA ili AR reprezentaciju se, sa dovoljnom ta£no²¢u,moºe zapisati pomo¢u ovih reprezentacija kona£nog reda, pri £emu je reprezentacijata£nija ukoliko je broj sabiraka ve¢i.

Za autoregresivan proces u kojem je samo prvih p koecijenata razli£ito od nule(π1, π2, ..., πp 6= 0 i πk = 0 za k > p), kaºemo da je autoregresivan proces reda pi ozna£avamo ga sa AR(p). Ovaj proces ima oblik

Zt − π1Zt−1 − ...− πpZt−p = At,

ili u saºetijem oblikuΠp(B)Zt = At,

gde smo sa Πp(s) ozna£ili polinom 1− π1s− ...− πpsp, a sa Zt razliku Zt − µ.Sli£no postupamo i sa reprezentacijom pokretnih sredina. Ako je samo prvih q

koecijenata razli£ito od nule (ψ1, ψ2, ..., ψq 6= 0 i ψk = 0 za k > q), tada je u pitanjuproces pokretnih sredina reda q (ili MA(q))i njegov zapis je

Zt = At + ψ1At−1 + ...+−ψqAt−q

iliZt = Ψq(B)At,

gde jeΨq(s) = (1 + ψ1s+ ...+ ψqs

q).

Moºe se pokazati da nije svaki stacionaran proces invertibilan. Za linearan pro-ces Zt = Ψ(B)At potreban uslov za invertibilnost je da koreni polinoma Ψ leºeizvan jedini£ne kruºnice. Pritom posmatramo topologiju indukovanu standardnomEuklidovom normom, koja se u slu£aju kompleksnih, odnosno realnih brojeva svodina moduo, odnosno apsolutnu vrednost. Takoe ni obrat ne vaºi, tj. ako je pro-ces invertibilan, ne mora biti stacionaran. Na osnovu Voldovih (Wold) rezultata,neophodan uslov da proces (3.6) bude stacionaran je da se moºe zapisati u MAreprezentaciji, tj. da je

Zt =1

Π(B)At = Ψ(B)At,

uz vaºenje uslova∑∞

j=0 ψ2j < ∞. Da bi ovo bilo ispunjeno, neophodno je da koreni

polinoma Π(s) leºe izvan jedini£ne kruºnice.MA i AR procesi su potpuno odreeni polinomima Ψ(s) i Π(s). Zato ¢emo

ove polinome zvati polinom pokretnih sredina i autoregresivni polinom. Naosnovu ovih polinoma moºe se odrediti da li su odgovaraju¢i procesi stacionarni iliinvertibilni.

Izmeu autoregresivnih procesa i procesa pokretnih sredina postoji izvesna veza,tj. jedni se mogu predstaviti preko drugih, pod odreenim uslovima. Nadalje ¢emobliºe istraºiti tu povezanost.


3.2 Veza izmeu autoregresivnih procesa i procesa

pokretnih sredina

Neka je dat stacionarni AR(p) proces

Πp(B)Zt = At,

gde je Πp(s) = 1− π1s− ...− πpsp. Ovaj proces moºemo zapisati u obliku procesapokretnih sredina na slede¢i na£in

Zt =1

Πp(B)At = Ψ(B)At.

Odavde jeΠp(B)Ψ(B)At = At.

Polinom Ψ(s) = 1 + ψ1s+ ψ2s2... odreujemo iz uslova

Πp(s)Ψ(s) = 1, (3.7)

izjedna£avanjem koecijenata uz si na obe strane jedna£ine.Radi boljeg razumevanja, razmotri¢emo sada neke jednostavne primere.

Primer 9. AR(2) proces je dat izrazom

(1− π1B − π2B2)Zt = At.

Za ovaj proces uslov (3.7) ima oblik

(1− π1s− π2s2)(1 + ψ1s+ ψ2s

2 + ...) = 1,

²to je ekvivalentno sa

1 + ψ1s+ ψ2s2 + ψ3s

3 + ...

−π1s− ψ1π1s2 − ψ2π1s

3 − ...−π2s

2 − ψ1π2s3 − ... = 1.

Odatle moºemo izra£unati ψj

s1 : ψ1 − π1 = 0→ ψ1 = π1

s2 : ψ2 − ψ1π1 − π2 = 0→ ψ2 = ψ1π + 1 + π2 = π21 + π2

s3 : ψ3 − ψ2π1 − ψ1π2 = 0→ ψ3 = ψ2π1 + ψ1π2

...

Za j ≥ 2, imamoψj = ψj−1π1 + ψj−1π2,

gde je ψ0 = 1.Odavde moºemo na¢i MA reprezentaciju i za AR(1) model kada π2 izjedna£imo


sa nulom. Tada je ψj = πj1 za j ≥ 0. Dakle,

Zt =1

1− π1BAt = (1 + π1B + π2

1B2 + ...)At.

Moºe se pokazati da je stacionarni AR proces kona£nog reda ekvivalentanMA procesu beskona£nog reda.

Posmatrajmo sada op²ti MA(q) proces,

Zt = Ψq(B)At,

gde je Ψq(s) = 1 + π1s+ ...+ πqsq. Ovaj proces se moºe zapisati u autoregresivnom

oblikuΠ(B)Zt =

1

Ψq(B)Zt = At,

gde je

Π(s) = 1− π1s− π2s2 − ...

=1

Ψq(s).

Primer 10. MA(2) proces je opisan jedna£inom

Zt = (1 + ψ1B + ψ2B2)At.

Uslov (3.7) dobija oblik

(1 + ψ1s+ ψ2s2)(1− π1s− π2s

2 − ...) = 1,

ili

1− π1s− π2s2 − π3s

3 − ...+ψ1s− π1ψ1s

2 − π2ψ1s3 − ...

+ψ2s2 − π1ψ2s

3 − ... = 1.

Izjedna£anjem koecijenata uz Bj dobijaju se πj

s1 : −π1 + ψ1 = 0→ π1 = ψ1

s2 : −π2 − π1ψ1 + ψ2 = 0→ π2 = ψ2 − π1ψ1 = ψ2 − ψ21

s3 : −π3 − π2ψ1 − π1ψ2 → π3 = −π2ψ1 − π1ψ2

...

Uop²te,πj = −πj−1ψ1 − πj−2ψ2 za j ≥ 3.

Kada je ψ2 = 0, ovaj proces se svodi na MA(1) proces, pa vaºi πj = (−ψ1)j+1 za


j ≥ 1, i

(1 + ψ1B − ψ2B2 + ...)Zt =

1

1− ψ1BZt = At.

Invertibilan MA proces kona£nog reda je ekvivalentan AR procesubeskona£nog reda.

Napomena 1. Proces pokretnih sredina kona£nog reda se dobija kao specijalan slu-£aj procesa pokretnih sredina beskona£nog reda, pa i za njega vaºi (3.2). Sa drugestrane, autoregresivan proces kona£nog reda je ekvivalentan procesu pokretnih sre-dina beskona£nog reda, pa i u ovom slu£aju vaºi (3.2). Ovo ¢e nam bti vaºno priizra£unavanju γk.

3.3 Autoregresivni procesi kona£nog reda

Vratimo se sada jedna£ini autoregresivnog procesa reda p

Zt − π1Zt−1 − ...− πpZt−p = At. (3.8)

Oznaka za ovaj proces je AR(p). Kako je∑p

j=1 |πj| < ∞, ovaj proces je uvekinvertibilan. to se stacionarnosti ti£e, vaºi slede¢a teorema

Teorema 7. AR(p) proces je stacionaran ako i samo ako su koreni autoregresivnogpolinoma Πp(s) izvan jedini£nog kruga.

AR(2) proces je prvobitno koristio Jil (G.U. Yule), kako bi opisao fenomen brojaSun£evih pega i pona²anje matemati£kog klatna. Iz tog razloga se ponekad ovaj pro-ces zove i Jilov proces. Razmotri¢emo prvo autoregresivne procese prvog i drugogreda, kao najjednostavnije. Nakon ispitivanja njihovih osobina, posmatra¢emo op²tiautoregresivni proces kona£nog reda.

Odredimo sada autokovarijansnu i autokorelacionu funkciju. Vratimo se jedna-£ini (3.8), i pomnoºimo obe strane sa Zt−k

Zt−kZt = π1Zt−kZt−1 + ...+ πpZt−kZt−p + Zt−kAt,

a zatim posmatrajmo o£ekivanje dobijenih izraza

γk = π1γk−1 + ...+ πpγk−p, k > 0.

Kori²¢en je rezultat E(AtZt−k) = 0 za k > 0 (3.2), na koji se moºemo pozvati zbogNapomene 1. Odavde sledi rekurentna relacija za autokorelacionu funkciju

ρk = π1ρk−1 + ...+ πpρk−p, k > 0. (3.9)

Karakteristi£ni polinom ove diferencne jedna£ine je P (s) = sp−π1sp−1−....−πp−1s−

πp. Polinom Πp(s) = 1−π1s−π2s2− ...−πpsp je pridruºen AR(p) procesu. Moºe se

lako pokazati da je s0 koren polinoma P (s) akko je 1s0

koren polinoma Πp(s). Nekasu si, i = 1, 2, ...,m, koreni karakteristi£nog polinoma, a mi njihova vi²estrukost.


Tada je op²te re²enje dato sa

ρk =m∑i=1

mi−1∑j=0

cijkjski ,

gde su cij neke konstante. Ako je mi = 1 za svako i, tada se prethodni izraz svodina slede¢e

ρk =

p∑i=1

ciski , k > 0.

Za stacionarni proces koreni polinoma Πp(s) moraju biti izvan jedini£ne kruºnice,

pa vaºi∣∣∣ 1si

∣∣∣ > 1, tj. |si| < 1. Zato ρk opada po apsolutnoj vrednosti. Pritom realnikoreni daju eksponencijalno opadanje, dok kompleksni koreni doprinose ukupnomizrazu kao prigu²ene sinusoide.

Za k > 0 vaºi ρk = π1ρk−1+π2ρk−2+...+πpρk−p. Zato se za k > p poslednja kolonamatrice brojioca u izrazu za φkk u (2.12) moºe napisati kao linearna kombinacijaprethodnih kolona, pa je φkk = 0, za k > p. Ova osobina se koristi za identikacijuAR modela.

Sada ¢emo analizirati autoregresivne procese najmanjeg reda, tj. one za koje jep = 1 i p = 2.

Autoregresivni procesi prvog reda AR(1)Ovaj proces se moºe prikazati u jednoj od dve ekvivalentne forme

(1− π1B)Zt = At

iZt = π1Zt−1 + At. (3.10)

Uvek je invertibilan. Neka je s0 koren polinoma Π1(s) = 1− π1s. Tada je π1s0 = 1,pa uslov za stacionarnost postaje |s0| > 1, tj. |π1| < 1. Zbog zavisnosti samo odprethodnog £lana, ovaj proces se £esto zove i Markovljev proces. Naime, raspodelaza Zt pod uslovom Zt−1, Zt−2, Zt−3, ... je ista kao raspodela za Zt pod uslovom Zt−1.

Autokovarijansna i autokorelaciona funkcija se odreuju na slede¢i na£in

γk = E(Zt−kZt) = E(π1Zt−kZt−1) + E(Zt−kAt)

= π1γk−1, k ≥ 1,

ρk = π1ρk−1 = π1ρk−2 = ... = πk1 , k ≥ 1,

pri £emu smo koristili da je ρ0 = 1, kao i E(Zt−kAt) = 0, u skladu sa Napomenom 1.Od zna£aja je posmatrati pona²anje γk i ρk pri pove¢anju koraka k. Vidimo da zastacionaran proces i |π1| < 1 ACF opada eksponencijalno po apsolutnoj vrednosti.Pritom znak ρk zavisi od znaka π1. Ako je π1 pozitivan, tj. 0 < π1 < 1, onda su sveautokorelacije pozitivne, a ako je −1 < π1 < 0, znak autokorelacije se naizmeni£nomenja, po£ev²i sa negativnom vredno²¢u. Ovo je prikazano na slici (3.2).


Slika 3.2: Op²ti oblik ACF i PACF AR(1) procesa


Uvrstimo ρk = πk1 u izraze za φ11 i φ22 (2.12)

φ11 = π1,

φ22 =

∣∣∣∣∣ 1 π11

π11 π2

1

∣∣∣∣∣∣∣∣∣∣ 1 π11

π11 1;

∣∣∣∣∣= 0.

Dalje, za k > 2 je φkk dato sa

φkk =

∣∣∣∣∣∣∣∣∣∣∣

1 π11 π2

1 ... πk−21 π1

1

π11 1 π1

1 ... πk−31 π2

1...

......

......

πk−11 πk−2

1 πk−31 ... π1

1 πk1

∣∣∣∣∣∣∣∣∣∣∣∣∣∣∣∣∣∣∣∣∣∣

1 π11 π2

1 ... πk−21 πk−1

1

π11 1 π1

1 ... πk−31 πk−2

1...

......

......

πk−11 πk−2

1 πk−31 ... π1

1 1

∣∣∣∣∣∣∣∣∣∣∣

.

Vidimo da je poslednja kolona determinante brojioca jednaka prvoj koloni pomno-ºenoj sa π1, pa je

φkk =

ρ1 = π1, ako je k = 1,

0, ako je k ≥ 2.

Dakle, PACF procesa AR(1) ima pozitivan ili negativan pik kada je korak jednak 1,u zavisnosti od znaka π1, a zatim nestaje, kao ²to se vidi na slici (3.2).

Primer 11. Radi ilustracije, prikazano je simuliranih 250 vrednosti za AR(1) proces,£iji parametri imaju vrednosti µ = 10 i π1 = 0, 9. Za proces belog ²uma At su uzetenezavisne slu£ajne promenljive sa normalnom raspodelom N(0, 1). Na slici(3.3) jeprikazan grak ovog procesa, koji ima relativno gladak oblik, u smislu da nemamnogo pikova.

Tabela (3.1) i slika (3.4) prikazuju uzora£ku ACF i uzora£ku PACF ovog procesa.Moºe se primetiti da ρk opada eksponencijalno, dok φkk naglo opada po apsolutnojvrednosti posle jednog koraka, kao ²to je i o£ekivano. Standardna gre²ka za ρk sera£una pomo¢u

Sρk '√

1

n(1 + 2ρ2

1 + ...+ 2ρ2k−1),

a standardna gre²ka za φkk je data sa

Sφkk '√

1

n.


Slika 3.3: Grak AR(1) procesa sa parametrima µ = 10 i π1 = 0, 9

k 1 2 3 4 5 6 7 8 9 10

ρk 0,88 0,76 0,67 0,57 0,48 0,40 0,34 0,28 0,21 0,17

St.Gr. 0,06 0,10 0,12 0,14 0,14 0,15 0,16 0,16 0,16 0,16

φkk 0,88 0,01 -0,01 -0,11 0,02 -0,01 0,01 -0,02 -0,06 0,05

St.Gr. 0,06 0,06 0,06 0,06 0,06 0,06 0,06 0,06 0,06 0,06

Tabela 3.1:

Slika 3.4: Uzora£ke ACF i PACF AR(1) procesa (1− 0, 9B)(Zt − 10) = At


Slika 3.5: Grak AR(1) procesa sa parametrima µ = 10 i π1 = 0, 65

k 1 2 3 4 5 6 7 8 9 10

ρk -0,63 0,36 -0,17 0,09 -0,07 0,06 -0,08 0,10 -0,11 0,06

St.Gr. 0,06 0,08 0,09 0,09 0,09 0,09 0,09 0,09 0,09 0,09

φkk -0,63 -0,06 0,05 0,02 -0,04 -0,01 -0,06 0,04 -0,03 -0,05

St.Gr. 0,06 0,06 0,06 0,06 0,06 0,06 0,06 0,06 0,06 0,06

Tabela 3.2:

Primer 12. Ovaj primer prikazuje simuliranih 250 vrednosti AR(1) procesa savrednostima parametara µ = 10 i π1 = 0, 65 i Gausovim N(0, 1) belim ²umom.Grak je dat slikom (3.5) i ima testerast izgled.

Uzora£ke ACF i PACF ovog procesa date su tabelarno (3.2) i gra£ki (3.6). Sagaka se vidi da ACF opada, menjaju¢i znak naizmeni£no, po£ev²i od negativnihvrednosti, dok PACF nestaje nakon prvog koraka. Sve ovo ukazuje na AR(1) modelsa negativnim π1.

Vratimo se sada jedna£ini (3.10). Ako Zt−1 zamenimo iz iste takve jedna£ine,samo pomerene za jedan korak unazad, tj. iz Zt−1 = π1Zt−2 + At−1, dobijamo

Zt = At + π1At−1 + π21Zt−2.


Slika 3.6: Uzora£ke ACF i PACF AR(1) procesa (1− 0, 65B)(Zt − 10) = At

Ponavljanjem ovog postupka jo² k − 1 puta dolazi se do izraza

Zt = At + π1At−1 + π21At−2 + ...+ πk+1

1 Zt−k−1.

Vidimo da je ovaj proces, zapravo, izraºen preko sada²njih i pro²lih vrednosti procesabelog ²uma. Posmatrajmo sada druga£iji proces, tj. onaj koji zavisi od sada²njih ibudu¢ih vrednosti belog ²uma.

Zt = −∞∑j=1

π−j1 At+j. (3.11)

Po²to se radi o AR(1) procesu, mora biti π1 6= 0, pa je π−11 , koje se javlja u pret-

hodnom izrazu, kona£no. Sada imamo

Zt − π1Zt−1 = −∞∑j=1

π−j1 At+j + π1

∞∑j=1

π−j1 At−1+j

= −∞∑j=1

π−j1 At+j + π1

∞∑j=0

π−j−11 At+j

= −∞∑j=1

π−j1 At+j + π1

(π−1

1 At +∞∑j=1

π−j−11 At+j

)= At.

Dakle, ovaj proces zadovoljava relaciju

Zt = At + π1Zt−1.

Izraz (3.11) moºemo zapisati u obliku Zt =∑∞

j=0 πj1Bt−j gde je Bt−j = −π−1

1 At+j+1.Moºe se pokazati da je ovako denisan niz Bt proces belog ²uma i sli£nim postup-


kom kao malopre da jeZt = Bt + π−1

1 Zt−1.

Dakle, svaki AR(1) proces sa |π1| > 1 se moºe predstaviti kao AR(1) proces sa|π1| < 1 preko nekog drugog procesa belog ²uma. Zbog toga se moºemo ograni£itisamo na procese sa |π1| < 1 koji su prirodniji, jer je u njima proces izraºen prekosada²njih i pro²lih vrednosti.

Autoregresivni procesi drugog reda AR(2)AR(2) proces se moºe pisati u jednom od dva ekvivalentna oblika

(1− π1B − π2B2)Zt = At

iliZt = π1Zt−1 + π2Zt−2 + At. (3.12)

Kao AR proces kona£nog reda, ovaj proces je invertibilan. Za stacionarnost jepotrebno da koreni polinoma Π2(s) = 1− π1s− π2s

2 budu izvan jedini£ne kruºnice.Ozna£imo te korene sa s1 i s2. Re²avanjem kvadratne jedna£ine dobija se

s1 =−π1 +

√π2

1 + 4π2

2π2

i s1 =−π1 −

√π2

1 + 4π2

2π2

.

Ako sada izrazimo recipro£ne vrednosti korena i racionali²emo dobijene izraze, ima-¢emo slede¢e

1

s1

=π1 +

√π2

1 + 4π2

2i

1

s2

=π1 −

√π2

1 + 4π2

2.

Zbog |s1| > 1 i |s2| > 1 i na osnovu Vijetovih formula je

|π2| =∣∣∣∣ 1

s1

· 1

s2

∣∣∣∣ < 1,

|π1| =∣∣∣∣ 1

s1

+1

s2

∣∣∣∣ < 2.

Odavde dobijamo uslove za stacionarnost−1 < π2 < 1,

−2 < π1 < 2.

Za realne korene je diskriminanta nenegativna π21 + 4π2 ≥ 0, pa imamo

−1 <1

s2

=π1 −

√π2

1 + 4π2

2≤ π1 +

√π2

1 + 4π2

2=

1

s1

< 1,

²to se svodi na √π2

1 + 4π2 < 2 + π1 i√π2

1 + 4π2 < 2− π1.


Kvadriranje ovih nejedna£ina dovodi do uslovaπ2 + π1 < 1,

π2 − π1 < 1.

Za kompleksne korene vaºi π21 + 4π2 < 0 i vaºi

1

s1,2

=π1 ± i

√−π2

1 − 4π2

2.

Sada je∣∣∣ 1s1

∣∣∣ =∣∣∣ 1s2

∣∣∣ =π21−π2

1−4π24

= −π2, pa iz uslova da su s1 i s2 van jedini£nekruºnice dobijamo da je 0 ≤ −π2 < 1, tj.

−1 < π2 ≤ 0.

Uslov π21 + 4π2 < 0 moºemo zapisati kao (π1 − 2

√x)(π1 + 2

√x) < 0, gde smo sa x

ozna£ili −π2. Razmatra¢emo dva slu£aja1. Neka je π1 − 2

√x < 0 i π1 + 2

√x > 0. Tada je

0 > π1 − 2√x > π1 − 2

√x− (

√x− 1)2 =

= π1 − 2√x+ 2

√x− x− 1 = π1 − x− 1.

Odatle je π1 − x < 1, tjπ1 + π2 < 1.

Dalje je

0 < π1 + 2√x < π1 + 2

√x+ (

√x− 1)2 =

= π1 + 2√x− 2

√x+ x+ 1 = π1 + x+ 1.

Sada je −x− π1 < 1 tj.π2 − π1 < 1.

2. Neka je π1 − 2√x > 0 i π1 + 2

√x < 0. Postupaju¢i sli£no kao malopre dobija

se

0 < π1 − 2√x < π1 − 2

√x+ (

√x+ 1)2 = π1 + x+ 1,

0 > π1 + 2√x > π1 + 2

√x− (

√x+ 1)2 = π1 − x− 1.

tj.

π2 + π1 < 1,

π2 − π1 < 1.

Sada moºemo zapisati uslove koje parametri AR(2) procesa treba da zadovoljavaju


Slika 3.7: Oblast stacionarnosti za AR(2) proces

da bi vaºio uslov stacionarnosti: π2 + π1 < 1,

π2 − π1 < 1,

−1 < π2 < 1.

Ove jedna£ine odreuju trougaonu oblast, i ona je prikazana na slici (3.7). Takoeje prikazana oblast

−1 < π2 ≤ 0,

π21 + 4π2 < 0,

koja odgovara kompleksnim korenima.Autokovarijansu ¢emo izra£unati na uobi£ajen na£in, tako ²to ¢emo obe strane

jedna£ine (3.12) pomnoºiti sa Zt−k, a zatim posmatrati o£ekivanje dobijenih izraza

E(Zt−kZt) = π1E(Zt−kZt−1) + π2E(Zt−kZt−2) + E(Zt−kAt).

Koriste¢i (3.2), u skladu sa Napomenom 1, prethodni izraz se svodi na

γk = π1γk−1 + π2γk−2, k ≥ 1.

Dakle, jedna£ina za autokorelacionu funkciju je

ρk = π1ρk−1 + π2ρk−2, k ≥ 1. (3.13)

Iz oblika rekurentne formule se vidi da su nam potrebne prve dve vrednosti, tj. ρ1 iρ2. Ako prethodnu formulu zapi²emo za k = 1 i k = 2 imamo

ρ1 = π1 + π2ρ1,

ρ2 = π1ρ1 + π2.


Re²avanje ovog sistema jedna£ina po ρ1 i ρ2 daje

ρ1 =π1

1− π2

, (3.14)

ρ2 =π2

1

1− π2

+ π2 =π2

1 + π2 − π22

1− π2

. (3.15)

Sada se ρk za k ≥ 3 ra£una pomo¢u rekurentne formule (3.13). Radi nalaºenjaop²teg re²enja diferencne jedna£ine (3.13), potraºi¢emo prvo korene karakteristi£nog

polinoma P (s) = s2 − π1s − π2. Oni su dati izrazima s1 =π1+√π21+4π2

2i s2 =

π1−√π21+4π2

2. U zavisnosti od toga da li je diskriminanta odgovaraju¢e kvadratne

jedna£ine D = π21 + 4π2 razli£ita od nule ili ne, ima¢emo razli£ite ili iste korene, pa

¢e biti

ρk =

b1

[π1+√π21+4π2

2

]k+ b2

[π1−√π21+4π2

2

]kako je π2

1 + 4π2 6= 0,

(b1 + b2k)[π12

]kako je π2

1 + 4π2 = 0,

pri £emu se konstante b1 i b2 mogu odrediti iz po£etnih uslova datih sa (3.14) i (3.15).Dakle, ACF ¢e opadati eksponencijalno ako su koreni s1 i s2 realni, a ima¢e oblikprigu²enog sinusnog talasa ako su kompleksni.

Na osnovu relacije (3.9) za p = 2 je

ρk = π1ρk−1 + π2ρk−2, za k ≥ 1.

Na osnovu (2.9) imamoφ11 = ρ1 =

π1

1− π2

,

φ22 =

∣∣∣∣∣ 1 ρ1

ρ1 ρ2

∣∣∣∣∣∣∣∣∣∣ 1 ρ1

ρ1 1

∣∣∣∣∣=ρ2 − ρ2

1

1− ρ21

=

(π21+π2−π2

2

1−π2

)−(

π11−π2

)2

1−(

π11−π2

)2 =π2 [(1− π2)2 − π2

1]

(1− π2)2 − π21

= π2,

φ33 =

∣∣∣∣∣∣∣∣1 ρ1 ρ1

ρ1 1 ρ2

ρ2 ρ1 ρ3

∣∣∣∣∣∣∣∣∣∣∣∣∣∣∣∣1 ρ1 ρ2

ρ1 1 ρ1

ρ2 ρ1 1

∣∣∣∣∣∣∣∣=

∣∣∣∣∣∣∣∣1 ρ1 π1 + π2ρ1

ρ1 1 π1ρ1 + π2

ρ2 ρ1 π1ρ2 + π2ρ1

∣∣∣∣∣∣∣∣∣∣∣∣∣∣∣∣1 ρ1 ρ2

ρ1 1 ρ1

ρ2 ρ1 1

∣∣∣∣∣∣∣∣= 0,

zato ²to je poslednja kolona brojioca linearna kombinacija prve dve kolone. Sli£nose moºe pokazati da je φkk = 0 za k ≥ 3. Dakle, PACF procesa AR(2) postaje nulanakon koraka k = 2. Slika (3.8) ilustruje PACF i odgovaraju¢i ACF za nekolikoodabranih AR(2) procesa.


Slika 3.8: Op²ti oblik ACF i PACF AR(2) procesa


k 1 2 3 4 5 6 7 8 9 10

ρk -0,70 0,62 -0,48 0,41 -0,37 0,32 -0,30 0,27 -0,25 0,20

St.Gr. 0,06 0,09 0,11 0,11 0,12 0,12 0,13 0,13 0,13 0,13

φkk -0,70 0,26 0,05 0,03 -0,08 0,00 -0,04 0,03 -0,01 -0,05

St.Gr. 0,06 0,06 0,06 0,06 0,06 0,06 0,06 0,06 0,06 0,06

Tabela 3.3:

Slika 3.9: Uzora£ke ACF i PACF AR(2) procesa (1 + 0, 5B − 0, 3B2)Zt = At

Primer 13. Tabela (14) i slika (3.9) pokazuju uzora£ku ACF i uzora£ku PACF za250 vrednosti simuliranog AR(2) procesa (1 + 0, 5B − 0, 3B2)Zt = At, gde je AtGausov N(0, 1) beli ²um. Oblik oscilovanja ACF je sli£an kao kod AR(1) modela sanegativnom vredno²¢u parametra. Meutim, na osnovu brzine opadanja autokore-lacije se vidi da ovaj proces ne moºe biti AR(1). Sa druge strane, naglo opadanjeφkk posle drugog koraka ukazuje na AR(2) proces.

Primer 14. Razmatra¢emo primer AR(2) modela £iji pridruºen polinom ima kom-pleksne korene. Simulirano je 250 vrednosti procesa (1 − B + 0, 5B2)Zt = At, gdeje At Gausov N(0, 1) beli ²um. Tabela (14) i slika (3.9) prikazuju uzora£ke ACF iPACF. Uzora£ka ACF ima oblik prigu²enog sinusnog talasa, a uzora£ka PACF nagloopada posle drugog koraka. Oblik ovih funkcija ukazuje da se radi o AR(2) procesu.

3.4 Procesi pokretnih sredina kona£nog reda

Proces pokretnih sredina reda q dat je relacijom

Zt = At + ψ1At−1 + ...+ ψqAt−q (3.16)


Uzora£ka ACF i PACF za simulirane vrednosti procesa (1 + 0, 5B − 0, 3B2)Zt = At

k ρk

1-12 0,67 0,20 -0,13 -0,26 -0,22 -0,09 0,02 0,08 0,06 0,00 -0,10 -0,17

St.Gr. 0,06 0,09 0,09 0,09 0,09 0,09 0,09 0,09 0,10 0,10 0,10 0,10

12-24 -0,13 -0,04 0,07 0,13 0,10 0,03 -0,05 -0,07 -0,09 -0,13 -0,12 -0,09

St.Gr. 0,10 0,10 0,10 0,10 0,10 0,10 0,10 0,10 0,10 0,10 0,10 0,10

k ρk

1-12 0,67 -0,45 -0,04 -0,08 -0,05 -0,01 0,03 -0,01 -0,04 -0,01 -0,13 -0,03

St.Gr. 0,06 0,06 0,06 0,06 0,06 0,06 0,06 0,06 0,06 0,06 0,06 0,06

12-24 0,06 -0,04 0,09 -0,02 -0,04 0,01 -0,02 0,03 -0,12 -0,07 -0,03 -0,03

St.Gr. 0,06 0,06 0,06 0,06 0,06 0,06 0,06 0,06 0,06 0,06 0,06 0,06

Slika 3.10: Uzora£ke ACF i PACF AR(2) procesa (1−B + 0, 5B2)Zt = At


S obzirom na to da se red∑∞

i=1 ψ2i svodi na kona£nu sumu 1 + ψ2

1 + ... + ψ2q , ovaj

proces je uvek stacionaran, dok je uslov za invertibilnost dat slede¢om teoremom

Teorema 8. MA(q) proces je invertibilan ako i samo ako su svi koreni polinomapokretnih sredina Ψq(s) izvan jedini£ne kruºnice.

Kako se iz oblika jedna£ine vidi da Zt ne zavisi od preostalih £lanova tog niza,to se ovakvi procesi koriste za opisivanje takvih pojava koje imaju samo trenutniefekat. Proces je nastao kao rezultat Slatckijeve (Slutzky) studije o efektu pokretnihsredina slu£ajnih dogaaja. Za MA(q) proces je varijansa

γ0 = σ2A

q∑j=0

ψ2j ,

gde je ψ0 = 1, a ostale autokovarijanse su

γk =

σ2A(ψk + ψ1ψk+1 + ...+ ψq−kψq), k = 1, 2, ..., q,

0, k > q.

Dakle, autokorelaciona funkcija postaje

ρk =

ψk+ψ1ψk+1+...+ψq−kψq

1+ψ21+...+ψ2

q, k = 1, 2, ...q,

0, k > q.

Autokorelaciona funkcija MA(q) procesa je nula nakon koraka k = q. Ova oso-bina omogu¢ava da se identikuje kada je dati vremenski niz generisan procesompokretnih sredina kona£nog reda.

Proces pokretnih sredina prvog reda MA(1)Za Ψ(s) = 1 + ψ1s imamo proces pokretnih sredina prvog reda odreen izrazom

Zt = At + ψ1At−1

= (1 + ψ1B)At, (3.17)

gde je At proces belog ²uma sa o£ekivanjem nula i konstantnom disperzijom σ2A.

O£ekivanje procesa Zt je E(Zt) = 0.Autokovarijansna generatorska funkcija je, koriste¢i (3.5)

γ(s) = σ2A(1 + ψ1s)(1 + ψ1s

−1) = σ2A

(ψ1s

−1 + (1 + ψ21) + ψ1s

).

Dakle, autokovarijanse procesa su

γk =

(1 + ψ2

1)σ2A, k = 0,

ψ1σ2A, k = 1,

0, k > 0.


Slika 3.11: ACF i PACF procesa MA(1)

Autokorelaciona funkcija postaje

ρk =

ψ1

1+ψ21, k = 1,

0, k > 1,(3.18)

i ona je jednaka nuli za korake ve¢e od 1, kao ²to se i vidi na slici (3.11). Po²to jezbir 1 +ψ2

1 uvek kona£an, to je MA(1) proces uvek stacionaran. Za invertibilnost jepotrebno da koreni polinoma Ψ1(s) = 1 + ψ1s leºe van jedini£nog kruga. Kako ovajpolinom ima samo jedan koren i on je 1

ψ1, to je uslov za invertibilnost |ψ1| < 1.

Za proizvoljno ψ1 procesi Zt = (1 + ψ1B)At i Zt = (1 + 1ψ1B)At imaju iste

autokorelacije, pri £emu je za ta£no jedan od njih koren odgovaraju¢eg polinoma vanjedini£nog kruga. Dakle, ta£no jedan od njih je invertibilan. Na²a dalja razmatranja¢e biti ograni£ena samo na invertibilne procese. Iz (3.18) se lako vidi da je 2|ρk| < 1,pa za MA(1) proces vaºi |ρk| < 0, 5.


k 1 2 3 4 5 6 7 8 9 10

ρk -0,44 0,00 0,02 -0,03 -0,01 -0,05 0,04 -0,03 -0,03 0,02

St.Gr. 0,06 0,07 0,07 0,07 0,07 0,07 0,07 0,07 0,07 0,07

φkk -0,44 -0,24 -0,11 -0,08 -0,07 -0,12 -0,06 -0,07 -0,10 -0,08

St.Gr. 0,06 0,06 0,06 0,06 0,06 0,06 0,06 0,06 0,06 0,06

Tabela 3.4:

Koriste¢i (3.18) i (2.9) dobija se

φ11 = ρ1 =ψ1

1 + ψ21

=ψ1(1− ψ2

1)

1− ψ41

,

φ22 = − ρ21

1− ρ21

=−ψ2

1

1 + ψ21 + ψ4

1

=−ψ2

1(1− ψ21)

1− ψ61

,

φ33 =ρ3

1

1− 2ρ21

=ψ3

1

1 + ψ21 + ψ4

1 + ψ61

=ψ3

1(1− ψ21)

1− ψ81

.

Uop²teno, vaºi

φkk =(−ψ1)k+1(1− ψ2

1)

1− ψ2(k+1)1

, za k ≥ 1.

Za razliku od ACF, koja i²£ezava nakon prvog koraka, PACF ovog modela opadaeksponencijalno po apsolutnoj vrednosti. Ako je ψ1 negativno, onda φkk menja znak.Takoe vaºi |φkk| < 1

2.

Primer 15. Uzora£ka ACF i uzora£ka PACF su izra£unate za 250 vrednosti simu-liranih pomo¢u MA(1) modela Zt = (1 − 0, 5B)At, gde je kori²¢en Gausov N(0, 1)proces belog ²uma za At. Rezultati su prikazani tabelarno (3.4) i gra£ki (3.12).Zna£ajni su jedino ρ1 i dve parcijalne autokorelacije φ11 i φ22. Vidi se da je ρkpribliºno nula nakon prvog koraka, a φkk opada, ²to ukazuje na MA(1) model.

Proces pokretnih sredina drugog reda MA(2)Kada je Ψ2(s) = 1 + ψ1s+ ψ2s

2 imamo proces pokretnih sredina drugog reda

Zt = (1 + ψ1B + ψ2B2)At,

gde je At beli ²um sa o£ekivanjem nula. Kao proces pokretnih sredina kona£nogreda, ovaj model je uvek stacionaran. Za invertibilnost je potrebno da nule karak-teristi£nog polinoma Ψ2(B) = 1 + ψ1B + ψ2B

2 leºe izvan jedini£nog kruga. Ovo sesvodi na slede¢e uslove

ψ2 + ψ1 > −1,

ψ1 − ψ2 < 1,

−1 < ψ2 < 1.


Slika 3.12: Uzora£ke ACF i PACF procesa Zt = (1− 0, 5B)At

Generatorska funkcija autokovarijanse je, na osnovu (3.5) jednaka

γ(s) = σ2A(1 + ψ1s+ ψ2s

2)(1 + ψ1s−1 + ψ2s

−2) =

= σ2A

(ψ2s

−2 + ψ1(1 + ψ2)s−1 + (1 + ψ21 + ψ2

2) + ψ1(1 + ψ2)s+ ψ2s2).

Odatle moºemo o£itati kovarijanse:

γ0 = (1 + ψ21 + ψ2

2)σ2A,

γ1 = ψ1(1 + ψ2)σ2A,

γ2 = ψ2σ2A

iγk = 0, za k > 2.

Autokorelaciona funkcija je

ρk =

ψ1(1+ψ2)

1+ψ21+ψ2

2, k = 1,

ψ2

1+ψ21+ψ2

2, k = 2,

0, k > 2,

i nestaje nakon drugog koraka.Iz (2.9), koriste¢i da je ρk = 0 za k ≥ 3, sledi

φ11 = ρ1,

φ22 =ρ2 − ρ2

1

1− ρ21

,

...

MA(1) proces je sadrºan u MA(2) procesu kao specijalan slu£aj. Dakle, PACF opada


k 1 2 3 4 5 6 7 8 9 10

ρk -0,35 -0,17 0,09 -0,06 0,01 -0,01 -0,04 0,07 -0,07 0,09

St.Gr. 0,06 0,07 0,07 0,07 0,07 0,07 0,07 0,07 0,07 0,07

φkk -0,35 -0,34 -0,15 -0,18 -0,11 -0,12 -0,14 -0,05 -0,14 0,00

St.Gr. 0,06 0,06 0,06 0,06 0,06 0,06 0,06 0,06 0,06 0,06

Tabela 3.5:

po apsolutnoj vrednosti. PACF opada eksponencijalno ako su re²enja jedna£ine1+ψ1B+ψ2B

2 = 0 realna, a ima oblik prigu²enog sinusnog talasa ako su kompleksna.Odgovaraju¢e ACF i PACF su prikazana na slici (3.13)

Primer 16. Za MA(2) proces Zt = (1 − 0, 65B − 0, 24B2)At sa Gausovim N(0, 1)belim ²umom je simulirano 250 vrednosi i prikazani su rezultati tabelarno (3.5) igra£ki (3.13). Vidi se da je ρk nula nakon drugog koraka, a φkk opada kako se io£ekuje za MA(2) proces.

Iz diskusija MA(1) i MA(2) procesa, moºe se lako videti da je parcijalna auto-korelaciona funkcija MA(q) procesa kombinacija eksponencijalnog opadanja i prigu-²ene sinusoide, u zavisnosti od korena karakteristi£nog polinoma. PACF ¢e sadrºatiprigu²ene sinusne oscilacije ako su koreni kompleksni.

Slede¢a teorema pokazuje zna£aj procesa pokretnih sredina u modeliranju staci-onarnih procesa.

Teorema 9. Ako je Zt stacionaran proces sa o£ekivanjem nula i kovarijansnomfunkcijom koja zadovoljava uslov γk = 0 za |k| > q i γq 6= 0, tada je Zt MA(q)proces, tj. postoji proces belog ²uma At, takav da vaºi

Zt = At + ψ1At−1 + ...+ ψqAt−q.

Vratimo se sada odeljku (3.2). Ove osobine se odraºavaju i na autokorelacionu iparcijalnu autokorelacionu funkciju. Autokorelacije AR(p) procesa i²£ezavaju (sma-njuju se po apsolutnoj vrednosti), dok parcijalne autokorelacije postaju nula posleodgovaraju¢eg broja koraka. Kod MA(q) procesa autokorelacije postaju nula posleodgovaraju¢eg broja koraka, a parcijalne autokorelacije se smanjuju po apsolutnojvrednosti.

3.5 Autoregresivni procesi pokretnih sredina

Za ksiran broj opservacija, ve¢i broj parametara doprinosi manjoj ekasnostiocena. Uz to, kada je sve ostalo jednako, bira¢emo jednostavniji model da opi²emofenomen. Ovaj kriterijum modeliranja je osnova ²tedljivosti u formiranju modelapredloºena od strane Tarkija (Turkey) i Boksa (Box) i Dºenkinsa (Jenkins). U pret-hodnim odeljcima smo stacionarne procese predstavljali u autoregresivnom obliku i


Slika 3.13: Op²ti oblik ACF i PACF MA(2) procesa


Slika 3.14: Uzora£ke ACF i PACF procesa Zt = (1− 0, 65B − 0, 24B2)At

u obliku pokretnih sredina. U praksi se javlja problem beskona£nog broja parame-tara, pa prelazimo na procese kona£nog reda. Meutim, £esto je potrebno odabratimodel velikog reda, zbog postizanja dobre aproksimacije, ²to kao posledicu dajeveliki broj parametara koje treba odrediti. Zato se do²lo na ideju da se potraºireprezentacija u obliku kombinacije ovih modela kao

Zt − π1Zt−1 − ...− πpZt−p = At + ψ1At−1 + ...+ ψqAt−q,

ili skra¢enoΠp(B)Zt = Ψq(B)At, (3.19)

gde je Πp(s) = 1 − π1s − ... − πpsp i Ψq(s) = 1 + ψ1s + ... + ψqsq. Ovakav proces

se ozna£ava kao ARMA(p,q) proces, pri £emu p i q predstavljaju red pridruºenogautoregresivnog polinoma, odnosno polinoma pokretnih sredina.

Denicija 7. ARMA(p,q) proces Zt denisan jedna£inom Πp(B)Zt = Ψq(B)Atje kauzalan ako postoji niz konstanti ψj za koji je

∑∞j=0 |ψj| <∞ i

Zt =∞∑j=0

ψjAt−j, t = 0,±1,±2, ... (3.20)

Vaºno je primetiti da kauzalnost nije osobina samog procesa Zt ve¢ odnosaizmeu procesa Zt i At. Dakle, mogu¢e je da proces bude kauzalan u odnosuna jedan proces belog ²uma, a da ne bude u odnosu na drugi.

Teorema 10. Ako je Zt proizvoljan niz slu£ajnih promenljivih, takav da je suptE|Zt| <∞ i ako je

∑∞j=−∞ |φj| <∞, tada red

Φ(B)Zt =∞∑

j=−∞

φjBjZt =

∞∑j=−∞

φjZt−j

konvergira apsolutno sa verovatno¢om jedan. Ako je suptE|Zt|2 < ∞, onda red


konvergira istoj vrednosti u srednjekvadratnom smislu.

Slede¢a teorema daje potrebne i dovoljne uslove da ARMA proces bude kauzalan.Takoe daje eksplicitnu reprezentaciju za Zt u zavisnosti od As, s ≤ t.

Teorema 11. Neka je Zt ARMA(p,q) proces, za koji polinomi Πp(z) i Ψq(z)nemaju zajedni£kih nula. Tada je Zt kauzalan akko je Πp(z) 6= 0 za sve z ∈ C(gde je C skup kompleksnih brojeva), takve da je |z| ≤ 1. Pritom su koecijenti ψju predstavljanju (3.20) iz Denicije 7 odreeni relacijom

Ψ(z) =∞∑j=0

ψjzj =

Ψq(z)

Πp(z), |z| ≤ 1.

Dokaz. Pretpostavimo prvo da je Πp(z) 6= 0 za |z| ≤ 1. Odavde sledi da postojiε > 0, tako da je

1

Πp(z)=∞∑j=0

ξjzj = ξ(z), |z| < 1 + ε.

Kako vaºi∣∣1 + ε

2

∣∣ < 1 + ε, to je red∑∞

j=0 ξj(1 + ε2)j konvergentan, pa njegov op²ti

£lan ξj(1 + ε/2)j teºi nuli kada j → ∞. Zato je niz ξj(1 + ε/2)j ograni£en, papostoji K ∈ (0,∞), tako da je

|ξj| < K(1 + ε/2)−j, za sve j = 0, 1, 2, ....

Po²to je∑∞

j=0(1 + ε/2)−j geometrijski red sa op²tim £lanom∣∣∣ 1

(1+ε/2)j

∣∣∣ < 1, on je

konvergentan. Odatle je∑∞

j=0 |ξj| < ∞ i ξ(z)Πp(z) = 1 za |z| ≤ 1. Na osnovuTeoreme 10 moºemo primeniti operator ξ(B) sa obe strane jedna£ine Πp(B)Zt =Ψq(B)At. Tada dobijamo

Zt = ξ(B)Ψq(B)At,

²to je traºena reprezentacija.Pretpostavimo sada da je At kauzalan, tj. da je Zt =

∑∞j=0 ψjAt−j za neki niz

ψj tako da je∑∞

j=o |ψj| <∞. Tada je

Ψq(B)At = Πp(B)Zt = Πp(B)Ψ(B)At.

Ako ozna£imo η(z) = Πp(z)Ψ(z) =∑∞

j=0 ηjzj, |z| ≤ 1, moºemo zapisati ovu jedna-

£inu kaoq∑j=0

ψjAt−j =∞∑j=0

ηjAt−j.

Sada pomnoºimo obe strane sa A∗t−k (pri £emu ∗ ozna£ava kompleksnu konjugaciju),a zatim posmatrajmo o£ekivanje

q∑j=0

ψjE(At−kA∗t−j) =

∞∑j=0

ηjE(At−kA∗t−j).


Zbog At ∼ WN(0, σ2) sledi da je ηk = ψk za k = 0, ....q i ηk = 0 za k > q tj.

Ψq(z) = η(z) = Πp(z)Ψ(z), |z| ≤ 1.

Pretpostavimo da polinom Πp(z) ima nulu z0, za koju vaºi |z0| < 1. Tada je takoe iΨq(z0) = 0, zbog poslednje jedna£ine. Meutim, ovo je nemogu¢e zbog pretpostavketeoreme.

Denicija 8. ARMA(p,q) proces denisan jedna£inama Πp(B)Zt = Ψq(B)At jeinvertibilan ako postoji niz konstanti πj, za koje vaºi

∑∞j=0 |πj| <∞ i

At =∞∑j=0

πjZt−j, t = 0,±1, ... (3.21)

Kao kauzalnost, i invertibilnost nije osobina samog procesa Zt, ve¢ odnosaizmeu dva procesa Zt i At. Slede¢a teorema daje potrebne i dovoljne usloveza invertibilnost.

Teorema 12. Neka je Zt ARMA(p,q) proces, za koji polinomi Πp(z) i Ψq(z)nemaju zajedni£kih nula. Tada je Zt invertibilan akko je Ψq(z) 6= 0 za sve z ∈ Ctakve da je |z| ≤ 1. Koecijenti πj u (3.21) su odreeni relacijom

Π(z) =∞∑j=0

πjzj =

Πp(z)

Ψq(z), |z| ≤ 1.

Dokaz. Pretpostavimo prvo da je Ψq(z) 6= 0 ako |z| ≤ 1. Tada je

1

Ψq(z)=∞∑j=0

ηjzj = η(z), |z| < 1 + ε,

za neko ε > 0. Sli£no kao malopre zaklju£ujemo da je∑∞

j=0 |ηj| <∞, pa nam Teo-rema 10 dopu²ta da primenimo η(B) sa obe strane jedna£ine Πp(B)Zt = Ψq(B)At idobijemo

η(B)Πp(B)Zt = η(B)Ψq(B)At = At.

Zbog toga imamo traºenu reprezentaciju

At =∞∑j=0

πjZt−j,

gde je πj niz koecijenata u polinomu Π(z) = η(z)Πp(z). Obrnuto, ako je Ztinvertibilan, onda je At =

∑∞j=0 πjZt−j za neki niz πj, za koji je

∑∞j=0 |πj| < ∞.

TadaΠp(B)At = Π(B)Πp(B)Zt = Π(B)Ψq(B)At.

Stavljaju¢i ξ(z) = Π(z)Ψq(z) =∑∞

j=0 ξjzj, |z| ≤ 1, moºemo zapisati ovu jedna£inu


kao:p∑j=0

πjAt−j =∞∑j=0

ξjAt−j.

Ako sada obe strane pomnoºimo sa A∗t−k, i posmatramo o£ekivanje, dobijamo da jeξk = πk, k = 0, ..., p i ξk = 0, k > p. Dakle,

Πp(z) = ξ(z) = Π(z)Ψq(z), |z| ≤ 1

Sada se vra¢amo realnim procesima.Za ra£unanje ACF potrebno je prvo zapisati (3.19) na druga£iji na£in

Zt = π1Zt + ...+ πpZt−p + At + ψ1At−1 + ...+ ψqAt−q,

a zatim obe strane jednakosti pomnoºiti sa Zt−k

Zt−kZt = π1Zt−kZt−1 + ...+ πpZt−kZt−p + Zt−kAt + ψ1Zt−kAt−1 + ...+ ψqZt−kAt−q.

Sada posmatrajmo o£ekivanu vrednost dobijenog izraza

γk = π1γk−1 + ...+ πpγk−p + E(Zt−kAt) + ψ1E(Zt−kAt−1) + ...+ ψqE(Zt−kAt−q).

Kako je E(Zt−kAt−i) = 0 za k > i, to je

γk = π1γk−1 + ...+ πpγk−p, k ≥ q + 1,

ρk = π1ρk−1 + ...+ πpρk−p, k ≥ q + 1. (3.22)

Vidimo da ρk zadovoljava istu homogenu diferencnu jedna£inu reda p kao za AR(p)proces. Zato se PACF pona²a isto kao kod AR(p) procesa. Dakle, PACF procesaARMA(p,q) postaje nula nakon q koraka. Prvih q autokorelacija ρ1, ρ2, ...ρq, meu-tim, zavisi kako od autoregresivnih, tako i od parametara pokretnih sredina. Onisluºe kao inicijalne vrednosti. Ovo je vaºno za identikaciju modela.

Po²to ARMA proces sadrºi MA proces kao specijalan slu£aj, to ¢e PACF takoebiti kombinacija eksponencijalnog opadanja i prigu²enih sinusnih talasa, u zavisnostiod korena polinoma Πp(s) i Ψq(s).

ARMA(p,q) poseduje svojstvo sli£no onom odreenom Teoremom 9, tj. akostacionaran proces ima autokovarijansnu funkciju istu kao ARMA(p,q) proces, ondase moºe predstaviti u ovom obliku.

ARMA(1,1) procesARMA(1,1) proces je denisan pomo¢u

(1− π1B)Zt = (1 + ψ1B)At, (3.23)

ili, ekvivalentnoZt = π1Zt−1 + At + ψ1At−1. (3.24)

Za stacionarnost je potrebno da vaºi |π1| < 1, a za invertibilnost |ψ1| < 1. Ako


jedan od parametara π1 i ψ1 izjedna£imo sa nulom, proces se svodi na MA(1) iliAR(1) proces. Proces (3.23) moºemo napisati i kao

Π(B)Zt = At,

gde je

Π(s) = 1− π1s− π2s2 − ... =

1− π1s

1 + ψ1s.

Iz poslednje jedna£ine sledi

(1 + ψ1s)(1− π1s− π2s2 − ...) = 1− π1s,

ili1− (π1 − ψ1)s− (π2 + π1ψ1)s2 − (π3 + π2ψ1)s3 − ... = 1− π1s.

Izjedna£avanjem koecijenata uz sj sa obe strane, dobija se

πj = (−ψ1)j−1(π1 + ψ1), za j ≥ 1.

Moºemo zapisati ARMA(1,1) proces u obliku £istih pokretnih sredina kao

Zt = Ψ(B)At =1 + ψ1B

1− π1BAt.

Primetimo da je(1− π1s)(1 + ψ1s+ ψ2s

2 + ...) = 1 + ψ1s,

ili ekvivalentno

1 + (ψ1 − π1)s+ (ψ2 − ψ1π1)s2 + ... = 1 + ψ1s.

Dakle,ψj = πj−1

1 (π1 + ψ1), za j ≥ 1.

Sada ¢emo odrediti ACF i PACF ARMA(p,q) procesa. Pomnoºimo obe stranejedna£ine (3.24) sa Zt−k

Zt−kZt = π1Zt−kZt−1 + Zt−kAt + ψ1Zt−kAt−1,

i naimo o£ekivanje

γk = π1γk−1 + E(Zt−kAt) + ψ1E(Zt−kAt−1). (3.25)

Specijalno, za k = 0

γ0 = π1γ1 + E(ZtAt) + ψ1E(ZtAt−1).

Podsetimo se da jeE(ZtAt) = σ2A (zbog Napomene 1). Za £lan E(ZtAt−1) primetimo


da je

E(ZtAt−1) = π1E(Zt−1At−1) + E(AtAt−1) + ψ1E(A2t−1)

= (π1 + ψ1)σ2A.

Dakle,γ0 = π1γ1 + σ2

A + ψ1(π1 + ψ1)σ2A.

Za k = 1 iz (3.25) slediγ1 = π1γ0 + ψ1σ

2A.

Zamenjuju¢i γk iz poslednje u pretposlednju jedna£inu, imamo

γ0 = π21γ0 + π1ψ1σ

2A + σ2

A + π1ψ1σ2A + ψ2

1σ2A,

tj. ekvivalentno

γ0 =1 + ψ2

1 + 2π1ψ1

1− π21

σ2A.

Dakle,

γ1 = π1γ0 + ψ1σ2A

=π1(1 + ψ2

1 + 2π1ψ1)

1− π21

σ2A + ψ1σ

2A

=(π1 + ψ1)(1 + π1ψ1)

1− π21

σ2A.

Za k ≥ 2 iz (3.25) imamoγk = π1γk−1, k ≥ 2.

Dakle, za ARMA(1,1) proces imamo autokorelacionu funkciju:

ρk =

1 k = 0,

(π1+ψ1)(1+π1ψ1)

1+ψ21+2π1ψ1

, k = 1,

π1ρk−1 k ≥ 2.

(3.26)

Primetimo da autokorelaciona funkcija ARMA(1,1) procesa kombinuje karakteri-stike oba procesa, i AR(1) i MA(1). Za izra£unavanje ρ1 se koristi ψ1. Nakon toga,za k ≥ 2 se ρk pona²a kao za AR(1) proces.

Op²ti oblik PACF me²ovitog modela je komplikovan i nema naro£ite potrebe zanjim. Dovoljno je samo primetiti da, budu¢i da ARMA(1,1) proces sadrºi MA(1)proces kao specijalan slu£aj, PACF ovog procesa opada eksponencijalno. Isto vaºi iza ACF (po²to je AR(1) proces sadrºan u ARMA(1,1) procesu), pri £emu oblik zavisiod znaka i veli£ine konstanti π1 i ψ1. Neki od oblika ACF i PACF za ARMA(1,1)proces su prikazani na slikama (3.15) i (3.16) Prime¢uje se da zbog kombinovanogdelovanja π1 i ψ1 na PACF, on ima mnogo vi²e razli£itih oblika nego kod MA(1)procesa.

Primer 17. Simulirano je 250 vrednosti ARMA(1,1) procesa (1 − 0, 9B)Zt =


Slika 3.15: Op²ti oblik ACF i PACF ARMA(1,1) procesa


Slika 3.16: Op²ti oblik ACF i PACF ARMA(1,1) procesa


k 1 2 3 4 5 6 7 8 9 10

ρk 0,57 0,50 0,47 0,35 0,31 0,25 0,21 0,18 0,10 0,12

St.Gr. 0,06 0,08 0,09 0,10 0,11 0,11 0,11 0,11 0,11 0,11

φkk 0,57 0,26 0,18 -0,03 0,01 -0,01 0,01 0,01 -0,08 0,05

St.Gr. 0,06 0,06 0,06 0,06 0,06 0,06 0,06 0,06 0,06 0,06

Tabela 3.6:

Slika 3.17: Uzora£ke ACF i PACF procesa (1− 0, 9B)(Zt − 10) = (1− 0, 5B)At

(1 − 0, 5B)At, gde je At Gausov N(0, 1) proces belog ²uma, pri £emu su vredno-sti uzora£kih ACF i PACF date u tabeli (3.6), dok im je oblik prikazan grakom(3.17). I ρk i φkk ukazuju da se radi o ARMA modelu, dok je teºe odrediti stepenautoregresivnog polinoma i polinoma pokretnih sredina. Za sada ¢emo se ograni£itisamo na utvrivanje tipa procesa, odnosno da li je on £ist MA ili AR proces ili jeARMA proces. Ako paºnju usmerimo samo na PACF prikazanu u tabeli, ignori²u¢iACF, moºemo znati da nije u pitanju MA proces, po²to kod MA procesa pozitivnevrednosti PACF ne opadaju eksponencijalno.

Primer 18. Za ARMA(1,1) proces (1 − 0, 6B)Zt = (1 − 0, 5B)At je simulirano250 vrednosti i rezultati su dati pomo¢u tabele (3.7) i slike (3.18). Nijedna vred-nost se zna£ajno ne razlikuje od nule, ²to ukazuje na proces belog ²uma. Uzora£kePACF i ACF su male zato ²to se autoregresivni polinom i polinom pokretnih sredinameusobno poni²tavaju. Iz (3.26) sledi da je ACF za ARMA (1,1) proces data saρk = πk−1

1 (π1 + ψ1)(1 + π1ψ1)/(1 + ψ21 + 2π1ψ1) za k ≥ 1, ²to je pribliºno nula za

π1 ' ψ1. Dakle, nemogu¢e je razlu£iti na osnovu ovih podataka da li se radi o pro-cesu belog ²uma ili o ARMA procesu sa pribliºno jednakim AR i MA polinomima.Pretpostavka da ovi polinomi nemaju zajedni£ke korene je potrebna da se izbegneovakva situacija.


k 1 2 3 4 5 6 7 8 9 10

ρk 0,10 0,05 0,09 0,00 -0,02 0,02 -0,02 0,04 -0,04 0,01

St.Gr. 0,06 0,06 0,06 0,06 0,06 0,06 0,06 0,06 0,06 0,06

φkk 0,10 0,04 0,08 -0,02 -0,02 0,01 -0,02 0,05 -0,05 0,02

St.Gr. 0,06 0,06 0,06 0,06 0,06 0,06 0,06 0,06 0,06 0,06

Tabela 3.7:

Slika 3.18: Uzora£ke ACF i PACF procesa (1− 0, 6B)(Zt − 10) = (1− 0, 5B)At

Glava 4

Ocenjivanje parametara

U ovoj glavi ¢emo razmotriti osnovni metodi ocenjivanja parametara: metodmomenata, metod maksimalne verodostojnosti i metod najmanjih kvadrata. Nakraju ¢e biti re£i o empirijskoj funkciji verodostojnosti.

4.1 Metod momenata

Ovaj metod se ogleda u tome da se nepoznati parametri odreuju iz jedna£ina ukojima se pojavljuju teorijski momenti. Ocene metodom momenata se onda dobijajutako ²to se teorijski momenti zamene uzora£kim.

Primenimo ovaj metod na AR(p) proces

Zt = π1Zt−1 + π2Zt−2 + ...+ πpZt−p + At.

O£ekivanje E(Zt) se ocenjuje uzora£kom sredinom Z. Podsetimo se relacije (3.9)

ρk = π1ρk−1 + π2ρk−2 + ...+ πpρk−p, k ≥ 1.

Menjanjem ρk sa ρk, a zatim pisanjem dobijene jedna£ine za konkretne vrednostik = 1, 2, ..., n, dobija se sistem

ρ1 = π1 + π2ρ1 + π3ρ2 + ...+ πpρp−1

ρ2 = π1ρ1 + π2 + π3ρ1 + ...+ πpρp−2

...ρp = π1ρp−1 + π2ρp−2 + π3ρp−3 + ...+ πp,

na osnovu kog se odreuju nepoznati parametri π1, π2, ..., πp. Pri zapisivanju sistemasmo koristili poznate £injenice ρ0 = 1 i ρk = ρ−k. Ovaj sistem se moºe predstaviti i

62

Ocenjivanje parametara 63

u matri£nom obliku, a zatim re²iti po vektoru nepoznatih parametaraπ1

π2

...

πp

=

1 ρ1 ρ2 · · · ρp−2 ρp−1

ρ1 1 ρ1 · · · ρp−3 ρp−2

......

ρp−1 ρp−2 ρp−3 · ρ1 1

−1

ρ1

ρ2

...

ρp

. (4.1)

Ove ocene se £esto zovu i Jil-Vokerove ocene (Yule-Walker). Nakon izra£unavanjaπ1, π2, ...πp moºemo oceniti σ2

A pomo¢u jedna£ine

γ0 = E(ZtZt) = E[Zt(π1Zt−1 + π2Zt−2 + ...+ πpZt−p + At)

]= π1γ1 + π2γ2 + ...+ πpγp + σ2

A.

Odavde jeσ2A = γ0(1− π1ρ1 − ...− πpρp), (4.2)

gde je γ0 uzora£ka varijansa niza Zt.

Primer 19. Za AR(1) model

(Zt − µ) = π1(Zt−1 − µ) + At

se iz jedna£ine (4.1) menjanjem ρ1 sa ρ1 dobija Jil-Vokerova ocena za π1

π1 = ρ1.

O£ekivanje je ocenjeno uzora£kom sredinom

µ = Z,

dok se disperzija σ2A belog ²uma odreuje iz (4.2)

σ2A = γ0(1− π1ρ1).

Kod MA(q) procesa se u izrazima za ρk pojavljuje nelinearna zavisnost od para-metara ψi, i ∈ 1, 2, ..., q, pa re²avanje dobijenog sistema moºe biti komplikovano.Iz tog razloga ne¢emo razmatrati op²ti MA(q) proces, ve¢ ¢emo na²u paºnju usmeritisamo na proces prvog reda.

Primer 20. MA(1) proces, dat relacijom

Zt = At + ψ1At−1,

zadovoljava jedna£inu (3.18)

ρ1 =ψ1

1 + ψ21

.


Re²avanje kvadratne jedna£ine po ψ1 i zamena ρ1 sa ρ1 daju

ψ1 =1±

√1− 4ρ2

1

2ρ1

.

Za ρ1 = ±0, 5 imamo jedinstveno re²enje ψ1 = ±1, koje daje neinvertibilan model.Ako je |ρ1| > 0, 5, onda ψ1 nema realnu vrednost. Ovaj rezultat je o£ekivan, zato²to za MA(1) modele sa realnim parametrom uvek vaºi |ρ1| < 0, 5, kao ²to je ve¢ di-skutovano. Za |ρ1| < 0, 5 postoje dva razli£ita realna re²enja i uvek biramo ono kojezadovoljava uslov invertibilnosti. Nakon odreivanja ψ1 ra£unamo ocenu momenataza σ2

A kao

σ2A =

γ0

1 + ψ21

.

Ponovo µ ocenjujemo sa Z.

4.2 Metod maksimalne verodostojnosti

Zbog mnogih dobrih osobina metod maksimalne verodostojnosti se dosta koristi uocenjivanju. U ovom odeljku ¢emo razmotriti nekoliko alternativnih ocena metodommaksimalne verodostojnosti koje se koriste u analizi vremenskih nizova.

Primer 21. Ilustrova¢emo traºenje maksimuma funkcije verodostojnosti na primeruAR(1) modela

(1− π1B)Zt = At,

tj.Zt = π1Zt−1 + At,

gde je Zt = Zt − µ, |π1| < 1 i At je IID proces sa N(0, σ2A) raspodelom. Zapisuju¢i

ovaj proces u MA reprezentaciji, imamo

Zt =∞∑j=0

πj1At−j.

Zt ima N(0,σ2A

1−π21) raspodelu. Da bismo izra£unali funkciju verodostojnosti (tj. za-

jedni£ku funkciju gustine verovatno¢e P (Z1, Z2, ..., Zn)), posmatra¢emo slede¢e ve-li£ine

E1 =∞∑j=0

πj1A1−j = Z1

A2 = Z2 − π1Z1

A3 = Z3 − π1Z2

...An = Zn − π1Zn−1.


Primetimo da E1 ima normalnu N(0,σ2A

1−π21) raspodelu, a At, za 2 ≤ t ≤ n ima

normalnu N(0, σ2A) raspodelu. Pritom su E1, A2, ..., An meusobno nezavisne, pa je

P (E1, A2, ..., An) =

(1− π2

1

2π

) 12

exp

[−E2

1(1− π21)

2σ2A

](1

2πσ2A

)n−22

exp

[− 1

2σ2A

n∑i=1

A2t

].

Sada posmatrajmo transformaciju

Z1 = E1

Z2 = π1Z1 + A2

Z3 = π1Z2 + A3

...Zn = π1Zn−1 + An,

£iji je Jakobijan

J =

∣∣∣∣∣∣∣∣∣∣∣∣∣

1 0 . . · · · 0

−π1 1 0 . 0

0 -π1 1 0 0...

...

0 · · · 0 -π1 1

∣∣∣∣∣∣∣∣∣∣∣∣∣= 1.

Odatle je

P (Z1, Z2, ..., Zn) = P (E1, A2, ..., An) =

=

(1− π2

1

2πσ2A

) 12

exp

[−Z2

1(1− π21)

2σ2A

]

·(

1

2πσ2A

)n−12

exp

[− 1

2σ2A

n∑t=2

(Zt − π1Zt−1)2

].

Dakle, imamo slede¢u logaritamsku funkciju verodostojnosti

lnL(Z1, Z2, ..., Zn|π1, µ, σ2A) = −n

2ln2π1 +

1

2ln(1− π2

1)− n

2lnσ2

A −S(π1, µ)

2σ2A

,

gde je

S(π1, µ) = (Z1 − µ)2 +n∑i=2

[(Zt − µ)− π1(Zt−1 − µ)]2 .

Neka je dat op²ti stacionaran ARMA(p,q) proces

Zt = π1Zt−1 + ...+ πpZt−p + At + ψ1At−1 + ...+ ψqAt−q, (4.3)

gde je Zt = Zt − µ i At je beli ²um sa N(0, σ2A) raspodelom. Odavde moºemo


izraziti At

At = Zt − π1Zt−1 − ...− πpZt−p − ψ1At−1 − ...− ψqAt−q. (4.4)

Zajedni£ka gustina raspodele za A = (A1, A2, ..., An)′ je data sa

P (A|Π, µ,Ψ, σ2A) = (2πσ2

A)−n2 exp

(− 1

2σ2A

n∑i=1

A2t

), (4.5)

gde je Π = (π1, ..., πp)′ i Ψ = (ψ1, ..., ψq)

′. Neka je Z = (Z1, Z2, ..., Zn)′. Logaritmo-vanjem izraza (4.5) dobijamo uslovnu logaritamsku funkciju verodostojnosti

lnL∗(Π, µ,Ψ, σ2A) = −n

2ln2πσ2

A −S∗(Π, µ,Ψ)

2σ2A

, (4.6)

gde smo sa S∗(Π, µ,Ψ) ozna£ili sumu∑n

t=1A2t (Π, µ,Ψ|Z∗,A∗,Z). Ovu veli£inu zo-

vemo funkcija uslovne sume kvadrata. Pretpostavimo da su nam poznati po£etniuslovi Z∗ = (Zt−p, ..., Z−1, Z0)′ iA∗ = (At−q, ..., A−1, A0)′. Vrednosti Π, µ i Ψ za kojefunkcija (4.6) ima maksimalnu vrednost zovu se ocene uslovne maksimalne verodo-stojnosti, dok se ceo metod zove metod uslovne maksimalne verodostojnosti.Kako prvi sabirak u lnL∗(Π, µ,Ψ, σ2

A) ne sadrºi podatke, to se ove ocene poklapajusa ocenama dobijenim minimiziranjem funkcije S∗(Π, µ,Ψ), tj. sa ocenama uslovnihnajmanjih kvadrata, o kojima ¢e biti re£i kasnije.

Postoji nekoliko razli£itih na£ina za odreivanje po£etnih uslova Z∗ i A∗. Zbogstacionanosti procesa Zt moºemo oceniti Zt uzora£kom sredinom Z. Sa drugestrane, kako je At niz IID slu£ajnih promenljivih sa N(0, σ2

A) raspodelom, zame-ni¢emo At o£ekivanjem E(At) = 0. Dakle, jedan na£in je da po£etne uslove ocenimokao Z∗ = (µ, µ, ...µ)′ i A∗ = (0, 0, ..., 0)′. Koriste¢i jedna£inu (4.4) ra£una se Atza t = 1, 2, ..., n i na taj na£in formira suma S∗(Π, µ,Ψ). Drugi na£in je da se neocenjuje Z∗, ve¢ da pretpostavimo da je Ap = Ap−1 = ... = Ap+1−q = 0, a da zatimkori²¢enjem iste formule izra£unamo At za t = p + 1, ..., n. U tom slu£aju, uslovnasuma kvadrata dobija slede¢i oblik

S∗(Π, µ,Ψ) =n∑

t=p+1

A2t (Π, µ,Ψ|Z). (4.7)

Nakon odreivanja ocena Π, µ i Ψ, σ2A se ra£una po formuli

σ2A =

S∗(Π, µ,Ψ)

d.f,

gde je d.f (degrees od freedom) broj stepeni slobode, odnosno broj £lanova koji u£e-stvuju u zbiru S∗(Π, µ,Ψ) minus broj ocenjenih parametara. Ako je (4.7) kori²¢enoza ra£unanje sume kvadrata, tada je

d.f. = (n− p)− (p+ q + 1) = n− (2p+ q + 1).

Pored ovog metoda, £esto se koristi i metod bezuslovne maksimalne ve-


rodostojnosti. Dok u metodu uslovne maksimalne verodostojnosti guri²u Z∗ =(Z1−p, ..., Z−1, Z0)′ i A∗ = (A1−q, ..., A−1, A0)′, kod bezuslovne maksimalne verodo-stojnosti se elimini²e zavisnost od ovih veli£ina, na taj na£in ²to se njihove vrednostiprethodno predvide na osnovu Z = (Z1, ..., Zn)′. Predviena budu¢a vrednost nizase ra£una kao uslovno o£ekivanje veli£ine koju ºelimo da predvidimo, pod uslovomprethodnih vrednosti. ARMA model

(1− π1B − ...− πpBp)Zt = (1 + ψ1B + ...+ ψqBq)At,

gde je BjZt = Zt−j se koristi za predvianje unapred. Na sli£an na£in se ekvivalentnioblik ovog modela

(1− π1F − ...− πpF p)Zt = (1 + ψ1F + ...+ ψqFq)Et

gde je F jZt = Zt+j koristi za predvianje unazad, tj. za predvianje prethodnihvrednosti. Zbog stacionarnosti, ova dva oblika imaju istu autokovarijansnu struk-turu, pa je i Et proces belog ²uma sa nultim o£ekivanjem i varijansom σ2

E. Dakle,po²to Z∗ i A∗ predviamo na osnovu Z, o£ekivanje pod uslovom Z∗,A∗ i Z se svodina o£ekivanje pod uslovom Z. Izraz za bezuslovnu logaritamsku funkciju verodo-stojnosti ima sli£an oblik kao izraz za uslovnu logaritamsku funkciju verodostojnosti

lnL(Π, µ,Ψ, σ2A) = −n

2ln2πσ2

A −S(Π, µ,Ψ)

2σ2A

, (4.8)

s tim ²to je S(Π, µ,Ψ) bezuslovna suma kvadrata funkcija data sa

S(Π, µ,Ψ) =n∑

t=−∞

(E(At|Π, µ,Ψ,Z))2 .

Dakle, od uslovne sume kvadrata se razlikuje po tome ²to je At(Π, µ,Ψ|Z∗,A∗,Z)zamenjeno o£ekivanjem E(At|Π, µ,Ψ,Z), i ²to umesto kona£ne sume imamo besko-na£nu, jer se sumiraju sve pro²le vrednosti. Meutim, u praksi je ova suma kona£nai svodi se na

S(Π, µ,Ψ) =n∑

t=−M

[E(At|Π, µ,Ψ,Z)]2 .

Broj M odreujemo tako da se E(Zt|Π, µ,Ψ,Z) i E(Zt−1|Π, µ,Ψ,Z) razlikuju zamanje od bilo kog unapred zadatog proizvoljno malog pozitivnog broja ε za svakot ≤ −(M + 1). Ovim se postiºe to da je E(Zt|Π, µ,Ψ,Z) ' µ za t ≤ −(M + 1),a to povla£i E(At|Π, µ,Ψ,Z) ' 0. Zbog toga moºemo beskona£nu sumu zamenitikona£nom.

Ocene Π, µ i Ψ dobijene metodom bezuslovne maksimalne verodostojnosti suone vrednosti za koje je funkcija (4.8) maksimalna. Ponovo se ove ocene mogudobiti minimiziranjem sume S(Π, µ,Ψ), po²to lnL(Π, µ,Ψ, σ2

A) sadrºi Π, µ i Ψsamo preko tog £lana.

Nakon izra£unavanja Π, µ i Ψ, odreuje se σ2A pomo¢u formule


σ2A =

S(Π, µ, Ψ)

n. (4.9)

Primer 22. Za ilustracuiju ovog metoda, posmatrajmo AR(1) model

At = Zt − πZt−1, (4.10)

koji se moºe zapisati ekvivalentno

Et = Zt − πZt+1, (4.11)

gde, bez gubljenja op²tosti, pretpostavljamo E(Zt) = 0. Posmatra¢emo 10 opserva-cija datih u tabeli (4.1) u koloni E(Zt|Z) za t = 1, 2, ..., 10. Neka je π = 0, 3. elimoda izra£unamo sumu

S =10∑

t=−M

[E(At|π = 0, 3,Z)]2 ,

pri £emu M biramo tako da bude∣∣∣E(Zt|π = 0, 3,Z)− E(Zt−1|π = 0, 3,Z)

∣∣∣ < 0, 005

za t ≤ −(M+1). S obzirom na to da smo ksirali π = 0, 3, izostavlja¢emo pri pisanjuuslovljenost sa π = 0, 3, podrazumevaju¢i je. Koriste¢i formulu (4.10) moºemoizra£unati

E(At|Z) = E(Zt|Z)− πE(Zt−1|Z) za t = 2, ..., 10. (4.12)

Sve izra£unate vrednosti se nalaze u tabeli. Da bismo poslednju jedna£inu primenilii za t ≤ 1, potrebne su nam vrednosti Zt za t ≤ 0. Njih ¢emo oceniti pomo¢uformule (4.11)

E(Zt|Z) = E(Et|Z) + πE(Zt+1|Z). (4.13)

Takoe koristimoE(Et|Z) = 0 za t ≤ 0.

Sada kori²¢enjem (4.13) ra£unamo E(Z0|Z), E(Z−1|Z), E(Z−2|Z) i E(Z−3|Z). Ovevrednosti su unete u tabelu. Po²to je

∣∣∣E(Z−2|Z)− E(Z−3|Z)∣∣∣ < 0, 005, biramoM =

2. Sada se moºemo vratiti formuli (4.12) i izra£unati E(At|Z) za t = 1, 0,−1,−2.Napokon, po²to smo izra£unali sve neophodne veli£ine, moºemo izra£unati i sumuS = 0, 8232. Ra£unanjem ove sume za raz£ite vrednosti parametra π, on se moºeoceniti kao ona vrednost za koju je suma minimalna.

4.3 Metod najmanjih kvadrata

Su²tina metoda najmanjih kvadrata je minimiziranje sume kvadrata odstupanjaocenjene vrednosti od ta£ne. Za regresioni model denisan sa

Zt = πXt + At, t = 1, ..., n


t E(At|Z) −0.3E(Zt−1|Z) E(Zt|Z) 0.3E(Zt+1|Z) E(Et|Z)

-3 -0,0016 -0,0016 0

-2 -0,0049 0,0005 -0,0054 -0,0054 0

-1 -0,0164 0,0016 -0,018 -0,018 0

0 -0,0546 0,0054 -0,06 -0,06 0

1 -0,182 0,018 -0,2

2 -0,34 0,06 -0,4

3 -0,38 0,12 -0,5

4 -0,35 0,15 -0,5

5 -0,45 0,15 -0,6

6 -0,32 0,18 -0,5

7 -0,25 0,15 -0,4

8 -0,08 0,12 -0,2

9 -0,04 0,06 -0,1

10 -0,17 0,03 -0,2

Tabela 4.1:

je ocena metodom najmanjih kvadrata data izrazom

π =

∑ni=1 XtZt∑ni=1X

2t

. (4.14)

Ova ocena je nepristrasna i postojana. Da bi ovo vaºilo, potrebno je da buduispunjeni slede¢i uslovi1. E(At) = 0,2. E(A2

t ) = σ2A,

3. E(AtAk) = 0, za t 6= k,4. E(XtAt) = 0.etvrti uslov u op²tem slu£aju nije ispunjen za ARMA modele. Iz tog razloga se£esto pribegava drugim metodima.

Razmotrimo sada AR(1) proces

Zt = πZt−1 + Et.

Ocena data sa (4.14) dobija slede¢i oblik

π =

∑ni=1 Zt−1Zt∑ni=1 Z

2t−1

(4.15)

i predstavlja ocenu metodom obi£nih najmanjih kvadrata. Za AR(1) modelimamo ρ1 = π. Takoe se moºe videti iz oblika formule (4.15) da je π = ρ1.


Za ocenjivanje parametara se koriste i metod uslovnih najmanjih kvadratai metod bezuslovnih najmanjih kvadrata. Oni se zasnivaju na minimiziranjudisperzije reziduala (odnosno procesa belog ²uma kod ARMA modela), tj. na mini-miziranju suma u formulama (4.6) i (4.8), kao ²to je ve¢ pomenuto.

Primer 23. Primenimo sada metod uslovnih najmanjih kvadrata na AR(p) proces

Zt = π1Zt−1 + π2Zt−2 + ...+ πpZt−p + At.

Zt ¢emo oceniti o£ekivanjem E(Zt|Zt−1, ...Zt−p). Suma kvadrata odstupanja postaje

S =n∑

t=p+1

(Zt − E(Zt|Zt−1, ...Zt−p))2 = V ar(Zt|Zt−1, ...Zt−p).

Kako je E(Zt|Zt−1, ...Zt−p) = π1Zt−1 + ... + πpZt−p + µA, to se parametri π1, ..., πpodreuju iz uslova

∂S

∂πi= 0, i = 1, ..., p.

4.4 Empirijska funkcija verodostojnosti

Posmatrajmo uzorak Z1, Z2, ..., Zn, sa£injen od nezavisnih realnih slu£ajnih pro-menljivih, sa funkcijom raspodele F0. Metod maksimalne verodostojnosti je para-metarski metod ocenjivanja, s obzirom na to da ocene zavise od same raspodelekojoj podleºu slu£ajne promenljive. Ako ova raspodela nije unapred poznata, i akoumesto nje koristimo raspodelu koja nije dovoljno blizu ta£noj raspodeli, onda ovajmetod ne daje dobre rezultate. Zato se do²lo na ideju da se uvede neparametarskafunkcija verodostojnosti.

Denicija 9. Neka su Z1, Z2, ..., Zn nezavisne realne slu£ajne promenljive sa funk-cijom raspodele F0. Neparametarska funkcija verodostojnosti je data izrazom

L(F ) =n∏i=1

(F (Zi)− F (Zi−)) .

Ova funkcija zapravo predstavlja verovatno¢u realizacije neke od uzora£kih vrednostiZ1, Z2, ..., Zn, sa funkcijom raspodele F .

Pokaza¢emo da je neparametarska funkcija verodostojnosti maksimalna kada zaF izaberemo empirijsku funkciju raspodele.

Denicija 10. Neka je dat uzorak Z1, Z2, ..., Zn. Empirijska funkcija raspodele

na osnovu tog uzorka je

Fn(x) =1

n

n∑i=1

IZi≤x, za svako −∞ < x <∞,

gde je sa IZi≤x ozna£en indikator koji ima vrednost 1 kada se realizuje dogaajZi ≤ x, a u suprotnom je 0.


Teorema 13. Neka je Z1, Z2, ..., Zn uzorak, sa£injen od nezavisnih slu£ajnih pro-menljivih sa funkcijom raspodele F0. Neka je, dalje, Fn empirijska funkcija raspodeledatog uzorka, a F bilo koja funkcija raspodele razli£ita od Fn. Tada je L(F ) < L(Fn).

Dokaz. Neka su x1, x2, ..., xm razli£ite realizovane vrednosti ovog uzorka, u rastu¢emporetku. Sa pj ozna£imo verovatno¢u pj = F (xj)−F (xj−), a sa nj broj onih Zi £ijaje realizacija xj. Deni²imo pj =

njn. Ako bi bilo pj = 0 za neko j, onda bi vaºilo

L(F ) = 0 < L(Fn), pa bi tvrenje teoreme bilo ispunjeno. Pretpostavimo zato daje pj > 0 za svako j = 1, ...,m.

log

(L(F )

L(Fn)

)=

n∑i=1

log (F (Zi)− F (Zi−))−n∑i=1

log (Fn(Zi)− Fn(Zi−))

=n∑i=1

logF (Zi)− F (Zi−)

Fn(Zi)− Fn(Zi−)=

m∑j=1

njlogpjpj

= n

m∑j=1

pjlogpjpj.

Po pretpostavci teoreme je F 6= Fn, pa je bar za neko j ispunjeno pj 6= pj. Sadamoºemo primeniti poznatu nejednakost log(x) ≤ x − 1 na svaki £lan log

pjpj. Ova

nejednakost je ispunjena za svako pozitivno x i dostiºe jednakost jedino za x = 1.Dakle, imamo

log

(L(F )

L(Fn)

)< n

m∑j=1

pj

(pjpj− 1

)≤ 0.

Odavde slediL(F ) < L(Fn).

Neka je η parametar koji guri²e u funkciji verodostojnosti i neka je η njegovaocena dobijena metodom maksimalne verodostojnosti. Ako je θ = θ(η), tada para-metar θ ocenjujemo kao θ = θ(η). U slu£aju neparametarske funkcije verodostoj-nosti parametar koji ocenjujemo se izraºava preko F , tj. θ = T (F ), gde je T nekafunkcija koja slika skup funkcija raspodele u skup realnih brojeva. Ta£na vrednostparametra θ0 = T (F0) je odreena pomo¢u ta£ne funkcije raspodele F0. Ocena dobi-jena metodom maksimalne neparametarske funkcije verodostojnosti je data izrazomθ = T (Fn). Na primer, ako ºelimo da ocenimo o£kivanje θ0 =

∫xdF0(x), dobi¢emo

θ =∫xdFn(x) = 1

n

∑ni=1 Zi = Z.

Mogu¢e je testirati hipotezu η0 = η pomo¢u funkcije verodostojnosti. Naime,Vilkova (Wilk) teorema tvrdi da −2log

(L(η0)L(η)

)teºi χ2 raspodeli kada n → ∞, pri

£emu je broj stepeni slobode χ2 raspodele jednak dimenziji skupa vrednosti kojeuzima η. Ako je L(η) mnogo manje od L(η), onda se odbacuje hipoteza η0 = η.Interval poverenja za θ je slika intervala poverenja za η, tj.

θ(η)|L(η) ≥ cL(η),

gde se konstanta c odreuje pomo¢u Vilkove teoreme.


Po analogiji sa parametarskom funkcijom verodostojnosti, uvodi se koli£nik

R(F ) =L(F )

L(Fn),

gde je L(F ) neparametarska funkcija verodostojnosti. Posmatrajmo parametar θ =T (F ), gde je T neka funkcija, a F pripada skupu dopustivih raspodela F . U op²temslu£aju F moºe biti skup svih raspodela na R, ali se obi£no uzima neki manji skup.Deni²e se slede¢a veli£ina

R(θ) = supR(F )|T (F ) = θ, F ∈ F.

Hipoteza H0 : T (F0) = θ0 se odbija kada je R(θ0) < r0, za neku granicu r0. Intervalpoverenja dobijen empirijskom funkcijom verodostojnosti je

θ|R(θ) ≥ r0.

Pretpostavimo da je Zi 6= Zj za i 6= j. Ako ozna£imo pi = F (Zi)−F (Zi−), tadaje∑n

i=1 pi ≤ 1 i L(F ) =∏n

i=1 pi, pa je

R(F ) =L(F )

L(Fn)=

n∏i=1

npi.

Sada razmotrimo slu£aj kada je mogu¢e da vaºi Zi = Zj za i 6= j. Neka su x1, x2, ...xkrazli£ite vrednosti i neka se xj javlja nj puta u uzorku, a neka je verovatno¢a kojajoj odgovara pj. Tada R(F ) dobija komplikovaniji oblik

R(F ) =k∏j=1

(pjpj

)nj=

k∏j=1

(npjnj

)nj.

Meutim, i ovaj slu£aj moºemo svesti na prethodni ako predeni²emo neparametar-sku funkciju verodostojnosti. Svakom Zi pridruºimo teºinu ωi, tako da je zbir svihωi, za koji je Zi = xj jednak pj. Denisa¢emo funkciju verodostojnosti kao proizvod∏n

i=1 ωi. O£igledno ova denicija nije jedinstvena, pa ¢emo posmatrati maksimumza R(F ) meu svim mogu¢im izborima ω1, ..., ωn. Pokazuje se da je

R(F ) =n∏i=1

nωi.

Kod primene metoda empirjske verodostojnosti na procese, obi£no se prvo koristiparametarska verodostojnost za dobijanje jedna£ina kojima se ocenjuju parametri,a zatim se prelazi na neparametarsku verodostojnost. Ilustrova¢emo to na primeruAR(1) modela

Zt = π1Zt−1 + At,

gde je Zt = Zt − µ. Ako je At niz nezavisnih slu£ajnih promenljivih sa N(0, σ2A)

raspodelom, i ako Z0 ima normalnu raspodelu i |π1| < 1, onda raspodela za Zt teºi


normalnoj N(µ, σ2) raspodeli kada n→∞. Funkcija verodostojnosti je tada

L =T∏t=1

f(Zt|Z1, ..., Zt−1;µ, π1, σA)

=e− 1

2σ2Z

Z1

√2πσZ

T∏t=2

e− 1

2σ2A

(Zt−Zt−1)2

√2πσA

.

Kako je ovaj izraz komplikovan, ignori²e se prvi £lan u proizvodu, a zatim se po-smatra logritam i prelazi se na uslovnu funkciju verodostojnosti u obliku

LC =T∏t=2

1√2πσA

exp

(− 1

2σ2A

(Zt − π1Zt−1)2

).

Izjedna£avanjem parcijalnih izvoda po µ, σA, i π1 sa nulom, dobijaju se jedna£inekoje se mogu predstaviti u obliku jedne vektorske jedna£ine

T∑t=2

Yt = 0,

gde je Yt = Yt(µ, σA, π1) = (At, ZtAt, A2t − σ2). Tada je

R(θ) = sup

T−1∏t=1

ωt

∣∣∣∣ωt > 0,T−1∑t=1

ωt = 1,T−1∑t=1

ωtZ1+t = 0

Ako su At nezavisni i imaju N(0, σ2A) raspodelu, onda −2logR teºi χ2 raspodeli.

Glava 5

Izbor modela

Kod analize ARMA modela diskutovali smo grake za ACF i PACF i kako dana osnovu njih prepoznamo o kojem modelu je re£. Meutim, na osnovu autokova-rijansne i autokorelacione funckije je, u op²tem slu£aju, nemogu¢e zaklju£iti ne²too rezidualu, tj. o procesu belog ²uma. Sada ¢emo pomenuti razne kriterijume zaizbor odgovaraju¢eg modela, koji se baziraju na raspodeli procesa belog ²uma

Akaik (Akaike) je uveo informacioni kriterijum (AIC-Akaike information cri-terion) za ocenjivanje mere toga koliko model odgovara podacima. Neka modelkojim opisujemo podatke ima M parametara. Kriterijum se ogleda u tome da sebira model kod kojeg AIC(M) ima minimalnu vrednosti. Deni²imo sada AIC(M)

AIC(M) = −2ln[maksimum funkcije verodostojnosti] + 2M.

Za ARMA model i n opservacija logaritam funkcije verodostojnosti je dat pomo¢u(4.8)

lnL = −n2ln2πσ2

A −1

2σ2A

S(Π, µ,Ψ).

Nalaºenjem maksimuma ovog izraza po Π, µ,Ψ i σ2A dobija se iz (4.9)

lnL = −n2lnσ2

A −n

2(1 + ln2π).

Kako je drugi £lan konstantan, a od interesa je jedino minimum, moºemo smatratida je

AIC(M) = nlnσ2A + 2M.

Dakle, optimalan red ARMA modela (tj. p i q) bira se tako da AIC(M) budeminimalno. Ovaj kriterijum ne tvrdi da je neki model dobar, ve¢ samo da je najboljiod posmatranih.

ibata (Shibata)je pokazao da AIC metod obi£no daje ve¢i red autoregresije,nego ²to bi trebalo. U skladu sa tim, Akaik je razvio modikovani metod, koji sezove Bajesov informacioni kriterijum (BIC - Bayesian information criterion) i

74

Izbor modela 75

odreen je pomo¢u

BIC(M) = nlnσ2A − (n−M)ln

(10M

n

)+Mlnn+Mln

[(σ2Z

σ2A

− 1

)/M

],

gde je σ2A ocena maksimalne verodostojnosti za σ2

A, M broj parametara modela, aσ2Z uzora£ka varijansa niza.

varc (Schwarz) je predloºio modikovani Bajesov (Bayes) kriterijum (SBC -Schwarz Bayesian criterion) zasnovan na slede¢oj veli£ini

SBC(M) = nlnσ2A +Mlnn.

Kriterijum se zove SBC, ²to je skra¢enica od Schwartz's Bayesian criterion. Veli£ineσ2A,M i n su denisane kao malopre.Parzenov (Parzen) kriterijum (CAT - criterion for autoregressive transfer

functions) se svodi na minimiziranje veli£ine

CAT (p) =

−(1 + 1

n

), p = 0,

1n

∑pj=1

1σ2j− 1

σ2p, p = 1, 2, 3, ...,

gde je σ2j nepristrasna ocena za σ2

A kada vremenski niz tujemo AR(1) modelom, an je broj opservacija.

76

Literatura

[1] William W. S. Wei, Time Series Analysis, Univariate and Multivariate Methods,Pearson Addison Wesley, 2006

[2] Peter J. Brockwell, Richard A. Davis, Time Series:Theory and Methods, SpringerScience and Business Media, 2009

[3] Peter J. Brockwell, Richard A. Davis, Introduction to Time Series and Foreca-sting, Springer Science and Business Media, 2013

[4] Art B. Owen, Empirical Likelihood, CRC Press, 2001

77

Biograja

Petra Laketa je roena 22.10.1991. u Ni²u. Zavr²ila je osnovnu ²kolu U£iteljTasa u Ni²u kao u£enik generacije. Gimnaziju Svetozar Markovi¢ u Ni²u, odeljenjeza u£enike sa posebnim sklonostima za ziku i prirodne nauke, je zavr²ila kao nosilacVukove diplome. Osnovne akademske studije matematike je zavr²ila 2013. u Ni²usa prose£nom ocenom 10,00.

modeli vremenskih nizova i ocenjivanje njihovih …...primer za strogo stacionaran proces, koji nema...

Documents