![Page 1: Χρονοσειρές Μάθημα 5users.auth.gr/dkugiu/Teach/TimeSeriesTHMMY/Lec5.pdf · Χρονοσειρές -Μάθημα 5 ^ x x x 12, , , n ` Υποθέτ &στοχαστική](https://reader035.vdocuments.pub/reader035/viewer/2022081607/5ee2a773ad6a402d666cfe2c/html5/thumbnails/1.jpg)
Χρονοσειρές - Μάθημα 5
1 2, , , nx x xΥποθέτω στοχαστική διαδικασία MA(q) για τη χρονοσειρά
Προσαρμογή διαδικασίας (μοντέλο) MA(q) εκτίμηση παραμέτρων2
1 2, , , ,q
Εκτίμηση μοντέλου MA(q)
στοχαστική διαδικασία AR(p)
1 1 2 2t t t p t p tX X X X Z − − −= + + + +2~ WN(0, )t ZZ
στοχαστική διαδικασία MA(q)
1 1 2 2t t t t q t qX Z Z Z Z − − −= − − − −
1 1 2 2
1 1 2 2
t t t p t p t
t t q t q
X X X X Z
Z Z Z
− − −
− − −
= + + + +
− − − −
στοχαστική διαδικασία ARMA(p,q)
Εκτίμηση διαδικασίας (μοντέλο)
● τάξη p ή/και q ?
● εκτίμηση παραμέτρων μοντέλου ?
?2
1 2AR( ) : , , , ,pp
2
1 2ΜΑ( ) : , , , ,qq
2
1 2 1 2ARΜΑ( , ) : , , , , , , , ,p qp q
● AR, MA ή ARMA ? άλλο μοντέλο ?
![Page 2: Χρονοσειρές Μάθημα 5users.auth.gr/dkugiu/Teach/TimeSeriesTHMMY/Lec5.pdf · Χρονοσειρές -Μάθημα 5 ^ x x x 12, , , n ` Υποθέτ &στοχαστική](https://reader035.vdocuments.pub/reader035/viewer/2022081607/5ee2a773ad6a402d666cfe2c/html5/thumbnails/2.jpg)
Μέθοδος ροπών
Αυτοσυσχέτιση
1 1
2 2 2
1 2
1,2, ,1
0
q q
q
q
q
+ −− + + +=
+ + + +=
2 2 2 2
1(1 )X q Z = + +Διασπορά
Μη-γραμμικό σύστημα εξισώσεων ως
προς τις παραμέτρους 1 2, , , q
2
1 2, , , ,q Xr r r sΕκτίμηση των 2
1 2, , , ,q X
Μέθοδος ελαχίστων τετραγώνων
Προσαρμογή μοντέλου MA(q) στα δεδομένα
Ελαχιστοποίηση αθροίσματος τετραγώνων των σφαλμάτων προσαρμογής
2
1 1 1
1
min ( , , ) min ( )n
q t t q t q
t q
S x z z − −
= +
= − + + + ως προς 1 2, , , , q
1 2ˆ ˆ ˆ, , , q
1 1 2 2t t t t q t qX Z Z Z Z − − −= − − − −MA(q)
Αριθμητική μέθοδος βελτιστοποίησης
Αλγόριθμος innovation
![Page 3: Χρονοσειρές Μάθημα 5users.auth.gr/dkugiu/Teach/TimeSeriesTHMMY/Lec5.pdf · Χρονοσειρές -Μάθημα 5 ^ x x x 12, , , n ` Υποθέτ &στοχαστική](https://reader035.vdocuments.pub/reader035/viewer/2022081607/5ee2a773ad6a402d666cfe2c/html5/thumbnails/3.jpg)
MA(1) 1t t tX Z Z −− = −
Μέθοδος ροπών
2
1
1
1
1 1 ,2
2
1ˆ 1 1 4ˆ| | 0 5 ˆ
2. 0
r
rr r r + + =
− −=
11
1
ˆ| | 0.5| |
rr
r =
Επιλέγουμε τη λύση που δίνει αντιστρεψιμότητα ˆ| | 1
21
1
0 2
−=
= +
2 2 2(1 )q
X Z = + +2
2
2ˆ1
XZ
ss
=
+
Μέθοδος ελαχίστων τετραγώνων
1 1z x=
2 2 1 2 1z x z x x = + = +
3 3 2 3 2 1 3 2 1
2( )z x z x x x x x x = + = + + = + +
2 2 2 2 2 1 2
1 2 1 3 2 1 1 1
1
min min ( ) ( ) ( )n
n
t n n
t
z x x x x x x x x x −
−
=
= + + + + + + + + +
2 2
0 1 2 2min n
na a a −
−+ + +
2 2
1 1
1
2 2 1n n n n n
n
n
nz x z x x x x x − −
− − −= + = + + + + +
προγραμματισμός λύσης ελαχίστων
τετραγώνων με περιορισμούς για
αντιστρεψιμότητα
2n-3 λύσεις, θα πρέπει να επιλέξω
λύση ˆ| | 1 0 0z = 0 =Υποθέτω (και ) 1t t tz x z −= +
![Page 4: Χρονοσειρές Μάθημα 5users.auth.gr/dkugiu/Teach/TimeSeriesTHMMY/Lec5.pdf · Χρονοσειρές -Μάθημα 5 ^ x x x 12, , , n ` Υποθέτ &στοχαστική](https://reader035.vdocuments.pub/reader035/viewer/2022081607/5ee2a773ad6a402d666cfe2c/html5/thumbnails/4.jpg)
ΠαράδειγμαΡυθμός μεταβολής του ακαθάριστου εθνικού προϊόντος (ΑΕΠ) των
ΗΠΑ (τετραμηνιαίες τιμές, 2ο τετράμηνο 1947 – 1ο τετράμηνο 1991).
Η εποχικότητα έχει διορθωθεί (αφαιρώντας τον εποχικό κύκλο).
0 50 100 150-0.03
-0.02
-0.01
0
0.01
0.02
0.03
0.04
t
xt
GNP of USA: increments
0 5 10 15 20
-0.2
-0.1
0
0.1
0.2
0.3
0.4
0.5
r()
incr.GNP(USA): autocorrelation
ΜΑ(2) ?
τάξη
MA μοντέλου ?
0 2 4 6 8 10-9.24
-9.22
-9.2
-9.18
-9.16
-9.14
q
AIC
(q)
incr.GNP(USA): AIC of MA models
![Page 5: Χρονοσειρές Μάθημα 5users.auth.gr/dkugiu/Teach/TimeSeriesTHMMY/Lec5.pdf · Χρονοσειρές -Μάθημα 5 ^ x x x 12, , , n ` Υποθέτ &στοχαστική](https://reader035.vdocuments.pub/reader035/viewer/2022081607/5ee2a773ad6a402d666cfe2c/html5/thumbnails/5.jpg)
εκτίμηση παραμέτρων
1 20.0077 0.312 0.272t t t tx z z z− −= + + + 1, ,176t =προσαρμοσμένο ΜΑ(2)
0.00983zs =διασπορά σφαλμάτων (υπολοίπων) 2 0.000097zs =
Διάγνωση καταλληλότητας μοντέλου
είναι τα υπόλοιπα ανεξάρτητα → έλεγχο ανεξαρτησίας στα 1
ˆn
t t pz
= +
0.0077x =
OLS → 1ˆ 0.312 = − 2
ˆ 0.272 = −
0 50 100 150 200-0.03
-0.02
-0.01
0
0.01
0.02
0.03
0.04
time t
x(t)
incr.GNP(USA): MA(2) fit
100 110 120 130 140-0.03
-0.02
-0.01
0
0.01
0.02
0.03
0.04
time t
x(t
)
incr.GNP(USA): MA(2) fit
προσαρμογή
με ΜΑ(2)
0 50 100 150 200-0.03
-0.02
-0.01
0
0.01
0.02
0.03
0.04
time t
x(t)
incr.GNP(USA): AR(3) fit
100 110 120 130 140-0.03
-0.02
-0.01
0
0.01
0.02
0.03
0.04
time t
x(t
)
incr.GNP(USA): AR(3) fit
προσαρμογή
με AR(3)
![Page 6: Χρονοσειρές Μάθημα 5users.auth.gr/dkugiu/Teach/TimeSeriesTHMMY/Lec5.pdf · Χρονοσειρές -Μάθημα 5 ^ x x x 12, , , n ` Υποθέτ &στοχαστική](https://reader035.vdocuments.pub/reader035/viewer/2022081607/5ee2a773ad6a402d666cfe2c/html5/thumbnails/6.jpg)
1 2, , , nx x xΥποθέτω στοχαστική διαδικασία ARMA(p,q) για τη χρονοσειρά
Προσαρμογή διαδικασίας (μοντέλο) ARMA(p,q)
εκτίμηση παραμέτρων2
1 2 1 2, , , , , , , ,p q
Εκτίμηση μοντέλου ARMA(p,q)
στοχαστική διαδικασία AR(p)
1 1 2 2t t t p t p tX X X X Z − − −= + + + +2~ WN(0, )t ZZ
στοχαστική διαδικασία MA(q)
1 1 2 2t t t t q t qX Z Z Z Z − − −= − − − −
1 1 2 2
1 1 2 2
t t t p t p t
t t q t q
X X X X Z
Z Z Z
− − −
− − −
= + + + +
− − − −
στοχαστική διαδικασία ARMA(p,q)
Εκτίμηση διαδικασίας (μοντέλο)
● τάξη p ή/και q ?
● εκτίμηση παραμέτρων μοντέλου ?
?2
1 2AR( ) : , , , ,pp
2
1 2ΜΑ( ) : , , , ,qq
2
1 2 1 2ARΜΑ( , ) : , , , , , , , ,p qp q
● AR, MA ή ARMA ? άλλο μοντέλο ?
Μέθοδος ροπών και μέθοδος ελαχίστων τετραγώνων όπως για MA(q)
![Page 7: Χρονοσειρές Μάθημα 5users.auth.gr/dkugiu/Teach/TimeSeriesTHMMY/Lec5.pdf · Χρονοσειρές -Μάθημα 5 ^ x x x 12, , , n ` Υποθέτ &στοχαστική](https://reader035.vdocuments.pub/reader035/viewer/2022081607/5ee2a773ad6a402d666cfe2c/html5/thumbnails/7.jpg)
Μέθοδος ελαχίστων τετραγώνων
1 1z x=
2 2 1 1 2 1( )z x x z x x = − + = + −
Υποθέτω (και ) 0 0z = 0 0x = =
3 3 2 2 3 2 1( ) ( )z x x z x x x = − + = + − + −
2
1 1 1 2 1( ) ( ) ( )n
n n n n n n nz x x z x x x x −
− − − −= − + = − − + − + + −
ARMA(1,1) 1 1( )t t t tX X Z Z − −− = − + −
Επίλυση συστήματος εξισώσεων ως προς ,
2
1 2, , , ,p Xr r r sΕκτίμηση των 2
1 2, , , X Μέθοδος ροπών
2
1
( )(1 )1
1 2
2
−
− −=
+ −=
22 2
2
1 2
1X Z
+ −=
−
22 2
2
ˆ1
ˆ ˆ ˆ1 2Z Xs s
−=
+ −
?
2
1
minn
t
t
z=
προγραμματισμός λύσης ελαχίστων τετραγώνων με
περιορισμούς για αντιστρεψιμότητα και στασιμότητα
15Η συνάρτηση αντίστροφης
αυτοσυσχέτισης (inverse
autocorrelation)
16Μέθοδοι διερεύνησης της
επάρκειας μοντέλου
![Page 8: Χρονοσειρές Μάθημα 5users.auth.gr/dkugiu/Teach/TimeSeriesTHMMY/Lec5.pdf · Χρονοσειρές -Μάθημα 5 ^ x x x 12, , , n ` Υποθέτ &στοχαστική](https://reader035.vdocuments.pub/reader035/viewer/2022081607/5ee2a773ad6a402d666cfe2c/html5/thumbnails/8.jpg)
ΠαράδειγμαΡυθμός μεταβολής του ακαθάριστου εθνικού προϊόντος (ΑΕΠ) των
ΗΠΑ (τετραμηνιαίες τιμές, 2ο τετράμηνο 1947 – 1ο τετράμηνο 1991).
Η εποχικότητα έχει διορθωθεί (αφαιρώντας τον εποχικό κύκλο).
0 50 100 150-0.03
-0.02
-0.01
0
0.01
0.02
0.03
0.04
t
xt
GNP of USA: increments
0 5 10 15 20
-0.2
-0.1
0
0.1
0.2
0.3
0.4
0.5
r()
incr.GNP(USA): autocorrelation
0 2 4 6 8 10
-0.2
-0.1
0
0.1
0.2
0.3
0.4
0.5
p
p,p
incr.GNP(USA): partial autocorrelation
-1 0 1 2 3 4 5 6-9.24
-9.22
-9.2
-9.18
-9.16
-9.14
p
AIC
(p,q
)
incr.GNP(USA): AIC of ARMA models
q=0
q=1
q=2
q=3
q=4
q=5
ARMA(2,2) ?
τάξη ARMA
μοντέλου ?
![Page 9: Χρονοσειρές Μάθημα 5users.auth.gr/dkugiu/Teach/TimeSeriesTHMMY/Lec5.pdf · Χρονοσειρές -Μάθημα 5 ^ x x x 12, , , n ` Υποθέτ &στοχαστική](https://reader035.vdocuments.pub/reader035/viewer/2022081607/5ee2a773ad6a402d666cfe2c/html5/thumbnails/9.jpg)
0 50 100 150 200-0.03
-0.02
-0.01
0
0.01
0.02
0.03
0.04
time t
x(t)
incr.GNP(USA): AR(3) fit
100 110 120 130 140-0.03
-0.02
-0.01
0
0.01
0.02
0.03
0.04
time t
x(t
)
incr.GNP(USA): AR(3) fit
0 50 100 150 200-0.03
-0.02
-0.01
0
0.01
0.02
0.03
0.04
time t
x(t)
incr.GNP(USA): MA(2) fit
100 110 120 130 140-0.03
-0.02
-0.01
0
0.01
0.02
0.03
0.04
time t
x(t
)
incr.GNP(USA): MA(2) fit
προσαρμογή
με ΜΑ(2)
προσαρμογή
με AR(3)
εκτίμηση παραμέτρων
OLS →
1 2 1 2ˆ 0.0065 0.614 0.455 0.301 0.600t t t t t tx x x z z z− − − −= + − + − +
1, ,176t =
προσαρμοσμένο ARΜΑ(2,2)
0.00983zs =διασπορά σφαλμάτων (υπολοίπων) 2 0.000097zs =
0.0077x =
1ˆ 0.614 = 1
ˆ 0.301 = 2ˆ 0.600 = −2
ˆ 0.455 = −
0 50 100 150 200-0.03
-0.02
-0.01
0
0.01
0.02
0.03
0.04
time t
x(t)
incr.GNP(USA): ARMA(2,2) fit
100 110 120 130 140-0.03
-0.02
-0.01
0
0.01
0.02
0.03
0.04
time t
x(t
)
incr.GNP(USA): ARMA(2,2) fit
προσαρμογή
με ARΜΑ(2,2)
![Page 10: Χρονοσειρές Μάθημα 5users.auth.gr/dkugiu/Teach/TimeSeriesTHMMY/Lec5.pdf · Χρονοσειρές -Μάθημα 5 ^ x x x 12, , , n ` Υποθέτ &στοχαστική](https://reader035.vdocuments.pub/reader035/viewer/2022081607/5ee2a773ad6a402d666cfe2c/html5/thumbnails/10.jpg)
Μοντέλο χρονοσειράς με τάση (ARIMA)
E 0tX = 2 2E tX =
τυχαίος περίπατος
1 21t t t tX X XY Y X− = + += +
1t t
Y
=
t tX
=−iid
διαδικασία AR(1) για 1 =
(μη-στάσιμη διαδικασία)
Πρώτες διαφορές: 1(1 )t t t tX B Y Y Y −= − = − διαδικασία iid
1t t
Y
=μη-στάσιμη διαδικασία που παρουσιάζει τάση
πρώτες διαφορές: 1t t tX Y Y −= − στάσιμη διαδικασία ?ΟΧΙ
διαφορές δεύτερης τάξης: 1 1 22t t t t t tX X X Y Y Y− − − = − = − + στάσιμη διαδικασία ?
ΝΑΙ
ΝΑΙ
AR(p), MA(q), ARMA(p,q) ?
ΟΧΙ
1t t
Y
=μη-στάσιμη διαδικασία ARIMA(p,d,q)
1 1 2 2 1 1 2 2t t t p t p t t t q t qX X X X Z Z Z Z − − − − − −= + + + + − − − −
( ) ( )t tB X B Z =
( ) ( )d
t tB Y B Z =
στάσιμη μετά από διαφορές d τάξης: 1t t
X
=
d
t tX Y=
(1 )d
tB Y= −
( )(1 )dB B −Το πολυώνυμο έχει μια
ρίζα =1 και όλες τις άλλες εκτός του
μοναδιαίου κύκλου ( )(1 ) ( )d
t tB B Y B Z − =
Συνήθως 1d =
![Page 11: Χρονοσειρές Μάθημα 5users.auth.gr/dkugiu/Teach/TimeSeriesTHMMY/Lec5.pdf · Χρονοσειρές -Μάθημα 5 ^ x x x 12, , , n ` Υποθέτ &στοχαστική](https://reader035.vdocuments.pub/reader035/viewer/2022081607/5ee2a773ad6a402d666cfe2c/html5/thumbnails/11.jpg)
Προσαρμογή μοντέλου ARIMA (διαδικασία Box-Jenkins)
1 2, , , ny y yχρονοσειρά παρατηρήσεων
ένδειξη πως έχει τάση
? αυτοσυσχέτιση (ισχυρή και φθίνει πολύ αργά)
άλλο?
?
1 2, , , nx x xστάσιμη χρονοσειρά
διαφορές τάξης d
άλλο?
(1 )d
t tx B y= −
προσαρμογή μοντέλου AR(p), MA(q), ARMA(p,q)
τάξη μοντέλου
εκτίμηση παραμέτρων μοντέλου
επάρκεια (adequacy) του μοντέλου
διαγνωστικός έλεγχος
κατάλληλο μοντέλο ARMA(p,q) για 1 2, , , nx x x
με τον αντίστροφο μετασχηματισμό του (1 )d
t tx B y= −
έχουμε το μοντέλο ARΙMA(p, d,q) για 1 2, , , ny y y
διάγραμμα ιστορίας (γράφημα χρονοσειράς)
αν η αυτοσυσχέτιση
φθίνει στο 0
η χρονοσειρά
είναι
στάσιμη
αν η αυτοσυσχέτιση
είναι στατιστικά
ασήμαντη
είναι iid ?
ΣΤΟΠ
έλεγχος
ανεξαρτησίαςΝΑΙ
ΟΧΙ
μη-γραμμικό
μοντέλο?
?
πρόβλεψη?
![Page 12: Χρονοσειρές Μάθημα 5users.auth.gr/dkugiu/Teach/TimeSeriesTHMMY/Lec5.pdf · Χρονοσειρές -Μάθημα 5 ^ x x x 12, , , n ` Υποθέτ &στοχαστική](https://reader035.vdocuments.pub/reader035/viewer/2022081607/5ee2a773ad6a402d666cfe2c/html5/thumbnails/12.jpg)
0 5 10 15-0.2
0
0.2
0.4
0.6
0.8
r()
annual global temperature: autocorrelation
1840 1860 1880 1900 1920 1940 1960 1980 2000 2020-1
-0.5
0
0.5
1
year
d(t
em
p)
first differences of annual land air temperature anomalies
0 5 10 15-0.5
-0.4
-0.3
-0.2
-0.1
0
0.1
0.2
0.3
r()
first difference of annual global temperature: autocorrelation
1840 1860 1880 1900 1920 1940 1960 1980 2000 2020-1
-0.5
0
0.5
1
1.5
year
glo
bal te
mpera
ture
annual land air temperature anomalies
1 2, , , ny y y πραγματικές μετρήσεις
Παράδειγμα Ετήσιος δείκτης για τη θερμοκρασία της γης (ανωμαλία στη θερμοκρασία
εδάφους στο βόρειο ημισφαίριο σε πλέγμα 5ο x 5ο), περίοδος 1850-2011Πηγή: http://www.cru.uea.ac.uk/cru/data/temperature
στάσιμη
χρονοσειρά?
στάσιμη
χρονοσειρά?
1 2, , , nx x x πρώτες διαφορές
ΟΧΙ
ΝΑΙ
![Page 13: Χρονοσειρές Μάθημα 5users.auth.gr/dkugiu/Teach/TimeSeriesTHMMY/Lec5.pdf · Χρονοσειρές -Μάθημα 5 ^ x x x 12, , , n ` Υποθέτ &στοχαστική](https://reader035.vdocuments.pub/reader035/viewer/2022081607/5ee2a773ad6a402d666cfe2c/html5/thumbnails/13.jpg)
Μοντέλο για τη χρονοσειρά ? 1 2, , , nx x x
0 5 10 15-0.5
-0.4
-0.3
-0.2
-0.1
0
0.1
0.2
0.3
r()
first difference of annual global temperature: autocorrelation
0 5 10 15-0.5
-0.4
-0.3
-0.2
-0.1
0
0.1
0.2
( )
diff of temp: partial autocorrelation
-1 0 1 2 3 4 5 6-3.25
-3.2
-3.15
-3.1
-3.05
-3
-2.95
-2.9
-2.85
p
AIC
(p,q
)
diff of temp: AIC of ARMA models
q=0
q=1
q=2
q=3
q=4
q=5
αυτοσυσχέτιση μερική αυτοσυσχέτιση κριτήριο AIC
Πιο κατάλληλη μορφή μοντέλου ?
1840 1860 1880 1900 1920 1940 1960 1980 2000 2020-1
-0.5
0
0.5
1
time t
x(t
)
diff of global temperature: ARMA(0,4) fit
1930 1935 1940 1945 1950 1955 1960-1
-0.5
0
0.5
1
time t
x(t
)
diff of global temperature: ARMA(0,4) fit
προσαρμογή ΜΑ(4) ( )0.008x =
1 2 3 40.008 0.758 0.022 0.219 0.275t t t t t tx z z z z z− − − −= + − − − + 0.2035zs =2 0.0414zs =
Μοντέλο για τη χρονοσειρά 1 2, , , ny y y
ARIΜΑ(0,1,4) 4(1 ) ( )t tB Y B Z− =
17 Μοντέλα ARFIMA (ή FARIMA)