chab
TRANSCRIPT
Методи прогнозування часових рядів та проблема складності
Д.М. Чабаненко
Кафедра економічної кібернетики
ЧНУ ім. Б. Хмельницького
Стан проблеми моделювання і прогнозування складних систем
• Прості системи можуть бути описані простими моделями
• Системи середньої складності описуються простими моделями гірше, ніж складними (обгрунтована необхідність ускладнення)
• Складні системи погано описуються як простими, так і складними моделями
• ? При якій складності моделі можна отримати кращі прогнози складної системи?
Підходи до оцінювання складності моделі, порівняння
складності моделей• Розрахункова складність (складність
алгоритму побудови і використання моделі)
• Складність за кількістю факторів, які враховує модель
• Описова складність (множина станів системи, які можуть бути описані моделлю)
Приклад моделі зі змінною складністю – модель
поліноміального тренду
Y(t)=a0+a1t+a2t2+…+aktk
Горизонт прогнозу Np – задається дослідником
Степінь поліному k та довжина вибірки навчання –параметри, які треба визначити
N
ytyMSE
N
iii
1
2
%1001
NpN
Ni i
ii
y
yty
NpMAPE
Приклад моделі зі змінною складністю – модель поліноміального
тренду• Степінь полінома k – параметр складності.• Довжина навчальної вибірки N – теж
параметр складності.• Похибка на перевірочній вибірці – міра якості
моделі з заданими параметрами k та N.• Постановка задачі: знайти значення
параметрів k (степінь полінома) та N (довжина навч. вибірки), при яких середня абсолютна процентна похибка була б мінімальною.
Пошук оптимальних order та nlearn при прогнозуванні на 3 дні (за даними iндексу S&P 500)
Максимум по полю MAPE
nlearn
order 10 50 100 250 500 1000 2000 4500 7000Общий
итог
1 6,48 5,43 9,95 8,29 21,89 52,86 59,10 74,37 68,63 74,37
2 3,76 8,24 8,04 13,79 11,78 20,26 59,68 53,71 72,32 72,32
3 3,45 7,45 7,86 9,51 11,16 10,74 26,15 44,36 60,01 60,01
4 5,04 4,60 6,57 8,89 13,67 12,50 15,20 68,97 45,02 68,97
5 7,14 9,28 4,15 9,55 8,99 14,43 18,99 40,11 57,40 57,40
6 22,28 2,54 7,15 14,57 8,92 10,68 20,14 24,80 63,36 63,36
7 34,28 5,38 6,34 10,28 16,02 13,62 14,78 17,41 29,22 34,28
8 131,60 4,56 3,96 7,02 11,61 7,57 11,30 15,62 21,07 131,60
9 304,13 6,75 4,84 6,48 8,55 12,34 13,78 21,71 23,79 304,13
103801,9
49,73 6,56 10,35 6,03 10,45 13,26 23,03 25,60 3801,94
Общий итог3801,9
49,73 9,95 14,57 21,89 52,86 59,68 74,37 72,32 3801,94
Пошук оптимальних order та nlearn при прогнозуванні на 10 днів (за даними iндексу S&P 500)
Максимум по полю MAPE nlearn
order 10 50 100 250 500 1000 2000 4500 7000
Общий итог
1 11,16 8,33 11,15 8,30 22,03 53,63 59,98 75,35 69,58 75,35
2 10,56 14,39 9,24 14,18 11,41 20,18 60,57 54,31 73,29 73,29
3 39,70 12,21 13,57 10,92 12,29 11,84 27,37 45,04 58,61 58,61
4 92,04 14,60 14,00 11,19 15,90 13,48 16,64 70,16 43,62 92,04
5 375,99 34,02 7,98 17,80 10,13 15,31 19,57 40,47 58,35 375,99
6 1893,43 28,28 18,32 26,79 12,21 13,93 22,76 25,74 64,46 1893,43
7 6524,69 93,34 14,35 17,67 19,41 16,05 15,23 17,68 29,18 6524,69
8 47974,03 82,86 49,65 16,29 15,89 10,32 12,81 18,41 21,7347974,0
3
9 295755,70205,5
9 65,03 14,64 17,24 16,73 16,13 24,81 24,86295755,
70
10 6555847,00372,5
8 92,21 33,56 12,80 16,85 14,31 26,17 25,176555847
,00
Общий итог 6555847,00372,5
8 92,21 33,56 22,03 53,63 60,57 75,35 73,296555847
,00
Nprogn=25Максимум
по полю MAPE nlearn
order 10 50 100 250 500 1000 2000 4500 7000
Общий итог
1 15,65 13,58 10,67 10,63 27,60 62,12 68,98 85,26 79,15 85,26
2 49,52 23,84 21,23 19,71 14,41 25,13 69,62 57,62 83,10 83,10
3 330,46 20,12 23,31 12,75 14,60 15,30 29,47 52,92 57,74 330,46
4 1400,24 61,42 42,45 18,18 18,03 15,09 18,53 80,37 46,73 1400,24
5 12998,10 221,13 33,54 35,19 10,27 15,85 21,39 47,36 67,4612998,1
0
6 137585,00 491,66 96,15 57,92 25,49 18,62 26,10 26,92 74,22137585,
00
7 926874,001767,1
9 103,63 37,80 43,53 18,91 16,64 20,80 34,60926874,
00
8 15074860,001449,7
3 774,59 100,57 40,90 20,60 17,11 22,46 24,50
15074860,0
0
9200997400,0
0
10267,07
1042,82 87,43 44,14 31,96 24,68 29,69 27,39
200997400,00
108975297000,
00
24017,21
1642,17 205,17 53,01 44,60 21,48 31,11 26,92
8975297000,00
Общий итог
8975297000,00
24017,21
1642,17 205,17 53,01 62,12 69,62 85,26 83,10
8975297000,00
Nprogn=50
order 10 50 100 250 500 1000 2000 4500 7000Общий
итог
1 30,17 18,57 14,86 14,68 28,12 65,11 72,36 89,05 82,78 89,05
2 202,42 54,49 36,39 26,53 16,21 24,72 73,03 59,90 86,84 202,42
3 2089,63 49,37 47,19 14,79 20,51 24,85 31,55 55,53 58,94 2089,63
4 18419,37 294,38 153,76 47,11 28,32 21,72 23,14 85,01 48,92 18419,37
5 260232,70 1962,56 166,89 98,49 17,97 18,03 27,24 48,64 71,15 260232,70
65803432,0
0 7726,11 568,47 177,79 58,76 27,68 37,83 30,67 78,545803432,0
0
765455470,
0034865,9
0 903,61 164,18 102,87 31,14 20,33 25,55 34,2265455470,
00
8
2096270000,0
036546,6
910353,5
1 692,76 95,26 44,20 23,87 27,96 28,76
2096270000,0
0
9
50192010000,
00503721,
6019260,1
9 596,54 148,20 68,80 41,76 36,91 37,32
50192010000,
00
10
43521700000
00,00
1670006,00
35216,22 2143,14 214,51 109,41 37,06 45,71 33,96
43521700000
00,00
Общий итог
43521700000
00,00
1670006,00
35216,22 2143,14 214,51 109,41 73,03 89,05 86,84
43521700000
00,00
Nprogn=100order 10 50 100 250 500 1000 2000 4500 7000
Общий итог
1 36,54 24,08 31,02 20,61 22,14 55,28 62,56 78,43 72,48 78,43
2 697,37 106,40 62,48 51,94 26,96 27,44 63,24 66,03 76,37 697,37
3 11924,40 221,09 129,38 28,27 38,44 36,25 33,92 45,88 65,10 11924,40
4 219838,80 1962,11 711,70 124,22 57,56 44,66 31,24 76,42 47,67 219838,80
5 5988953,00 21752,77 1224,78 299,62 51,73 37,32 35,03 37,00 62,085988953,0
0
6 278159400,00154649,3
0 5931,18 670,34 174,94 54,63 68,58 39,96 69,9927815940
0,00
7 5779644000,00993965,2
0 14801,69 1384,13 330,25 67,75 43,74 41,20 40,90
5779644000,0
0
8346871200000,0
02599520,
00271978,7
0 6710,82 358,96 139,63 39,10 39,68 45,71
34687120000
0,00
918045660000000
,00
51020920,0
0833355,4
0 7450,22 924,30 224,50 92,48 52,84 63,45
18045660000
000,00
1024422500000000
00,00
281481200,00
2305422,00 40609,37 1487,62 378,03 78,89 83,23 48,88
24422500000000
00,00
Общий итог
2442250000000000,00
281481200,00
2305422,00 40609,37 1487,62 378,03 92,48 83,23 76,37
24422500000000
00,00
Nprogn=250order 10 50 100 250 500 1000 2000 4500 7000
Общий итог
1 93,21 56,03 67,81 33,78 32,56 37,24 44,89 59,37 53,94 93,21
2 3498,65 370,91 215,51 129,56 71,66 38,42 45,89 57,98 57,59 3498,65
3 135303,00 2372,84 952,36 102,17 98,39 85,00 42,17 44,49 59,71 135303,00
46485158,0
0 37286,54 10324,95 872,57 165,11 113,61 50,79 63,10 52,046485158,0
0
544884820
0,00899441,0
0 40617,25 2735,97 370,61 91,90 95,61 67,93 51,2244884820
0,00
6
64014320000,
00
14875760,0
0399126,0
0 12170,00 1692,65 238,74 176,44 101,95 56,58
64014320000,
00
7
2831991000000,00
224720600,00
1665734,00 59840,37 3981,63 332,05 183,97 104,07 78,38
2831991000000,00
8
377304100000000,
00
1839821000,00
58621780,0
0402531,9
0 6446,49 1390,28 201,29 91,15 115,23
377304100000000,
00
9
47777690000000000,00
66729830000,0
0
380470000,00
1095978,00 36460,68 2534,10 522,53 127,62 146,13
47777690000000000,00
10
14540530000000000000
,00
704080200000,00
2355935000,00
8219427,00 70165,60 5330,43 479,76 234,42 102,84
14540530000000000000
,00
Общий итог
14540530000000000000
,00
704080200000,00
2355935000,00
8219427,00 70165,60 5330,43 522,53 234,42 146,13
14540530000000000000
,00
Nprogn=500order 10 50 100 250 500 1000 2000 4500 7000
Общий итог
1 176,79 84,31 115,78 64,10 46,13 57,58 66,11 48,32 51,56 176,79
2 13614,80 1207,31 683,85 287,24 146,85 68,83 72,09 51,63 48,39 13614,80
3 957593,10 14324,89 5748,30 498,81 239,67 190,09 69,43 75,86 71,43 957593,10
497159650,
00450322,9
0 95890,08 6109,34 704,37 271,48 117,54 79,35 88,8797159650,
00
5
13686330000,
0020817130
,00716936,1
0 30718,92 3177,79 409,08 279,21 128,65 83,64
13686330000,
00
6
4543667000000,00
671821400,0
015868790
,00198422,6
0 18789,10 1890,23 500,70 239,11 135,40
4543667000000,00
7
349736800000000,
00
23499150000,00
114226200,0
02206650,
00 72947,72 3033,68 854,52 244,01 175,92
349736800000000,
00
8
81745420000000000,00
388810400000,0
0
6720627000,00
22143230,00
153020,60 19419,42 1251,79 307,02 279,78
81745420000000000,00
9
21846480000000000000
,00
25134900000000,00
82166980000,00
107536300,0
01754308,
00 42370,19 3544,63 449,79 353,83
21846480000000000000
,00
10
12555440000000000000000,
00
536189000000000,0
0
1045540000000,00
1354498000,00
5612151,00
110562,40 5617,61 823,08 269,58
12555440000000000000000,
00
Общий итог
12555440000000000000000,
00
536189000000000,0
0
1045540000000,00
1354498000,00
5612151,00
110562,40 5617,61 823,08 353,83
12555440000000000000000,
00
Nprogn=1000or
der 10 50 100 250 500 1000 2000 4500 7000
Общий итог
1 276,59 112,09 192,03 112,02 79,40 85,03 71,65 44,57 53,80 276,59
2 62561,39 3947,81 2244,71 694,66 318,01 121,91 99,52 72,10 51,31 62561,39
3 6449697,00 93728,45 43434,57 2363,94 1051,36 490,78 190,60 120,97 88,206449697,0
0
41361029000,0
05656989,
001108622,
00 52198,20 6472,26 1005,16 305,75 133,95 115,32
1361029000,0
0
5478789600000
,00
499054100,0
017151620
,00424190,1
0 43488,99 3284,73 1309,24 334,12 139,12
478789600000
,00
6312687600000
000,00
31753160000,00
809238200,0
06161058,
00330685,9
0 17914,90 2195,84 722,79 276,41
312687600000000,
00
7
39284060000000000,0
0
2735363000000,00
13925630000,00
143620500,0
02263199,
00 54100,44 6850,78 851,53 464,65
39284060000000000,00
8
1863287000000000000
0,00
90156150000000,00
991617600000,0
0
1986344000,00
8827860,00
496532,80 16709,82 1486,44 919,79
18632870000000000000
,00
9
15208250000000000000000,00
10893330000000000,00
23202600000000,00
17903500000,00
149121100,0
01541439,
00 58077,83 2410,90 1209,44
15208250000000000000000,
00
10
10491980000000000000000000
,00
464445300000000000,0
0
548462400000000,0
0
408131900000,0
0
847127300,0
06745760,
00106228,2
0 5835,30 1739,70
10491980000000000000000000,0
0
Общий итог
10491980000000000000000000
,00
464445300000000000,0
0
548462400000000,0
0
408131900000,0
0
847127300,0
06745760,
00106228,2
0 5835,30 1739,70
10491980000000000000000000,0
0
Висновки з експерименту
• При збільшенні бажаної довжини прогнозу точність прогнозування зменшується.
• При бажаних довжинах прогнозу довше 25 днів оптимальний степінь полінома –1 (лінійний тренд, найпростіша модель)
• Оптимальна довжина вибірки навчання варіюється від Np до 4,5*Np (Np – довжина прогнозу), найкраща якість прогнозу продемонстрована для 2*Np (250 та 500 днів для більшості випадків)
• Для прогнозування на короткі відстані (менше 25 днів) найбільш оптимальне є застосування поліномів степеня 5.
Метод дискретного Фур’є-продовженняІтераційний метод визначення гармонік в методі дискретного Фур’є-продовження
- вихідний ряд.
• На кожному кроці за методом МНК мінімізується нев’язка
• одночастинне наближення,• двохчастинне наближення,…
0r t y t
m
jijijijii etdcbtatrtr
11 sin
1,2,...i
i ir t
y t
1m2m
Max(MAPE)
Learningset Trend sintrend1sin sintrend2sin
2000 71,65 18,39973 51,253556
3000 - 32,30186 111,663115
4500 44,57 20,037 72,596161
7000 53,80 97,67851 176,450405
10500 - 61,45778 140,347598
Висновки і перспективи досліджень
• Оптимальні параметри прогнозної моделі (її складність) залежать від заданого горизонту прогнозування
• В класі поліноміальних моделей при довгостроковому прогнозуванні більш ефективними є моделі 1 порядку (лінійні)
• В класі лінійних гармонічних моделей оптимальним є апроксимація по одній гармоніці
Висновки і перспективи досліджень
Перспективи досліджень:
• Дослідження оптимальної складності поліноміальних моделей при короткостроковому прогнозуванні
• Створення методів пошуку оптимальної складності (крос-валідації) для авторегресійних, нейромережних, марківських моделей