„sieci neuronowe w zagadnieniach predykcji danych finansowych” autor: marcin mierzejewski

„Sieci neuronowew zagadnieniach predykcji

danych finansowych”Autor: Marcin Mierzejewski

Promotor: Dr hab. Inż. Jacek Mańdziuk

Sieci neuronowe w zagadnieniach predykcji finansowych

Spis treści

1. Zastosowane rodzaje sieci

2. Szeregi czasowe, a predykcja

3. Sieci neuronowe rozszerzeniem popularnych modeli

4. Omówienie zastosowanych algorytmów

5. Przykładowe rezultaty

6. EMH (Hipoteza Rynku Efektywnego)

7. Podsumowanie

Sieci neuronowe w zagadnieniach predykcji finansowych

Zastosowane sieci

w. ukryta

w. wejściowa w. kontekstowa

w. wyjściowa

w. ukryta

w. wejściowa w. kontekstowa

w. wyjściowa

w. ukryta

w. wejściowa

w. wyjściowa

Sieć Elmana Sieć Jordana

Sieć jednokierunkowa

Sieci neuronowe w zagadnieniach predykcji finansowych

Defnicja problemu

• Szeregi czasowe w predykcji– uporządkowane w czasie ciągi ,

gdzie

• Predykcja – aproksymacja funkcji

–

},...,1),,{( NtzX htt

N

thtt zXgeE

1

)),((

htt zXf )(

)( tXg )( tXf

Sieci neuronowe w zagadnieniach predykcji finansowych

Predykcja, a sieci neuronowe

• Sieci neuronowe jednokierunkowe– Uniwersalny aproksymator. Funkcję

można aproksymować siecią opisaną przez:

– Rozszerzenie modelu autoregresji

o nieliniowość

mn RRpF )(

))(()(1 1

k

jl

n

ijiijjl pwvpF

)())(),...,1(()()()(1

teqtxtxFteitxtx Lq

ii

Sieci neuronowe w zagadnieniach predykcji finansowych

Sieci Jordana – rozszerzenie ARMA

• ARMA– – Kolejne elementy szeregu mogą być modelowane siecią neuronową

równoważną do Jordana:

)(ˆ)()(ˆ txtxte

)())(ˆ),...,1(ˆ),(),...,1(()( teqteteptxtxFtx NN

p

i

q

iii teiteitxtx

1 1

)()()()(

)1( tx )1(ˆ tx

)(ˆ tx

Sieci neuronowe w zagadnieniach predykcji finansowych

Sieć Jordana - mechanizm

• Sieć Jordana opisuje

• Równoważność

• „Ulepszenie” – pamięć

))(ˆ),...,1(ˆ),(),...,1(()(ˆ qtxtxptxtxFtx NN

k

jl

p

ijijjpi

ite

ijij itxwwitxitxwvtx1 1

,

)(ˆ

)))(ˆ)())(ˆ)(((()(ˆ

))1(ˆ)1(( txvtafa iiCi

Ci

Sieci neuronowe w zagadnieniach predykcji finansowych

Liniowy model przestrzeni stanów

• Założenie– Szeregi czasowe mogą być opisane przez liniową

transformację stanów zależnych od czasu:

– Wektor stanu opisany jest przez model ARMA[1,1]:

)()()( tetsCtx

)()1()( tBtsAts

Sieci neuronowe w zagadnieniach predykcji finansowych

Powiązanie z siecią Elmana

– Zakładamy, że wektor stanów jest zależny od przeszłego wektora w sekwencji i otrzymujemy równanie opisujące stan warstwy kontekstowej w sieci Elmana:

– Aktywacja warstwy ukrytej:

))1())1(()( txDtsAts

)1()1()( txDtsAts

Sieci neuronowe w zagadnieniach predykcji finansowych

Algorytmy - Backprop

• Klasyczna metoda propagacji wstecznej (Backprop)– Iteracyjne poszukiwanie minimum funkcji błędu w kierunku przeciwnym

do gradientu funkcji względem wagi– Cechy

• Metoda lokalna

• Łatwo wpada w płytkie minima

• „Wolna” zbieżność

• Backprop z momentem– Do poprawki wagi dodano tzw. czynnik momentu– Cechy

• Zwiększenie szybkości zbieżności na płaskich obszarach funkcji błędu

Sieci neuronowe w zagadnieniach predykcji finansowych

Algorytmy - Quickprop

• Quickprop– Metoda lokalna, drugiego rzędu– Zakłada się, że funkcja błędu ma kształt paraboli– Poprawki wag są ustalane tak żeby funkcja osiągała minimum paraboli– Cechy:

• Znacznie szybsza zbieżność niż w metodach backprop

• Znacznie mniejsze prawdopodobieństwo utknięcia w płytkim minimum lokalnym

Sieci neuronowe w zagadnieniach predykcji finansowych

Algorytmy - Rprop

• Rprop– Metoda lokalna, drugiego rzędu– Nie korzysta z wielkości pochodnej cząstkowej f. błędu względem wagi,

a tylko z jej znaku– Jeżeli dwie kolejne pochodne mają ten sam znak to następuje

zwiększenie poprawki– Cechy:

• Bardzo szybka (nawet od Quickprop)

• Także znacznie mniejsze prawdopodobieństwo wpadnięcia w minimum lokalne niż w Backprop

Sieci neuronowe w zagadnieniach predykcji finansowych

Algorytmy - TBPTT

• Truncated Backpropagation Throught Time– Wyliczanie gradientu analogiczne do klasycznego Backpropagation, ale

korzysta się z historii aktywacji (ustalonej głębokości)– Jeżeli przechowywane są wszystkie aktywacje to obliczony gradient jest

dokładny– Cechy:

• Bardzo kosztowne jest przechowywanie historii aktywacji

• Nie ma gwarancji zbieżności do minimum lokalnego

• Trudno jest uzyskać dobre wyniki

Sieci neuronowe w zagadnieniach predykcji finansowych

Predykcja - rezultaty

• Jednodniowa predykcja zmiany względnej microsoftu:

Sieć: ElmanKorelacja: 0.0136MAPE: 140.34%Theil: 1.0132MPpT: 0.46

Sieci neuronowe w zagadnieniach predykcji finansowych

Predykcja - rezultaty

• Jednodniowa predykcja normalizacji średnią kroczącą 7 okresową

Sieć: ElmanKorelacja: 0.7386MAPE: 23.59%Theil: 1.0646MPpT: 0.485

Sieci neuronowe w zagadnieniach predykcji finansowych

Predykcja - rezultaty

• Jednodniowa predykcja normalizacji trendem wielomianowym

Sieć: ElmanKorelacja: 0.9604MAPE: 15.67%Theil: 1.1532MPpT: 0.5

Po przesunięciu:Korelacja: 0.9932MAPE: 1.159396Theil: 0.662319MPpT: 0.935

Sieci neuronowe w zagadnieniach predykcji finansowych

Hipoteza efektywności rynku

• Hipoteza:– Rynek jest efektywny gdy wartości walorów na rynku odzwierciedlają

wszystkie informacje na ich temat– Trzy formy: słaba (predykcja na podstawie analizy technicznej jest

niemożliwa), średnia (predykcja na podstawie analizy technicznej i fundamentalnej jest niemożliwa, mocna (predykcja niemożliwa)

– Jeżeli rynek jest efektywny to ceny generowane są przez proces błądzenia losowego

Sieci neuronowe w zagadnieniach predykcji finansowych

Interpretacja

• Średnia zmian względnych bliska zeru• Próba predykcji podjęta na podstawie danych z analizy

technicznej (słaba forma efektywności ?)• Zmiany cen nie są skorelowane z przedmiotem predykcji• „Echo” – jeżeli zmiany cen są losowe więc niezależne,

najlepszą predykcją jest cena z dnia poprzedniego (błądzenie)

Sieci neuronowe w zagadnieniach predykcji finansowych

Zakończenie

• Predykcja za pomocą sieci jest możliwa (liczne publikacje)

• Do cen Microsoftu może stosować się słaba forma efektywności rynku