SVEUČILIŠTE U SPLITU FAKULTET ELEKTROTEHNIKE, STROJARSTVA I BRODOGRADNJE

Petar Matić

Kratkoročno predviđanje hidrološkog dotoka pomoću umjetne neuronske mreže

DOKTORSKA DISERTACIJA

Split, 2014.

ii

Doktorska disertacija je izrađena na Zavodu za Elektroenergetiku,

Fakulteta elektrotehnike, strojarstva i brodogradnje u Splitu

Znanstveno područje: Tehničke znanosti

Znanstveno polje: Elektrotehnika

Znanstvena grana: Automatizacija i robotika

Mentor: doc. dr. sc. Ozren Bego

Ukupan broj numeriranih stranica: 116

Ukupan broj slika: 46

Ukupan broj tablica: 27

Ukupan broj jednadžbi: 41

Ukupan broj korištenih bibliografskih jedinica: 94

Disertacija broj: 117

iii

Povjerenstvo za ocjenu doktorske disertacije:

1. Prof. dr. sc. Božo Terzić, FESB, Sveučilište u Splitu – predsjednik povjerenstva

2. Doc. dr. sc. Ozren Bego, FESB, Sveučilište u Splitu – mentor

3. Prof. dr. sc. Slavko Krajcar, FER, Sveučilište u Zagrebu – član

4. Prof. dr. sc. Dinko Vukadinović, FESB, Sveučilište u Splitu – član

5. Izv. prof. dr. sc. Ranko Goić, FESB, Sveučilište u Splitu – član

Povjerenstvo za obranu doktorske disertacije:

1. Prof. dr. sc. Božo Terzić, FESB, Sveučilište u Splitu – predsjednik povjerenstva

2. Doc. dr. sc. Ozren Bego, FESB, Sveučilište u Splitu – mentor

3. Prof. dr. sc. Slavko Krajcar, FER, Sveučilište u Zagrebu – član

4. Prof. dr. sc. Vladan Papić, FESB, Sveučilište u Splitu – član

5. Izv. prof. dr. sc. Ranko Goić, FESB, Sveučilište u Splitu – član

Disertacija obranjena:

U Splitu, 12.12.2014.

iv

SAŽETAK i KLJUČNE RIJEČI:

Kratkoročno predviđanje hidrološkog dotoka pomoću umjetne neuronske mreže

Sažetak: Modeliranje hidroloških sustava se općenito temelji na vremenskim serijama, a umjesto ranije korištenih linearnih statističkih modela, u posljednje vrijeme se sve više koriste umjetne neuronske mreže. Kod modela za predviđanje hidrološkog dotoka, pregledom dostupne literature uočen je problem kašnjenja odziva modela za stvarnim događajem, koje značajno umanjuje korisnost predviđanja modela. Isti problem potvrđen je i kod modela formiranog klasičnim metodama za sliv rijeke Cetine. Problem pravovremenog predviđanja u ovoj disertaciji se uspješno rješava uvođenjem varijable „učestalosti prognozirane oborine“ i podešavanjem koraka računanja. Točnost predviđanja se unaprjeđuje formiranjem optimiziranog adaptivnog neuronskog modela (OANM-a) koji se temelji na podjeli modela na specijalizirane podmodele, koji predstavljaju posebno trenirane mreže za predviđanje u određeno doba godine. Svaki podmodel formiran je prema načelima o sustavnom pristupu formiranja neuronskog modela za hidrološka predviđanja. To znači da su kroz posebno formirane eksperimente određene optimalne ulazne varijable, broj neurona skrivenog sloja, algoritam za treniranje mreže i funkcija cilja, a određen je i skup optimalnih mjera za procjenu modela. Za formiranje svih modela korištena je statička unaprijedna neuronska mreža, višeslojni perceptron, zbog svog dokazanog svojstva mogućnosti aproksimacije nelinearne funkcije. Za sva istraživanja, kao i konačno formiranje OANM-a, korišten je program MATLAB, a podaci su osim u Matlab-u obrađivani i u Microsoft Excel-u. Rezultati simulacije potvrđuju uspješnost predložene metode u rješavanju problema pravovremenog i pouzdanog predviđanja hidrološkog dotjecanja, što znači da predložena metoda uspješno eliminira kašnjenje predviđanja modela. Ključne riječi: hidrološki dotok, kratkoročno predviđanje, umjetne neuronske mreže, sustavni pristup, učestalost prognozirane oborine, korak računanja, adaptivni model, optimizacija, hidroenergetski sustav.

v

ABSTRACT AND KEY WORDS:

Short-term Inflow Prediction Using Artificial Neural Network

Abstract: Hydrological systems are usually modelled using time series and lately, instead of using linear statistical models, artificial neural networks are used. In case of inflow prediction, literature analysis indicated an existence of the prediction lag effect which is a problem that excessively undermines the value of a prediction model. Efforts to predict river Cetina’s inflow to accumulation Peruća confirmed a lagged prediction problem for the case study of river Cetina’s basin. In this dissertation the problem is solved by introducing a variable “forecasted rainfall frequency” and by adjusting the model’s calculation step size. Prediction accuracy is increased by forming an Optimized Adaptive Neural Model (OANM) which is based on the idea of dividing the “job of inflow prediction” to the multiple models, i.e. sub-models specialized for making predictions only in a designated domain of a predicted variable, which corresponds to the predictions made in a designated time of the year. To form every sub-model, a different artificial neural network is trained with an appropriate set of data, while complying with a set of rules for hydrological system modelling, i.e. systematic approach. Introducing a systematic approach to a hydrological inflow modelling procedure represents conducting an experiment and/or using a method to determine an appropriate set of inputs, number of hidden neurons, training algorithm and performance function, as well as determining a set of appropriate measures for model evaluation. To form a neural model, MLP neural network was used in all cases, due to its proven ability to model any nonlinear function to a certain degree of accuracy. Mathworks MATLAB was used for all experiments, including a final solution of a defined problem (OANM). Besides Matlab, Microsoft Excel was used for data processing. Simulation results indicate effectiveness of the proposed method for solving a problem of inaccurate, lagged short-term inflow predictions for the case of river Cetina’s basin.

Key words: inflow, short-term prediction, artificial neural networks, systematic approach, forecasted rainfall frequency, calculation step size, adaptive model, optimization, hydro-power system.

vi

Svima koji svoj doprinos mogu prepoznati u ovoj disertaciji iskreno zahvaljujem, a

posebno zahvaljujem svojoj obitelji i mentoru.

Izričito zahvaljujem supruzi Olgi na predanom lektoriranju rada.

Također, posebno se zahvaljujem zaposlenicima Državnog hidrometeorološkog zavoda na ustupljenim podacima bez kojih ovaj rad ne bi bio moguć.

vii

Sadržaj

1. Uvod .................................................................................................................................1

1.1. Motivacija ...............................................................................................................1

1.2. Dosadašnji razvoj ..................................................................................................2

1.3. Hipoteza .................................................................................................................5

1.4. Opis sadržaja disertacije ......................................................................................7

2. Umjetne neuronske mreže ...........................................................................................9

2.1. Biološka osnova i razvoj umjetnih neuronskih mreža ....................................9

2.2. Svojstva umjetnih neuronskih mreža .............................................................. 12

2.3. Vrste umjetnih neuronskih mreža ................................................................... 14

2.3.1. Višeslojni perceptron .................................................................................. 14

2.4. Treniranje umjetnih neuronskih mreža .......................................................... 16

2.4.1. Lokalni algoritmi prvog reda – algoritam propagacije greške unatrag17

2.4.2. Unaprjeđenja izvornog BP algoritma ........................................................ 20

2.4.3. Lokalni algoritmi drugog reda ................................................................... 21

2.4.4. Levenberg-Marquardt algoritam za treniranje MLP mreže ................... 21

2.4.5. Bayesova regularizacija za treniranje UNM-e .......................................... 23

2.5. Primjena umjetnih neuronskih mreža u hidrologiji ...................................... 24

3. Predviđanje hidrološkog dotjecanja ......................................................................... 26

3.1. Opis hidrološkog sustava ................................................................................... 27

3.2. Modeliranje i predviđanje varijable hidrološkog dotoka ............................. 28

3.3. Predviđanje hidrološkog dotjecanja pomoću umjetne neuronske mreže .. 30

3.4. Ocjenjivanje predviđanja hidrološkog dotjecanja ......................................... 32

3.4.1. Apsolutne mjere kvalitete modela............................................................. 33

3.4.2. Relativne mjere kvalitete modela .............................................................. 34

3.5. Sustavni pristup formiranju neuronskog modela za predviđanje hidrološkog dotjecanja....................................................................................... 37

3.5.1. Prvi korak: selektiranje podataka – određivanje izlazne varijable i koraka računanja ......................................................................................... 39

3.5.2. Drugi korak: izbor ulaznih varijabli .......................................................... 39

3.5.3. Treći korak: obrada podataka .................................................................... 40

3.5.4. Četvrti korak: podjela podataka ................................................................ 41

viii

3.5.5. Peti korak: izbor arhitekture mreže ......................................................... 42

3.5.6. Šesti korak: identifikacija sustava pomoću neuronske mreže .............. 42

3.5.7. Sedmi korak: ocjena kvalitete modela ...................................................... 44

3.6. Primjena predviđanja hidrološkog dotjecanja u planiranju proizvodnje električne energije .............................................................................................. 45

3.6.1. Planiranje rada EES-a .................................................................................. 46

3.6.2. Primjer operativnog planiranja hidroenergetskog sustava Cetine ...... 48

4. Neuronski model za kratkoročno predviđanje hidrološkog dotjecanja .............. 50

4.1. Predmet istraživanja: modeliranje dotjecanja rijeke Cetine u akumulaciju Peruća za potrebe kratkoročnog predviđanja dotoka................................... 51

4.1.1. Osnovna obilježja sliva rijeke Cetine......................................................... 51

4.1.2. Hidroenergetski sustav Cetine ................................................................... 54

4.1.3. Dostupni podaci ........................................................................................... 55

4.1.4. Hidrološko dotjecanje u Vinaliću ............................................................... 57

4.1.5. Zabilježene oborine ..................................................................................... 60

4.1.6. Prognozirane oborine ................................................................................. 62

4.1.7. Temperatura ................................................................................................. 62

4.2. Uvjeti formiranja modela po načelima sustavnog pristupa .......................... 63

4.3. Preliminarna istraživanja .................................................................................. 65

4.3.1. Prva faza istraživanja – formiranje modela vremenske serije za predviđanje dotjecanja jedan dan unaprijed ........................................... 65

4.3.2. Druga faza istraživanja – predviđanje dotjecanja k-dana unaprijed .... 67

4.3.3. Treća, četvrta i peta faza istraživanja – proširivanje skupa ulaznih varijabli modela ........................................................................................... 70

4.4. Neuronski model za kratkoročno predviđanje hidrološkog dotoka ........... 74

4.5. Adaptivni neuronski model ............................................................................... 78

4.6. Optimizacija adaptivnog neuronskog modela ................................................ 81

4.6.1. Optimizacija podmodela A .......................................................................... 83

4.6.2. Optimizacija podmodela B .......................................................................... 84

4.6.3. Optimizacija podmodela C .......................................................................... 85

4.6.4. Optimizacija podmodela D .......................................................................... 89

4.6.5. Optimizacija cjelogodišnjeg modela .......................................................... 90

4.7. Optimizirani adaptivni neuronski model (OANM) za kratkoročno predviđanje hidrološkog dotoka ...................................................................... 92

ix

5. Analiza rezultata simulacije: ocjena predviđanja optimiziranog adaptivnog neuronskog modela (OANM)........................................................................................ 95

5.1. Numerička ocjena kvalitete predviđanja OANM-a ......................................... 96

5.1.1. Ocjena apsolutne točnosti predviđanja OANM-a ..................................... 96

5.1.2. Ocjena relativne točnosti predviđanja OANM-a ....................................... 97

5.1.3. Analiza uspješnosti OANM-a i prikladnosti korištenih kriterija kvalitete ......................................................................................................... 98

5.2. Grafička ocjena kvalitete predviđanja OANM-a ............................................ 100

6. Zaključak ..................................................................................................................... 106

LITERATURA.................................................................................................................... 110

ŽIVOTOPIS

BIOGRAPHY

x

Popis tablica

Tablica 3.1. Klasifikacija modela po kvaliteti predviđanja…………………………………………………. 37

Tablica 4.1. Statistička analiza varijable hidrološkog dotjecanja mjerenog u Vinaliću………. 58

Tablica 4.2. Ocjena kvalitete predviđanja modela vremenske serije jedan dan unaprijed………………………………………………………………………………………………………..

67

Tablica 4.3. Usporedba numeričkih ocjena rezultata predviđanja hidrološkog dotjecanja k-dana unaprijed pomoću direktne i indirektne metode………………………………….

68

Tablica 4.4. Usporedba modela vremenske serije i modela oborine-otjecanje………………….. 71

Tablica 4.5 Rezultati predviđanja dotoka od prvog do devetog dana unaprijed pomoću modela formiranih preliminarnim istraživanjem…………………………………………….

72

Tablica 4.6. Parametri modela za provođenje istraživanja optimalnog koraka računanja………………………………………………………………………………………………………..

74

Tablica 4.7. Usporedba kvalitete predviđanja uz primjenu učestalosti prognozirane (a) i stvarne (b) oborine, za različite korake računanja (k)……………………………………..

76

Tablica 4.8. Kriterij odabira podmodela u ovisnosti o dobu godine F(t)…………………………….. 78

Tablica 4.9. Potencijalne ulazne varijable članova adaptivnog neuronskog modela………….. 81

Tablica 4.10. Organizacija eksperimenta za određivanje ulaznih varijabli…………………………… 82

Tablica 4.11. Rezultati eksperimenta za određivanje optimalnog broja ulaza modela A (NiA)………………………………………………………………………………………………………………..

83

Tablica 4.12. Rezultati eksperimenta za određivanje optimalnog broja skrivenih neurona (NhA), optimalnog algoritma i odgovarajuće funkcije cilja podmodela A……….

83

Tablica 4.13. Rezultati eksperimenta za određivanje optimalnog broja ulaza modela B (NiB)………………………………………………………………………………………………………………

84

Tablica 4.14. Rezultati eksperimenta za određivanje optimalnog broja skrivenih neurona (NhB), optimalnog algoritma i odgovarajuće funkcije cilja podmodela B…………

85

Tablica 4.15. Rezultati eksperimenta za određivanje optimalnog broja ulaza modela C (NiC)………………………………………………………………………………………………………………

86

xi

Tablica 4.16. Rezultati eksperimenta za određivanje optimalnog broja neurona skrivenog sloja (NhC), optimalnog algoritma i odgovarajuće funkcije cilja podmodela C

86

Tablica 4.17. Rezultati metode „usrednjavanja odziva“ modela C…………………………………….... 87

Tablica 4.18. Rezultati eksperimenta za određivanje optimalnog broja ulaza modela D (NiD)…………………………………………………………………………………………………………….

89

Tablica 4.19. Rezultati eksperimenta za određivanje optimalnog broja skrivenih neurona (NhD), optimalnog algoritma i odgovarajuće funkcije cilja podmodela D…………

89

Tablica 4.20. Rezultati eksperimenta za određivanje optimalnog broja ulaza cjelogodišnjeg modela (Ni)…………………………………………………………………………………………………….

91

Tablica 4.21. Rezultati eksperimenta za određivanje optimalnog broja skrivenih neurona Nh, optimalnog algoritma i odgovarajuće funkcije cilja CG modela…………………

91

Tablica 4.22. Ulazne varijable OANM-a………………………………………………………………………………. 92

Tablica 4.23. Kriterij odabira podmodela OANM-a ovisno o dobu godine…………………………… 94

Tablica 5.1. Rezultati apsolutne ocjene točnosti predviđanja OANM-a ……………………………. 96

Tablica 5.2. Relativne mjere kvalitete……………………………………………………………………………….. 97

Tablica 5.3. Usporedba rezultata predviđanja modela vremenske serije (a) i optimiziranog adaptivnog neuronskog modela (b) posredstvom najinformativnijih kriterija……………………………………………………………………………

98

xii

Popis ilustracija

Slika 2.1. Model umjetnog neurona………………………………………………………………………………. 15

Slika 2.2. Višeslojni perceptron………………………………………………………………………………………. 15

Slika 2.3. Aktivacijske funkcije: (a) linearna, (b) ograničena linearna, (c) unipolarna sigmoidalna, (d) bipolarna sigmoidalna…………………………………………………………

16

Slika 2.4. Rasprostiranje signala kroz mrežu unaprijed…………………………………………………… 18

Slika 2.5. Rasprostiranje greške kroz mrežu unatrag……………………………………………………… 19

Slika 2.6. (a) i (b) utjecaj momenta α na promjenu težinskih koeficijenata ∆wk …………….. 20

Slika 3.1. Hidrološki ciklus……………………………………………………………………………………………… 27

Slika 3.2. Postupak formiranja neuronskog modela za predviđanje……………………………….. 38

Slika 3.3. Problem lokalnih minimuma…………………………………………………………………………… 44

Slika 4.1. Područje sliva rijeke Cetine…………………………………………………………………………….. 52

Slika 4.2. Pojedinačni doprinos HE-a godišnjoj proizvodnji električne energije na HES-u Cetine………………………………………………………………………………………………………………

55

Slika 4.3. Gornji dio sliva rijeke Cetine……………………………………………………………………………. 56

Slika 4.4. Srednji dnevni protok mjeren u Vinaliću, za period od 2007. do 2012. godine…. 57

Slika 4.5. Prosječna srednja vrijednost dnevnog dotok rijeke Cetine u akumulaciju Peruća za period od 2007. do 2012. godine…………………………………………………….

58

Slika 4.6. Vrijednosti autokorelacijskih koeficijenata za prvih 28 članova vremenske serije……………………………………………………………………………………………………………….

59

Slika 4.7. Godišnja količina oborina mjerenih u Vinaliću, Vrlici, Kijevu i Kosovu za period od 2007. do 2012. godine………………………………………………………………………………..

60

Slika 4.8. Rezultati analize podataka dobiveni linearnom korelacijom između oborina i protoka…………………………………………………………………………………………………………

61

Slika 4.9. Vremenska serija varijable temperature mjerene u Drnišu za period od 2007. do 2012., prikazana kao funkcija vremena……………………………………………………..

62

xiii

Slika 4.10. Rezultati korelacijske analize između temperature mjerene u Drnišu i protoka mjerenog u Vinaliću za podatke iz perioda od 2007. do 2012. godine……………..

63

Slika 4.11. Neuronski model MLP arhitekture univerzalnog aproksimatora kreiran u Matlab-u pomoću naredbe newff……………………………………………………………………

65

Slika 4.12a. Usporedba odziva modela vremenske serije za predviđanje dotoka dan unaprijed sa stvarnim vrijednostima hidrološkog dotoka mjerenog u Vinaliću, za 2012. godinu……………………………………………………………………………………………….

66

Slika 4.12b. Uvećani prikaz usporedbe odziva modela vremenske serije za predviđanje dotoka dan unaprijed sa stvarnim vrijednostima hidrološkog dotoka mjerenog u Vinaliću………………………………………………………………………………………

66

Slika 4.13. Shema NM za predviđanje k-dana unaprijed po načelu direktne metode………. 67

Slika 4.14. Shema NM za predviđanje k-dana unaprijed po načelu indirektne metode……. 68

Slika 4.15. Predviđanje dotjecanja više dana unaprijed pomoću direktne metode i usporedba sa stvarnim dotokom mjerenim u Vinaliću, za period od 255. do 290. dana 2012. godine………………………………………………………………………………….

69

Slika 4.16. Usporedba odziva RR modela s odzivom TS modela i sa stvarnim vrijednostima dotoka mjerenog u Vinaliću za period od 290. do 335. dana 2012. godine…………………………………………………………………………………………………

71

Slika 4.17. Vizualna ocjena prediktivnih sposobnosti neuronskih modela (a), (b) i (c), dobivenih preliminarnim istraživanjem………………………………………………………….

73

Slika 4.18. Načelna shema modela za istraživanje koraka računanja (k)…………………………. 74

Slika 4.19. Korelacijska analiza stvarne i prognozirane učestalosti oborina…………………….. 75

Slika 4.20. Usporedba dnevnog predviđanja dotoka uz primjenu stvarne i prognozirane učestalosti oborina za k = 7, za cijelu 2012. godinu…………………………………………

77

Slika 4.21. Usporedba dnevnog predviđanja dotoka uz primjenu stvarne i prognozirane učestalosti oborina za k = 7, uvećani prikaz (jesen – 2012.)…………………………….

77

Slika 4.22. Načelna inicijalna shema adaptivnog neuronskog modela (ANM)…………………. 80

Slika 4.23. Usporedba odziva optimalnog modela A s mjerenim vrijednostima dotoka…… 84

Slika 4.24. Usporedba odziva optimalnog modela B s mjerenim vrijednostima dotoka…… 85

xiv

Slika 4.25. Usporedba odziva optimalnog modela C s mjerenim vrijednostima dotoka…… 86

Slika 4.26. Usporedba predviđanja modela C sa i bez usrednjavanja odziva sa stvarnim vrijednostima hidrološkog dotoka………………………………………………………………….

88

Slika 4.27. Usporedba odziva cjelogodišnjeg modela s usrednjavanjem odziva sa stvarnim vrijednostima hidrološkog dotoka za period predviđanja od 1. do 59. dana…………………………………………………………………………………………………………

88

Slika 4.28. Usporedba odziva optimalnog modela D s mjerenim vrijednostima dotoka…. 90

Slika 4.29. Usporedba odziva optimiziranog CG modela s mjerenim vrijednostima dotoka……………………………………………………………………………………………………………

92

Slika 4.30. Strukturni prikaz optimiziranog adaptivnog neuronskog modela (OANM)……… 93

Slika 5.1. Grafička ocjena predviđanja OANM-a; usporedba odziva modela sa stvarnim vrijednostima dotoka rijeke Cetine u ak. Peruća, za prvih jedanaest mjeseci 2012. godine……………………………………………………………………………………

101

Slika 5.2. Grafički prikaz (trenutne) pogreške predviđanja OANM-a za prvih jedanaest mjeseci 2012. godine……………………………………………………………………………………

101

Slika 5.3. Uvećani prikaz odziva modela, stvarnog dotoka, pogreške i učestalosti prognozirane oborine za prvih 90 dana 2012. godine…………………………………..

102

Slika 5.4. Uvećani prikaz odziva modela, stvarnog dotoka, pogreške i učestalosti prognozirane oborine za period od 90. do 180. dana 2012. godine………………

103

Slika 5.5. Uvećani prikaz odziva modela, stvarnog dotoka, pogreške i učestalosti prognozirane oborine za period od 180. do 280. dana 2012. godine…………….

103

Slika 5.6. Uvećani prikaz odziva modela, stvarnog dotoka, pogreške i učestalosti prognozirane oborine za period od 280. do 335. dana 2012. godine…………….

104

xv

Popis kratica i simbola

Kratica Opis

(N)DC (Nacionalni) dispečerski centar

A srednja vrijednost, prosjek (engl. average)

ANM adaptivni neuronski model

BP algoritam propagacije greške unatrag (engl. back propagation)

BR Bayesova regularizacija za treniranje UNM (engl. Bayesian regularisation)

CC međukorelacija (engl. cross-correlation)

CE koeficijent učinkovitosti (engl. coefficient of efficiency)

CG cjelogodišnji model

D indeks podudarnosti (engl. index of agreement)

DHMZ Državni hidrometeorološki zavod

ECMWF engl. European Center for Medium-Range Weather Forecasting

EES elektroenergetski sustav

FFNN unaprijedne neuronske mreže (engl. feed forward neural networks)

FLK funkcija linearne korelacije

GRNN engl. generalized regression neural networks

HE hidroelektrana

HES hidroenergetski sustav

IDNN engl. input delayed neural networks

LM Levenberg-Marquardt algoritam za treniranje UNM-a

MA klizne srednje vrijednosti (engl. moving averages)

MAE srednja apsolutna pogreška (engl. mean absolute error)

MLP višeslojni perceptron (engl. multi-layered perceptron)

MSE srednja kvadratna pogreška (engl. mean squared error)

NH broj neurona skrivenog sloja UNM-e

NI broj neurona ulaznog sloja UNM-e

NhA broj skrivenih neurona podmodela A

NhB broj skrivenih neurona podmodela B

xvi

NhC broj skrivenih neurona podmodela C

NhD broj skrivenih neurona podmodela D

NiA broj ulaznih neurona podmodela A

NiB broj ulaznih neurona podmodela B

NiC broj ulaznih neurona podmodela C

NiD broj ulaznih neurona podmodela D

NM neuronski model

OANM optimizirani adaptivni neuronski model

PBIAS pristranost modela u postocima (engl. percent bias)

PE potencijalna pogreške (engl. potencial error)

PI indeks dosljednosti (engl. persistence indeks)

RBFN mreža s radijalnom bazom (engl. radial basis function network)

RMSE korijen srednje kvadratne pogreške (engl. root mean squared error)

RNN engl. recurrent neural networks

RR model oborine-otjecanje (engl. rainfall-runoff)

RSR omjer korijena srednje kvadratne pogreške i standardne devijacije

SOM samo-organizirajuće mape (engl. self-organising maps)

SSE suma kvadratne pogreške (engl. sum of squared error)

STDEV standardna devijacija

SVM engl. support vector machines

TDNN engl. time lagged neural networks

TNN engl. temporal neural networks

TS model vremenske serije (engl. time series)

UNM umjetna neuronska mreža (engl. artificial neural network, ANN)

UTC koordinirano svjetsko vrijeme (engl. coordinated universal time)

Simbol Opis

∂ oznaka parcijalne derivacije

α Bayesov hiperparametar, težinski koeficijent funkcije Ew

β Bayesov hiperparametar, težinski koeficijent funkcije Ee

c konstanta, ARMA modela

xvii

∆ promjena

δ lokalni gradijent umjetnog neurona

d željena vrijednost varijable

E ukupna pogreška UNM-e, odstupanje odziva mreže od željenih vrijednosti

e pojedinačna pogreška umjetnog neurona

Ee suma kvadrata pogreške (SSE)

Ew suma kvadrata podesivih parametara mreže

f funkcija

f30 učestalost oborina u proteklih 30 dana

Fc funkcija cilja

fImotski učestalost prognozirane oborine za područje Imotskog u periodu od k dana

fk učestalost prognozirane oborine za područje sliva Cetine u periodu od k dana

fKnin učestalost prognozirane oborine za područje Knina u periodu od k dana

fSinj učestalost prognozirane oborine za područje Sinja u periodu od k dana

γ optimalni broj podesivih parametara mreže iz BR algoritma

η intezitet podešavanja parametara UNM-e, „brzina učenja“

H Hessian matrica

I Jedinična matrica

ϕ aktivacijska funkcija umjetnog neurona

J Jakobijan matrica

κ multiplikator kombinacijskog koeficijenta µ

k korak računanja

µ kombinacijski koeficijent iz LM algoritma

m dimenzija prostora (engl. embedding dimension)

N ukupan broj podataka

∇ Hamiltonov diferencijalni operator

Ns broj uzoraka za treniranje UNM-e

Nw broj podesivih parametara mreže

o odziv (neurona, mreže, modela)

p pobuda umjetnog neurona

P varijabla oborine, vremenska serija

xviii

p trenutna vrijednost oborine

Puk_30 ukupna količina oborina u proteklih 30 dana

q trenutni hidrološki dotok, protok (m3/s)

Q varijabla hidrološkog dotoka, vremenska serija

r Pearsonov koeficijent, linearni korelacijski koeficijent

r2 koeficijent određenosti (engl. coefficient of determination)

θ trenutna temperature

τ vremenska konstanta sustava (engl. embedding delay)

T varijabla temperature, vremenska serija

t vrijeme (dan)

u ukupna (otežana) vrijednost ulaznog signala umjetnog neurona

v red AR dijela, ARMA modela

w podesivi parametri UNM-e, težinski koeficijenti međuneuronskih veza

x proizvoljna varijabla

ψ moment, inercija promjene težinskih koeficijenata UNM-e

z red MA dijela, ARMA modela

ε bijeli šum

λ, θ parametri dobiveni identifikacijom ARMA modela

1

1. Uvod

Cilj disertacije je rješavanje problema kratkoročnog predviđanja hidrološkog dotjecanja pomoću umjetne neuronske mreže u uvjetima ograničenog skupa dostupnih podataka s naglaskom na otklanjanje kašnjenja predviđanja modela i povećanje točnosti predviđanja. U uvodnom poglavlju izneseni su u sljedećem redoslijedu: motivacija za istraživanje definiranog problema i pisanje ove disertacije, postojeći načini i metode rješavanja sličnih problema upoznati putem dostupne literature, razvoj hipoteze kroz definiranje problema i ideje o njegovom rješavanju. Na samom kraju uvoda predstavljen je i kratak opis sadržaja disertacije po poglavljima.

1.1. Motivacija

Voda i vodni tokovi predstavljaju lako dostupne, samoobnovljive izvore energije koje se na relativno jednostavan način može iskoristiti za dobivanje energije nekog drugog oblika, poput električne energije iz hidroelektrane. Prilikom iskorištavanja energije vode jedan od problema je kruženje vode u prirodi [85] tako da njena dostupnost nije uvijek jednaka. Štoviše, pojava otjecanja sa sliva funkcija je različitih zemljopisnih, geoloških, bioloških, klimatoloških i antropoloških čimbenika [86], odnosno različitih varijabli čiji su odnosi pritom najčešće nelinearni [72]. Dodatan problem, posebno izražen u krškim područjima, je i taj što pojedine osobine sustava, poput podzemnih tokova i akumulacija, često nisu poznate. Spomenuta svojstva sustava predstavljaju problem u modeliranju, naročito ukoliko se radi o modeliranju za potrebe predviđanja.

Svojstvo ograničenosti vodenog resursa po pitanju mjesta i količine pojave uvjetuje njegovo racionalno korištenje bez obzira radi li se o proizvodnji električne energije ili

2

vodoopskrbi, a optimizacija je moguća i s aspekta izbjegavanja, odnosno ublažavanja posljedica elementarnih nepogoda i slično. Općenito, kako bi se optimiziralo uporabu vodenih resursa, koriste se hidrološka predviđanja koja se temelje na hidrološkim modelima. U konkretnom slučaju planiranja i vođenja procesa proizvodnje električne energije u hidroelektranama, cijeli se postupak oslanja na vođenje vodenih resursa. Razlog tome leži u činjenici da se proizvod, električna energija, ne može jednostavno pohraniti kako bi bila dostupna u određenom trenutku. Stoga je puno jednostavnije pohraniti vodu, prirodni resurs iz kojeg se električna energija proizvodi. Kao što je objašnjeno u trećem poglavlju ove disertacije, u odjeljku 3.6.1., predviđeni dotoci te stanja u akumulacijama igraju važnu ulogu u kratkoročnom i srednjoročnom planiranju rada hidroenergetskog sustava.

U ovoj doktorskoj disertaciji istraživana je mogućnost kratkoročnog predviđanja dotjecanja vode u akumulaciju u izrazito krškom području i to pomoću statičke umjetne neuronske mreže. Kao predmet istraživanja poslužio je sliv rijeke Cetine, najznačajniji i tehnoekonomski najvažniji sliv u Hrvatskoj prema godišnjoj proizvodnji energije te raspoloživoj snazi i odgovarajućim regulacijskim mogućnostima [32]. U cijelom sustavu najosjetljivija na velike dotoke je akumulacija Peruća, čiji je ukupni akumulacijski volumen dovoljan da prihvati velike vodne valove bez preljeva, osim u iznimnim slučajevima velikih dotoka koji su dočekani sa visokom kotom akumulacije. Primjenom hidroloških prognoza dotoka moglo bi se izbjeći negativne utjecaje pojave velikih vodenih valova i pomoći u rješavanju osnovnih problema dnevnog planiranja rada sliva.

1.2. Dosadašnji razvoj

U prošlosti su se za hidrološka predviđanja najčešće koristili statistički modeli vremenske serije, poseban oblik eksperimentalnih modela. Međutim, klasični modeli vremenske serije pretpostavljaju linearne odnose ulaznih i izlaznih varijabli, a s obzirom da je hidrološki sustav izrazito nelinearan [72], pogreška koja nastaje korištenjem spomenutih modela je neizbježna. Pored statističkih, zabilježeni su i pokušaji formiranja fizikalnih modela. Međutim, zbog izrazite složenosti hidroloških sustava fizikalni modeli su također složeni, a usto nužno obiluju aproksimacijama. Navedena svojstva uvjetuju rjeđu primjenu fizikalnih modela za modeliranje cijelog sustava i češće ih se koristi za modeliranje dijela sustava. U tom slučaju fizikalni modeli predstavljaju nadopunu statističkog modela te se može reći kako se tada radi o hibridnom modelu hidrološkog sustava.

Umjetne neuronske mreže (UNM), čije se detaljni opis može pronaći u [9], [14], [37], [38], [40], [51], [69], [70], predstavljaju alternativno rješenje koje je slično statističkim modelima jer za modeliranje sustava koriste samo izmjerene vrijednosti ulaznih i izlaznih varijabli. S obzirom da su se UNM-e pokazale dobrim alatom za aproksimaciju nelinearnih funkcija u različitim područjima primjene, kao što se može vidjeti iz [12], [14], [23] i [38],

3

ideja o njihovoj primjeni za hidrološka predviđanja djelovala je sasvim opravdano, kao što pokazuju i rezultati radova [1], [2], [3], [4], [16], [21], [54] i [55].

Intenzivnija primjena UNM-a u hidrologiji počinje 90-ih godina 20. stoljeća, dok se u posljednjem desetljeću istraživanja na tu temu intenziviraju. Najveću pozornost istraživača privlači prognoziranje kvantitativnih varijabli hidrološkog sustava, pri čemu se prema analizi provedenoj u [55], najveći broj radova bavi prognoziranjem toka. U radovima [10], [27], [31], [42], [48], [59], [67], [73] i [81] napravljena je usporedba neuronskih i statističkih modela, a u radovima [18] i [25] neuronskih, statističkih i fizikalnih modela, dok se usporedba neuronskih i fizikalnih modela može pronaći u [8], [13], [43] i [58]. U većini slučajeva može se zaključiti superiornost predviđanja pomoću UNM-a u odnosu na tradicionalne fizikalne i statističke modele.

Predviđanje dotoka pomoću UNM-a se temelji na prethodno izmjerenim vrijednostima različitih fizikalnih varijabli i upravo prema varijablama koje se koriste moguće je razlikovati: modele vremenske serije (engl. time series, TS), modele oborine-otjecanje (engl. rainfall-runoff, RR) te viševeličinske modele. Neuronski modeli vremenske serije (TS) vrše predviđanje na temelju vremenske serije zabilježenih vrijednosti samo jedne varijable, u ovom slučaju hidrološkog dotoka. Neuronski modeli oborine-otjecanje (RR) pored vremenske serije izmjerenog protoka koriste kao ulaznu varijablu i vremenske serije zabilježene oborine i prema količini dostupnih radova može se donijeti grubi zaključak kako se radi i o najčešće korištenom načinu modeliranja dotoka. U najsloženijem slučaju primjene neuronskih viševeličinskih modela koriste se različite varijable sustava, poput oborina, temperature, vlažnosti zemlje, vlažnosti zraka, godišnjeg doba, doba dana, kako bi se ostvarilo što točnije predviđanje hidrološkog dotoka.

Za modeliranje hidroloških sustava najčešće se primjenjuje arhitektura višeslojnog perceptrona (engl. multi-layer perceptron, MLP), odnosno unaprijedna dvoslojna neuronska mreža sa svojstvom univerzalnog aproksimatora. Mogućnosti primjene ove statičke strukture, ali i prednosti u odnosu na dinamičku pri modeliranju dinamičkih sustava diskutirane su u radu [65]. Pored MLP neuronske mreže, za modeliranje hidrološkog dotoka još se koriste i mreže s radijalnom bazom (engl. radial basis function neural networks, RBFNN) kao što se može pronaći u radovima [20], [22], [28], [71], [76]. Uz to, koriste se i temporalne neuronske mreže različitih tipova kao što su: RNN (engl. recurrent neural networks), opisano u knjizi [57] i TDNN (engl. time delayed neural networks), kao što je opisano u [82], odnosno TLNN (engl. time lagged neural networks) kao u [61] ili IDNN (engl. input delayed neural networks) kao u [19].

Jedno od značajnijih ograničenja dosad izrađenih modela je kratkoročnost predviđanja od svega nekoliko koraka računanja unaprijed pa je produljenje predikcijskog horizonta neizbježan predmet istraživanja i konstantan izazov. Općenito, metode za predviđanje više koraka unaprijed se mogu podijeliti na direktne, čija se primjena može pronaći u radovima [20], [35], [61], [63], [77] i [83] i indirektne metode, kao u radovima [18], [19], [26], [78],

4

[79], [81] i [84]. U preliminarnim istraživanjima ovog rada korištene su obje metode, opisane u odjeljku 4.3.2. četvrtog poglavlja ove disertacije, a napravljena je i usporedba uspješnosti iz koje se može zaključiti kako obje metode vrše predviđanja podjednake točnosti. Do istog zaključka se može doći i pregledom dostupne literature, odnosno radova [11], [24] i [80] u kojima su korištene obje metode. Za primijetiti je pritom veću sklonost autora navedenih radova direktnoj metodi i to, kao što se navodi, prvenstveno zbog jednostavnijeg postupka formiranja modela.

U svrhu produženja predikcijskog horizonta zabilježeni su pokušaji korištenja meteoroloških prognoza. Uključivanjem odziva modela za predviđanje, na primjer oborina, u skup ulaznih varijabli bavili su se autori radova [63], [77] i [83]. Podaci dobiveni meteorološkom prognozom, predstavljeni u odjeljku 4.1.6. ovog rada, odnosno derivati tih podataka, korišteni su i u ovom radu u vidu učestalosti prognozirane oborine. Varijabla učestalosti prognozirane oborine predstavljena je u potpoglavlju 4.4.

Kao alternativa produženju predikcijskog horizonta za dnevno prognoziranje moguće je koristiti tjedno, odnosno mjesečno predviđanje koje se temelji na srednjim vrijednostima varijabli za izabrani korak računanja, u tom slučaju jedan tjedan ili jedan mjesec.

Jedan od uočenih nedostataka modela za predviđanje hidrološkog dotoka je i pojava kašnjenja predviđanja modela za stvarnim događajem. Pojava kašnjenja predviđanja modela uočena je u radovima [20], [48], [49], [67] i [78], ali nije posebno komentirana, odnosno nije joj posvećena veća pozornost. U knjizi [1], odnosno radu [3] se ovaj problem vezuje isključivo uz predviđanje dotoka temeljem vremenske serije, a pojava kašnjenja se objašnjava nepostojanjem informacije koja bi nagovijestila naglu promjenu te se sugerira proširivanje ulaznog vektora varijablom oborine. Međutim, problem kašnjenja uočen je i kod modela koji koriste oborinu kao ulaznu varijablu. Takav slučaj analiziran je u radu [24] u kojem autor rada problem pripisuje dominaciji podataka o dotoku u odnosu na podatke o oborinama, što dokazuje usporedbom koeficijenata korelacije između dotoka i oborina s koeficijentima autokorelacije vremenske serije dotoka. Pretpostavlja se kako mreža prilikom treniranja zanemaruje podatke s manjim korelacijskim koeficijentima, odnosno kako zanemaruje oborine i tako ne uspijeva iskoristiti informaciju koju ti podaci nose. U istom je radu istaknuto kako problem kašnjenja predviđanja modela za stvarnim događajem još nije adekvatno riješen. Postojanje ovog problema te nemogućnost da ga se otkloni uvođenjem varijable oborine potvrđeno je i preliminarnim istraživanjima ove disertacije. Ovaj problem se pokazao ključnim nedostatkom neuronskih modela za predviđanje hidrološkog dotoka, koji posebno dolazi do izražaja u slučaju predviđanja više koraka unaprijed.

Pored ograničenosti predikcijskog horizonta i problema kašnjenja, uočen je i niz nedostataka u samom postupku formiranja neuronskih modela za predviđanje varijabli hidrološkog sustava, kojeg ističu i dostupni pregledni radovi. Prema [54] i [55], izražen je općeniti nedostatak sustavnog pristupa formiranju neuronskog modela hidrološkog sustava, koji se prvenstveno očituje u proizvoljnom odabiru ulaznih varijabli sustava, strukture mreže,

5

nasumičnoj podjeli podataka prilikom treniranja mreže i nemogućnosti pouzdanog određivanja globalnog minimuma prilikom treniranja mreže, a zabilježena je i uporaba neprimjerenih mjera kvalitete pri ocjenjivanju modela.

1.3. Hipoteza

Definicija problema, čijem je rješavanju posvećena ova disertacija, proizlazi iz pokušaja da se ostvari kratkoročno predviđanje hidrološkog dotoka pomoću umjetne neuronske mreže. Inicijalna istraživanja provedena u svrhu formiranja modela sposobnog za takva predviđanja poznatim metodama nazivaju se preliminarnim. Preliminarna istraživanja ukazala su na nemogućnost pouzdanog višednevnog predviđanja hidrološkog dotoka na temelju postojećih mjerenih vrijednosti hidroloških i meteoroloških varijabli sustava. Rezultati preliminarnih istraživanja potvrdili su osnovne nedostatke ovakvog načina predviđanja, a radi se o ograničenosti predikcijskog horizonta i izraženom kašnjenju predviđanja modela. Isti nedostaci uočeni su i u dijelu radova iz dostupne literature, a kako se poznati postupci rješavanja problema nisu pokazali uspješnim može se zaključiti nužnost daljnjih istraživanja.

Kao predmet istraživanja ove disertacije poslužio je sliv rijeke Cetine, a kao varijabla hidrološkog dotjecanja modelirano je dotjecanje rijeke Cetine u akumulaciju Peruća s ciljem kratkoročnog dnevnog predviđanja pomoću umjetne neuronske mreže. Istraživane su mogućnosti modeliranja sustava na temelju mjerenog protoka u prvom slučaju, zatim protoka i oborina u drugom slučaju, da bi u trećem slučaju bila uključena i informacija o temperaturi. Dakle, istraživana je mogućnost rješenja problema pomoću modela vremenske serije, modela oborine-otjecanje i viševeličinskog modela. Ostvareni rezultati istraživanja ukazuju na konstantno opadanje kvalitete modela s povećanjem koraka predviđanja (k) koje rezultira gotovo neupotrebljivim modelom1 za predviđanja iznad dva koraka računanja, odnosno predviđanja dva dana unaprijed. Pored toga, uočeno je kašnjenje odziva modela za točno onaj broj koraka za koji se radi predviđanje. Uočeno kašnjenje predstavlja i ključni nedostatak modela i navodi na zaključak kako niti jedan od modela dobivenih preliminarnim istraživanjem ne posjeduje nikakve prediktivne sposobnosti s obzirom da model ne uspijeva predvidjeti promjenu prije no što se ona dogodi. Model kao najvjerojatniju buduću vrijednost izlazne varijable dotoka predviđa vrijednost blisku njenoj prethodnoj vrijednosti. Problem je posebno izražen kod naglih promjena predviđane varijable hidrološkog dotoka.

S obzirom na činjenicu da se u razmatranom slučaju radi o krškom reljefu, čiji podzemni tokovi i akumulacije sustav čine izrazito nelinearnim te zahtjevnim za modeliranje, loši rezultati predviđanja su donekle očekivani. Međutim, izrazito loši rezultati predviđanja te

1 Prema [60] neupotrebljivim modelom se definira model ocijenjen s koeficijentima CE ≤ 0,5 i RSR > 0,7.

Detaljan opis korištenih mjera kvalitete dan se u poglavlju 3.4.

6

nemogućnost da se model unaprijedi uobičajenim postupcima, kao što je proširivanje skupa ulaznih varijabli predloženo u [3], navode na pretpostavku o specifičnom problemu nepodudaranja vremenske konstante sustava s nametnutim korakom računanja u iznosu od jednog dana.

Naime, modeli za hidrološka predviđanja temeljeni su na vremenskim serijama, a vremenska serija varijable se može interpretirati kao jednodimenzionalna projekcija m-dimenzionalnog prostora u vremenu. Prema teoremu Florisa Takensa (engl. delay embedding theorem) uz ispravno odabranu dimenziju prostora m moguće je rekonstruirati fazni prostor sustava, a time i predvidjeti buduće vrijednosti varijabli sustava [30] i [64]. Prema spomenutom teoremu vremenska serija mjerene varijable se može opisati kao vremenski slijed vrijednosti varijable xt definiran izrazom (1.1),

( )2 ( 1), , ... ,t t t t mx f x x xτ τ τ− − − −= (1.1)

gdje su: m spomenuta dimenzija prostora (engl. embedding dimension), a τ zaostajanje (engl. embedding delay). S obzirom da i sam teorem ne spominje zaostajanje kao parametar koji uvjetuje rekonstrukciju faznog prostora, razmatranje ovog problema se u praksi često pojednostavljuje i svodi na određivanje dimenzije m, odnosno uzima se τ = 1. Pri tom se problem često naziva određivanje kašnjenja vremenske serije (engl. time series lag), a u kontekstu modeliranja sustava ga se može interpretirati kao vremensku konstantu sustava ili jednostavno kao korak računanja (k).

Osnovna ideja rješenja problema točnog i pravovremenog kratkoročnog predviđanja hidrološkog dotoka koja se predlaže u ovom radu temelji se na određivanju optimalnog koraka računanja (k) i detekciji ključnih varijabli sustava koji bi takva predviđanja učinili mogućim. Odnosno, cilj je smanjenjem rezolucije modela povećati vjerojatnost točnog predviđanja. Pri tome je ključno detektirati varijable koje bi omogućile takvo predviđanje, naravno uz pretpostavku da takve varijable postoje.

Za kratkoročno predviđanje hidrološkog dotoka u ovoj disertaciji razvijen je adaptivni neuronski model koji se sastoji od više umjetnih neuronskih mreža specijaliziranih za predviđanja u različitim godišnjim dobima. Cjelokupni model, ali i njegovi podmodeli se potom optimiziraju, pri čemu se traže optimalan broj podmodela, a za svaki podmodel optimalan skup ulaznih varijabli, broj neurona, trening algoritam i funkcija cilja, kao što je objašnjeno u potpoglavlju 4.6. Prilikom formiranja svih neuronskih modela u ovoj disertaciji slijede se pravila o sustavnom pristupu formiranju neuronskih modela za hidrološka predviđanja.

7

1.4. Opis sadržaja disertacije

Cjelokupni sadržaj disertacije je predstavljen kroz šest numeriranih poglavlja, koje slijedi popis literature s ukupno devedeset i jednim referentnim izvorom te kratak životopis autora na hrvatskom i engleskom jeziku. Na samom početku rada dan je sažetak disertacije, ključne riječi na hrvatskom i na engleskom jeziku, popis dvadeset sedam tablica, četrdeset šest ilustracija te pedeset jedna kratica i pedeset četiri simbola korištenih u ovom radu.

Pored kratkog opisa sadržaja doktorske disertacije, cilj uvodnog poglavlja je predstaviti motivaciju autora za provođenje istraživanja i pisanje disertacije te navesti postojeće načine i metode rješavanja sličnih problema s kojima se bilo moguće upoznati putem dostupne literature. U uvodnom poglavlju iznesena je hipoteza, odnosno definiran je problem i predstavljena je ideja o njegovom rješavanju.

U drugom poglavlju opisan je alat korišten za rješavanje definiranog problema, umjetna neuronska mreža (UNM). Dan je kratak pregled razvoja UNM-a, a predstavljena je i biološka osnova na temelju koje su UNM-e razvijene. Ukratko su navedena osnovna svojstva, a detaljnije je predstavljena samo korištena arhitektura mreže za formiranje modela iz ovog rada, višeslojni perceptron. Također, predstavljeni su i oni algoritmi za treniranje takve mreže korišteni prilikom formiranja modela u ovoj disertaciji i to: algoritam propagacije greške unatrag, Levenberg-Marquardt algoritam i Bayesova regularizacija. Na kraju drugog poglavlja je diskutirana i mogućnost primjene UNM-a za predviđanje varijabli hidrološkog sustava.

U trećem poglavlju je prvo opisan hidrološki sustav općenito, a potom su opisane i mogućnosti modeliranja hidrološkog sustava s naglaskom na predviđanje hidrološkog dotjecanja. Objašnjena je potreba za predviđanjem hidrološkog dotjecanja, a posebno su diskutirani i razlozi primjene upravo UNM-a kao alata za modeliranje hidrološkog dotjecanja. Analiziran je i veći broj mjera, odnosno kriterija kvalitete za ocjenjivanje točnosti predviđanja modela, a posebna pažnja je posvećena sustavnom pristupu formiranja neuronskog modela čiji se izostanak tretira kao jedan od osnovnih propusta u modeliranju hidroloških sustava, prema izvještajima iz [54] i [55]. Na kraju trećeg poglavlja opisano je planiranje proizvodnje električne energije kako bi se objasnila moguća korisnost informacije koju nudi razvijeni model.

U četvrtom poglavlju prikazano je i detaljno opisano formiranje optimiziranog adaptivnog neuronskog modela (OANM) za kratkoročno predviđanje hidrološkog dotjecanja i to na primjeru predviđanja dotjecanja rijeke Cetine u akumulaciju Peruća. Prvo je opisan sam predmet istraživanja, odnosno navedena su osnovana geografska, klimatološka i hidrološka obilježja sliva rijeke Cetine, a ukratko je opisan i hidroenergetski sustav Cetine. Također u potpoglavlju 4.1. predstavljeni su i podaci prikupljeni na slivu Cetine za potrebe formiranja modela iz ove disertacije. U potpoglavlju 4.2. definirani su uvjeti formiranja modela uz

8

uvažavanje osnovnih načela sustavnog pristupa, čime su dane smjernice za razvoj svih modela formiranih za potrebe istraživanja iz ove disertacije. U potpoglavlju 4.3. opisana su preliminarna istraživanja koja su ukazala na postojanje problema nemogućnosti točnog i pravovremenog kratkoročnog predviđanja hidrološkog dotjecanja za specifičan slučaj sliva rijeke Cetine. U potpoglavlju 4.4. prikazano je rješenje problema, najprije u vidu jednostavnog neuronskog modela s podešenim korakom računanja i skupom pretpostavljenih ključnih ulaznih varijabli, dok se u petom potpoglavlju razvija unaprjeđenje osnovnog modela u vidu adaptivnog neuronskog modela. U šestom potpoglavlju se model optimizira, pri čemu se određuje optimalan broj podmodela, odnosno optimalan broj članova adaptivnog modela, a optimizira se i svaki član zasebno i to po pitanju ulaza, broja neurona, algoritma za treniranje i funkcije cilja. U potpoglavlju 4.7. predstavlja se konačno rješenje u vidu optimiziranog adaptivnog neuronskog modela za kratkoročno predviđanje dotjecanja formirano i ispitano na slučaju predviđanja dotjecanja rijeke Cetine u akumulaciju Peruća.

U petom poglavlju predstavljeni su rezultati simulacije koji služe za ocjenjivanje modela i donošenje konačnog zaključka o njegovoj kvaliteti. Rezultati simulacije predstavljaju predviđanje modela za 2012. godinu, pri čemu je važno napomenuti kako podaci iz 2012. godine predstavljaju nove i nepoznate uvjete za formirani model s obzirom da ti podaci nisu predstavljani modelu za vrijeme treniranja, odnosno kalibracije. Rezultati simulacije, odnosno odziv modela uspoređivan je sa stvarnim vrijednostima dotoka i to numerički, posredstvom različitih apsolutnih i relativnih kriterija kvalitete te grafički, iscrtavanjem odziva i stvarnih vrijednosti na istom grafu, kao i iscrtavanjem trenutne pogreške određene na temelju razlike ove dvije vrijednosti. S obzirom na veći broj različitih mjera kvalitete korištenih u ovom radu, analizirana je prikladnost korištenih mjera kvalitete. Također, napravljena je i analiza uspješnosti predloženog rješenja kroz usporedbu vrijednosti kriterija kvalitete koje ostvaruje obični neuronski model i OANM.

U šestom poglavlju iznesen je zaključak koji proizlazi iz rezultata simulacije prikazanih u petom poglavlju. S obzirom da rezultati simulacije dokazuju tezu iznesenu u drugom poglavlju disertacije, u okviru zaključka se može jasno definirati izvorni znanstveni doprinos disertacije. U zaključku su iznesena sva osnovna svojstva formiranog modela, istaknute su prednosti, ali i nedostaci predloženog rješenja, a dane su i smjernice za daljnji rad, odnosno daljnja istraživanja. U okviru zaključka, iznesena su i zapažanja vezana uz ocjenjivanje modela i korištene kriterije kvalitete na temelju čega je donesena i preporuka o članovima optimalnog skupa kriterija kvalitete.

9

2. Umjetne neuronske mreže

Umjetne neuronske mreže, UNM (engl. Artificial Neural Networks, ANN) predstavljaju umjetnu tvorevinu, alat, za obradu i pohranu informacije s ciljem stjecanja znanja i njegovog iskorištavanja, što se opisuje svojstvima učenja i generalizacije koja predstavljaju osnovna svojstva UNM-e. UNM-e su razvijene po uzoru na biološke neuronske mreže, odnosno mozak živih bića i kao takve predstavljaju alternativno rješenje klasičnim matematičkim i računalnim metodama. UNM-e potječu iz različitih grana znanosti kao što su neurologija, matematika, statistika, fizika, računarstvo, a nalaze primjenu u modeliranju, raspoznavanju uzoraka, obradi signala, vođenju sustava i drugdje. Kao što se navodi u [65], istraživanja i razvoj umjetnih neuronskih mreža imaju dva osnovna cilja, od kojih je prvi svakako razvoj novih, ali i unaprjeđenje postojećih struktura UNM-a. Drugi cilj je primjena UNM-a kao alata za rješavanje različitih praktičnih problema i upravo to je predmet istraživanja ove disertacije. Naime, s obzirom na svojstva i dokazane sposobnosti UNM-a te svojstva hidroloških sustava, cilj ove disertacije je iskoristiti UNM-e za kratkoročno predviđanje dotoka specifičnog hidrološkog sustava. Specifičnost sustava se očituje u krškom reljefu i ograničenoj dostupnosti podataka.

2.1. Biološka osnova i razvoj umjetnih neuronskih mreža

Mozak živih bića se može interpretirati kao izrazito složen, nelinearan, paralelan sustav za obradu informacija koji složene funkcije može obavljati mnogo brže od najbržeg digitalnog računala [40]. Iako je ova konstatacija izrečena prije više od jednog desetljeća, a digitalna računala u međuvremenu znatno napredovala, u malo blažoj varijanti vrijedi i danas. Obavljanje jednostavnih aritmetičko-logičkih zadataka za digitalno računalo ne predstavlja problem, ali brzinu obavljanja relativno složenih funkcija poput vizualizacije objekta i/ili

10

interakcije s okolinom, koje mozak živih bića obrađuje u milisekundi, digitalno računalo ne može nadmašiti.

S obzirom da tehnologija uglavnom nastaje iz čovjekove potreba oponašanja prirodne tvorevine, zadivljujuća svojstva bioloških neuronskih mreža potakla su znanstvenike na formiranje umjetnog neuronskog sustava koji bi bio sposoban za slične pothvate. Naime, mozak živih bića se sastoji od velikog broja živčanih stanica, neurona koji se povezuju na temelju informacija koje pristižu u mozak, odnosno na temelju podražaja te nastaju biološke neuronske mreže. Uspostavljanjem međuneuronskih veza mozak pohranjuje informaciju na temelju koje može generalizirati, odnosno razlučiti pravila koja povezuju uzrok i posljedicu te dati odgovore i na nepoznata pitanja. Dakle, mozak formira model okoline na temelju primjera koje je imao priliku upoznati, nakon čega taj model može i primijeniti u bilo kojem trenutku, odnosno novoj situaciji. Ovaj proces se naziva stjecanje iskustva, učenje ili treniranje i kod živih bića se najintenzivnije odvija u najranijoj životnoj fazi, ali se nastavlja i kasnije kroz cijeli život. Biološke neuronske mreže se jačanjem međuneuronskih veza specijaliziraju za obavljanje određenih funkcija, oblikuju se, a mogućnost oblikovanja prema okolini je ono što neuronski sustav čini adaptivnim.

Po uzoru na biološke neuronske mreže nastale su umjetne neuronske mreže koje se sastoje od određenog broja međusobno povezanih umjetnih neurona, osposobljenih za obavljanje određene funkcije. Umjetni neuroni su vrlo jednostavna aproksimacija bioloških neurona koji se mogu izraditi kao elementi računalnog programa ili kao fizički elementi od silicija [38], odnosno elektroničke komponente [40]. U nastojanju da se što preciznije, ali i što jednostavnije opiše umjetna neuronska mreža, možda bi najbolje bilo prenijeti definiciju Aleksandera i Mortona iz 1990, prema kojima je:

„Umjetna neuronska mreža je masivni paralelni distribuirani sustav za obradu podataka koji se sastoji od jednostavnih elemenata i ima prirodnu sklonost pohranjivanja iskustvenog znanja koje potom može i koristiti, a sličan je mozgu prema načinu na koji stječe i pohranjuje znanje. Mreža znanje stiče kroz proces učenja, a pohranjuje ga posredstvom intenziteta međuneuronskih veza.“ [40]

Dakle, UNM-e predstavljaju pojednostavljeni matematički model procesa koje obavljaju mreže živčanih stanica, odnosno biološke neuronske mreže, a sastoji se od skupa međusobno povezanih umjetnih neurona čiji se konačan oblik formira nakon završenog procesa učenja kojim mreža stječe znanje o rješavanju određenog problema. Znanje koje mreža posjeduje sadržano je u intenzitetu međuneuronskih veza.

Razvoj umjetnih neuronskih mreža se odvijao u valovima, skokovito i popraćen je fazama izrazitog entuzijazma, ali i fazama gotovo potpunog odbacivanja. Ipak, ukupni trend razvoja UNM-a je itekako pozitivan. Ono što vjerojatno predstavlja začetak ideje o umjetnim neuronskim mrežama je interdisciplinarni rad sa kraja 19. i početka 20. stoljeća znanstvenika iz područja fizike, psihologije i neuropsihologije. Tada su se Hermann von Helmholtz, Ernst

11

Mach i Ivan Pavlov, bavili općenitim teorijama učenja, razmišljanja, uvjetnog donošenja odluke i sličnim problemima [38]. Suvremen model UNM-e nastaje ipak nešto kasnije, 1940-ih godina, kada znanstvenici Warren McCulloch i Walter Pitts, objavljuju radove o mogućnosti rješavanja bilo koje logičke ili aritmetičke funkcije pomoću umjetne neuronske mreže. Njihove radove prate i drugi znanstvenici pa tako Donald Hebb 1949. definira učenje biološkog neurona, poznato kao Hebbianovo pravilo.

Prva praktična primjena UNM-a bilježi se kasnih 1950-ih godina i vezuje uz Franka Rosenblatta, izumitelja perceptrona i pripadajućeg pravila za treniranje takve mreže (engl. perceptron network). Rosenblatt je zajedno sa svojim kolegama razvio prvi perceptron sa sposobnošću raspoznavanja uzoraka (engl. pattern recognition) i time potakao interes šire znanstvene zajednice za istraživanjem neuronskih mreža. Ispostavilo se kako osnovni model perceptrona posjeduje niz ograničenja, a 1969. Marvin Minsky i Seymour Papert objavljuju knjigu u kojoj opisuju ograničene mogućnosti ovog tipa umjetnih neuronskih mreža. Ova je knjiga imala snažan utjecaj na znanstvenike koji su se bavili istraživanjem UNM-a i potakla mnoge da napuste to područje. Opisani razvoj situacije, ali i nepostojanje odgovarajuće opreme za napredna istraživanja značajno su usporila razvoj UNM-a.

Iako su cijelo desetljeće umjetne neuronske mreže bile zapostavljene, upravo u tom periodu, 70-ih godina 20. stoljeća, nastaju neka važna otkrića u ovom području. U tom periodu nastaju samoorganiziajuće mape (engl. self-organizing maps, SOM) poznate još kao Kohonenove mape ili Kohonenove mreže, a svojim radovima, pored tvorca SOM mreže Teuvo Kohenena, ističu se i James Anderson te Stephen Grossberg.

1980-e godine obilježene su razvojem naprednih i lako dostupnih digitalnih računala koja su zasigurno označila prekretnicu u mnogim područjima znanosti. Napredak računalne tehnologije označio je početak novog doba i za neuronske mreže koje su u PC računalima dobile dovoljno dobre, sveprisutne platforme za svoj razvoj.

Ključan trenutak u povijesti umjetnih neuronskih mreža predstavlja razvoj algoritma propagacije greške unatrag (engl. error back propagation algorithm) za treniranje unaprijedne neuronske mreže, odnosno razvoj BPNN neuronske mreže (engl. back propagation neural network). BPNN je nastajala postepeno, nizom pokušaja različitih znanstvenika u različitim stupnjevima razvoja i dostupnosti tehnologije pa je teško imenovati jednu osobu kao utemeljitelja. Pojam rasprostiranja unatrag (engl. back propagation) prvi put koristi Frank Rosenblat, 1962. godine prilikom pokušaja formiranja općenitog pravila za treniranje perceptrona s više slojeva, odnosno višeslojnog perceptrona (engl. multi-layered perceptron, MLP). Osnovnu ideju suvremenog BP algoritma prvi je primijenio Paul Werbos, 1974. u svojoj disertaciji „Beyond Regresion“. U istom smjeru, gotovo paralelno rade i David Parker, David Rumelhart te James McClelland, a konačnu formu i primjere primjene BP algoritma za treniranje neuronske mreže objavljuju Rumelhart, Hinton i Williams 1986. godine u knjizi Back Propagation: Theory, Architectures and Applications. BP algoritam objašnjen je u odjeljku 2.4.1 ovog rada, a detaljno se može pronaći predstavljenu u cijelom

12

nizu dostupne literature poput [9], [12], [23] i [37] među kojima se posebno ističu [38], [39], [40] i [69], sve pisane na engleskom, a postoje i dostupni izvori i na hrvatskom jeziku [65] i [62].

Daljnji napredak računalne tehnologije te sve intenzivnija komunikacija koju uvelike pomaže i sve veća dostupnost Interneta, olakšala je proces integracije znanja, općenitog, ali i znanja iz područja UNM-a. Tijekom 1990-ih godina nastaju i neki od najiscrpnijih izvora informacije o ideji, razvoju i primjeni umjetnih neuronskih mreža. Među primarnim izvorima ističu se radovi autora Simona Haykina, Jamesa Andersona, Christophera Bishopa, Laurene Fausett, Raula Rojasa. Grupa autora Hagan, Demuth i Beale surađuje s tvrtkom MathWorks, Inc. i sustavno od 1992. do danas radi na razvoju alata i pripadajuće literature za kreiranje UNM-a, a osim priručnika za formiranje neuronskih mreža u MATLAB-u ista grupa autora objavljuje i knjigu Neural Networks Design, 1996. godine, koja kasnije doživljava i niz reizdanja. Programski paket MATLAB i pripadajuća literatura omogućili su i istraživanja potrebna za formiranje modela, a u konačnom i nastajanje ovog rada.

Doprinos razvoju neuronskih mreža su u 20. stoljeću dali mnogi fizičari, matematičari, biolozi, psiholozi, neurolozi, elektrotehničari, automatičari, računarci, ekonomisti i drugi znanstvenici. U 21. stoljeću neuronskim mrežama se bave znanstvenici gotovo svih znanstvenih područja, polja i grana, širom svijeta. Rezultat toga je veliki broj radova s različitim primjenama umjetnih neuronskih mreža u rješavanju specifičnih problema iz različitih znanstvenih područja.

Konačno, može se reći kako su zapravo dva ključna faktora, algoritam propagacije greške unatrag i razvoj digitalnih računala, usmjerila razvoj neuronskih mreža prema onome što UNM-e jesu danas, fleksibilan i lako primjenjiv alat za rješavanje problema kod kojih uobičajeni matematički i računalni postupci ne daju najbolje rezultate. Također, za očekivati je da umjetne neuronske mreže nastave profitirati razvojem tehnologije pa se može zaključiti kako se radi o bogatom izvoru koje mogu ponuditi dobra rješenja, ako ne danas, onda možda već sutra.

2.2. Svojstva umjetnih neuronskih mreža

Neuronske mreže općenito posjeduju niz svojstava koja ih čine prihvatljivim rješenjem za čitav niz problema, a najvažnija svojstva navedena su u daljnjem tekstu.

• Učenje na temelju predstavljanja ulazno-izlaznih parova (engl. input-output mapping). S obzirom da su poznate ulazne vrijednosti i željene izlazne vrijednosti moguće je odrediti pogrešku, odnosno razliku između odziva mreže i željenog odziva te obaviti korekciju parametara mreže kako bi se u slijedećoj iteraciji postigla što

13

manja pogreška. Ovaj postupak podešavanja parametara mreže s ciljem minimizacije pogreške zove se učenje pod nadzorom2 (engl. supervised learning).

• Adaptivnost slijedi izravno iz svojstva učenja i označava sposobnost mreže da se prilagodi okolini, odnosno sposobnost da se oblikuje za rješavanje zadanog problema.

• Univerzalni aproksimator se naziva svojstvo koje omogućava mreži da aproksimira bilo koju funkciju s relativnim stupnjem točnosti.

• Nelinearnost je definirana svojstvom neurona, odnosno aktivacijske funkcije koju neuron koristi. Mreža sastavljena od neurona koji koriste nelinearnu aktivacijsku funkciju može aproksimirati nelinearne kontinuirane funkcije.

• Generalizacija se može interpretirati kao sposobnost mreže da iz predloženih primjera izvuče opće, generalno pravilo, odnosno zapamti funkciju po kojoj se ulaz preslikava u izlaz i tako bude u stanju riješiti primjere koje nije upoznala za vrijeme treniranja.

Navedena svojstva međusobno su usko povezana i predstavljaju izravnu posljedicu masivne paralelne distribuirane strukture umjetne neuronske mreže što većina autora i navodi kao osnovno svojstvo neuronskih mreža. Naime, prednost UNM-a u odnosu na konvencionalna računala i jest upravo u paralelnom prihvaćanju informacija s više ulaza i njihovoj raspodijeljenoj obradi (engl. parallel distributed processing). Informacija se u UNM-i nalazi raspodijeljena, za razliku od koncentriranog načina na koji računala spremaju informaciju u memoriju. Svojstvo raspodijeljene pohrane informacije daje neuronskim mrežama više prednosti od kojih je najvažnija redudandnost [65], odnosno otpornost na kvar (engl. fault tolerance), zbog koje UNM-a može raditi čak i ako se jedan njen dio pokvari [40]. Na temelju osnovnih svojstava može se zaključiti kako se modeliranje sustava pomoću UNM-e temelji na podacima (engl. data driven technique) što omogućava modeliranje sustava kod kojih nisu točno poznati svi odnosi među pojedinim varijablama, ali je moguće definirati ulazne i izlazne varijable te provesti njihova mjerenja. U početnom trenutku, neuronska mreža nema informacije o načinu rada sustava koji modelira i ne poznaje odnose među varijablama. Ona upoznaje sustav kroz postupak učenja, prilikom kojeg se, kroz iterativno podešavanje intenziteta međuneuronskih veza s ciljem smanjenja pogreške, određuje funkcijska povezanost ulaznih i izlaznih varijabli. S obzirom na navedena svojstva, za očekivati je da UNM-e budu koristan alat za modeliranje hidrološkog sustava razmatranog u ovom radu.

2 Pored učenja pod nadzorom postoji i učenje bez nadzora (engl. unsupervised learning), a mreže koje koriste takav način učenja ili treniranja se zovu samo-organizirajuće mape (engl. self-organizing maps, SOM) i spadaju u posebnu skupinu UNM-a.

14

2.3. Vrste umjetnih neuronskih mreža

Istraživanjem umjetnih neuronskih mreža danas se bavi veliki broj znanstvenika iz raznih znanstvenih područja, a rezultat njihovog rada je veliki broj različitih arhitektura UNM-a koji se mogu razlikovati prema tipu neurona od kojih su građene, po načinu na koji su neuroni povezani i/ili po algoritmu koji se koristi za podešavanje međuneuronskih veza. Najpoznatiji i najčešće korišteni tip umjetne neuronske mreže je višeslojni perceptron (MLP), a slijede ga neuronske mreže s prijenosnom funkcijom radijalne baze (engl. radial basis function, RBF), samoorganiziajuće mape (SOM), GRNN (engl. generalized regression neural networks), RNN (engl. recurrent neural networks), SVM (engl. support vector machines), TNN (engl. temporal neural networks), neuro-fuzzy i druge.

Bez obzira na mnoštvo postojećih struktura sve se one u osnovi mogu svrstati u statičke i dinamičke neuronske mreže [65]. Za razliku od statičkih, dinamičke mreže imaju unutarnje povratne veze koje im omogućavaju modeliranje efekta kašnjenja ili akumulacije energije što ih jasno čini prikladnijim za identifikaciju prirodnih procesa. Međutim, unutarnje povratne veze uvjetuju dokazivanje stabilnosti mreže, odnosno mogućnost pojave nestabilnog rada formiranog modela, što ih čini kompliciranijim za primjenu. U radu [65] ispitana je i dokazana mogućnost primjene statičkih neuronskih mreža u identifikaciji dinamičkih procesa. Kako statičke neuronske mreže ne sadrže dinamičke članove tako vrijednost na njihovom izlazu ovisi o trenutnim vrijednostima na ulazu mreže pa je za njihovu primjenu u modeliranju dinamičkih procesa potrebna i određena prilagodba. Statičke neuronske mreže se mogu koristiti za modeliranje dinamičkih procesa ako im se doda vanjske dinamičke članove ili ako se kao ulazne varijable koriste vremenske serije pomoću kojih je tada predstavljena dinamika procesa.

U narednom odjeljku ovog potpoglavlja detaljnije je predstavljena UNM arhitekture višeslojnog perceptrona (MLP) ili unaprijedna neuronska mreža (engl. feedforward neural network, FFNN), kako se u literaturi često naziva, a radi se o statičkoj neuronskoj mreži koja se koristi za modeliranje hidrološkog sustava u ovom radu.

2.3.1. Višeslojni perceptron

Osnovna sastavna komponenta svake umjetne neuronske mreže je umjetni neuron, čiji se model, za MLP arhitekturu UNM-e, nalazi prikazan na slici 2.1. Umjetni neuron u k-tom koraku računa odziv ok prema (2.1), gdje pk označava sumu otežanih m-ulaza definiranu izrazom (2.2), a φ označava aktivacijsku funkciju dotičnog neurona. Izrazi (2.1) i (2.2) predstavljaju matematički model umjetnog neurona čiji su ulazi označeni s uk, a vrijednosti težinskih koeficijenata su označene s wk.

15

u1w1

u2 w2

um

wm

p φ(p)o

w0u0

Slika 2.1. Model umjetnog neurona

Višeslojni perceptron (MLP) je statička unaprijedna neuronska mreža koja se sastoji od najmanje tri sloja neurona: ulaznog, skrivenog i izlaznog sloja, odnosno dva sloja s obzirom da se prvi, ulazni sloj ne broji ukoliko broj ulaznih neurona odgovara broju ulaznih varijabli, što je zapravo čest slučaj. U općem slučaju, svaki neuron jednog sloja je povezan sa svakim neuronom slijedećeg sloja, kao što je prikazano na slici 2.2. na primjeru troslojne MLP mreže s tri ulaza i tri izlaza.

( )k ko pϕ= (2.1)

( )0

m

k k k nn

p w u=

= ⋅∑ (2.2)

Svojstva mreže ovise o svojstvima neurona, odnosno tipu aktivacijske funkcije pa ukoliko se mreža koristi kao univerzalni aproksimator tada ona mora koristiti nelinearne aktivacijske funkcije u skrivenom sloju kako bi bila u stanju aproksimirati nelinearne odnose između ulaznih i izlaznih varijabli [39].

Slika 2.2. Višeslojni perceptron

16

Najčešće korištene aktivacijske funkcije prikazane su na slici 2.3. Izlazni sloj neurona najčešće koristi linearnu aktivacijsku funkciju, osim u slučaju postojanja maksimalne i minimalne vrijednosti izlazne varijable kada se pored ograničene linearne može koristiti i sigmoidalna aktivacijska funkcija.

(a)

( )p pϕ =

(b)

[ ]1 za 1

( ) za 1,11 za 1

pp p p

pϕ

− < −= ∈ − >

(c)

1( )1 p

pe

ϕ −= +

(d)

2( ) 11 p

pe

ϕ −= −+

Slika 2.3. Aktivacijske funkcije: (a) linearna, (b) ograničena linearna, (c) unipolarna sigmoidalna, (d) bipolarna sigmoidalna

2.4. Treniranje umjetnih neuronskih mreža

Neuroni i međuneuronske veze odgovorni su za sve biološke neuronske funkcije. Međuneuronske veze su posebno odgovorne za pamćenje pa se može reći kako znanje nastaje kao posljedica procesa uspostavljanja novih veza između neurona ili modifikacije postojećih veza. Ovaj proces se u prirodi naziva treniranje ili učenje.

Slično kao i kod bioloških neuronskih mreža, učenje se može ostvariti i kod UNM-a. Potrebno je pritom definirati skup pravila po kojima se takav postupak provodi i skup uzoraka ulazno-izlaznih parova, odnosno parova pobuda i željenih odziva. Ovi parovi predstavljaju primjere uzroka i posljedice koje je mreži potrebno predstaviti kako bi stekla određeno znanje.

17

Kada se netrenirana mreža pobudi, najvjerojatnije će dati odziv koji se razlikuje od željenog, odnosno dat će pogrešku (E) koja se može opisati kao funkcija podesivih parametara mreže. Naime, kao što se vidi iz izraza (2.1) i (2.2), odziv mreže ovisi o trenutnim vrijednostima podesivih parametara mreže (w). Iznesena tvrdnja se može jednostavno opisati izrazom (2.3) koji predstavlja ishodište ideje o treniranju UNM-e.

( )E f w= (2.3)

Prema unaprijed definiranom algoritmu za učenje može se obaviti korekcija podesivih parametara mreže (w) te u odgovarajućem broju iteracija podesiti mrežu kako bi davala željeni odziv. Algoritam za funkciju cilja ima postavljeno minimalno ili nulto odstupanje odziva mreže od željene vrijednosti, odnosno minimalnu ili nultu vrijednost pogreške. Pogreška, odnosno odstupanje mreže od željenog odziva se izražava preko funkcije cilja (E), a u tu svrhu se može koristiti različite izraze poput ukupne kvadratne pogreške (engl. sum of squared error, SSE), srednje kvadratne pogreške (engl. mean squared error, MSE), njenog korijena (engl. root mean squared error, RMSE), srednje apsolutne pogreške (engl. mean absolute error, MAE) ili neke druge funkcije koje u sebi nose informaciju o pogrešci. Navedene funkcije opisane su u potpoglavlju 3.4. ovog rada. Parametri mreže koji se podešavaju (w) predstavljaju pragove odlučivanja svakog neurona (engl. bias ili threshold, u ovom radu označen s w0,) i težinske koeficijente koji definiraju intenzitet međuneuronskih veza (engl. synaptic weights, u ovom radu označen s w1 do wn). S obzirom da se prilikom treniranja UNM-e oba parametra jednako tretiraju, u ovom radu nije pravljena posebna razlika pa se zbog jednostavnosti jedni i drugi ubrajaju u podesive parametre mreže (w).

Dakle, postupak treniranja neuronske mreže se može definirati kao iterativni postupak podešavanja parametara mreže (w), koji se odvija prema određenom algoritmu i ima za cilj određivanje vrijednosti parametara mreže za koje će pogreška, odnosno funkcija cilja, biti minimalna.

Algoritmi za podešavanje parametara mreže mogu se općenito podijeliti na lokalne i globalne algoritme, među kojima se lokalni algoritmi, korišteni u ovom radu, dalje dijele na lokalne algoritme prvog i drugog reda.

2.4.1. Lokalni algoritmi prvog reda – algoritam propagacije greške unatrag

Lokalni algoritmi za optimizaciju parametara mreže su iterativni postupci koji se u osnovi provode prema izrazu (2.4), a razlikuju se po načinu na koji se određuje mjera promjene ∆w [38].

1k k kw w w+ = +∆ (2.4)

18

Podešavanje parametara prema izrazu (2.4) može se provoditi u postepenom (engl. incremental/on-line) ili grupnom (engl. batch) režimu. U postepenom, inkrementalnom režimu, podešavanje parametara mreže se provodi na temelju pogreške koja se računa nakon svakog ulazno-izlaznog para koji se predstavi mreži, a u grupnom režimu se mreži predstave svi ulazno-izlazni parovi u jednoj epohi, a pogreška cijele epohe se koristi za podešavanje parametara, kao što je to opisano u [23].

Osnovni lokalni algoritam za podešavanje parametara unaprijedne neuronske MLP mreže je propagacija greške unatrag (engl. error back propagation, BP). Kako bi se odredilo smjer i intenzitet promjene podesivih parametara mreže, BP algoritam se koristi gradijentom funkcije pogreške, odnosno parcijalnom derivacijom funkcije cilja po podesivim parametrima mreže, kao što je definirano izrazom (2.5). Zbog toga se postupci optimizacije temeljeni na linearnoj aproksimaciji funkcije pogreške nazivaju još i gradijentni postupci. Parametar η je bezdimenzionalna veličina koja definira intenzitet promjene parametara mreže i naziva se brzina učenja.

kkk

Eww

η ∂∆ = −∂

(2.5)

Metoda propagacije greške unatrag ili učenje povratnim rasprostiranjem greške (BP) predstavlja najčešće korištenu metodu za optimizaciju parametara MLP mreža, a njena prednost se očituje u relativno jednostavnom određivanju parcijalne derivacije iz (2.5). BP metoda koristi rasprostiranje signala u dva smjera, od ulaza prema izlazu te od izlaza prema ulazu. Za vrijeme rasprostiranja signala od ulaza prema izlazu, svaki neuron računa svoj izlaz na temelju trenutnih vrijednosti ulaza i parametara mreže, kao što je definirano izrazima (2.1) i (2.2). Rasprostiranje signala kroz mrežu unaprijed prikazano je na slici 2.4., gdje su slovima r, i, j označeni slojevi neurona.

Slika 2.4. Rasprostiranje signala kroz mrežu unaprijed

Propagacija greške unatrag započinje u izlaznom sloju neurona (j) izračunavanjem pogreške ejk u k-tom koraku računanja. S obzirom da je željeni odziv mreže poznat, pogrešku izlaznog (j-tog) neurona je jednostavno izračunati kao razliku odziva izlaznog neurona ojk i željenog odziva djk , prema (2.6).

j j jk k ke d o= − (2.6)

19

Parcijalnu derivaciju iz (2.5) moguće je odrediti pomoću BP algoritma prema izrazu (2.7), gdje je uk izlaz iz neurona prethodnog sloja, a δk je lokalni gradijent koji se za j-ti neuron izlaznog sloja u k-tom koraku računanja može izračunati prema izrazu (2.8), a za i-ti neuron skrivenog sloja prema izrazu (2.9). Detaljno objašnjenje metode propagacije greške unatrag te postupka kojim se dolazi do izraza (2.7), (2.8) i (2.9) može se pronaći u [40].

k k kk

E uw

δ∂ = ⋅∂

(2.7)

( )j j j jk k ke pδ ϕ′= ⋅ (2.8)

( ) ( )i i i j jik k k k ll

p wδ ϕ δ′= ⋅ ⋅∑ (2.9)

Kao što se vidi iz (2.8) lokalni gradijent izlaznog j-tog neurona u k-tom koraku računanja predstavlja umnožak pogreške ejk i derivacije pripadajuće aktivacijske funkcije φ'j(pjk) pa je lokalni gradijent izlaznog j-tog neurona jednostavno izračunati. Pri tom aktivacijska funkcija očito mora biti derivabilna. Međutim, pogrešku skrivenog neurona, na primjer sloja r ili i, nije jednostavno izračunati jer nije poznat željeni odziv neurona skrivenog sloja. Kao što se vidi iz (2.9), a kao što je pokazano u [40], lokalni gradijent i-tog neurona može se izračunati kao umnožak derivacije pripadajuće aktivacijske funkcije i otežane sume l-lokalnih gradijenata izlaznih j-tih neurona prema izrazu (2.9). Zahvaljujući izračunu lokalnog gradijenta izlaznog sloja moguće je odrediti lokalni gradijent skrivenog sloja pa ako se prati tok informacije o pogrešci, ona očito putuje kroz mrežu unatrag posredstvom lokalnog gradijenta, kao što je prikazano na slici 2.5., zbog čega se ova metoda i naziva propagacija greške unatrag.

Slika 2.5. Rasprostiranje greške kroz mrežu unatrag

Ukoliko se iskoriste prethodno navedeni izrazi od (2.5) do (2.9), tada se podešavanje parametara mreže pomoću metode propagacije greške unatrag može opisati izrazom (2.10) koji se često naziva i delta pravilo (engl. delta rule).

k k kw uη δ∆ =− ⋅ ⋅ (2.10)

20

2.4.2. Unaprjeđenja izvornog BP algoritma

Jednostavan način za kontrolirano povećanje brzine učenja, bez mogućnosti uzrokovanja nestabilnosti mreže, je generalizirano delta pravilo definirano izrazom (2.11), koje koristi moment ψ kako bi se smanjilo ili povećalo iznos promjene težinskih koeficijenata (∆wk) u odnosu na promjenu iz prethodnog koraka (∆wk-1).

1k k k kw w uψ η δ−∆ = ⋅∆ − ⋅ ⋅ (2.11)

Moment ψ je broj koji smije poprimiti vrijednosti iz skupa (-1, 1), pri čemu je praktična uporaba negativnih vrijednosti manje vjerojatna [40]. Moment ψ ostvaruje efekt inercije što omogućava brži spust ka minimumu preko područja s malim gradijentom, kao na slici 2.6b između točaka A i B, ili izbjegavanje oscilacija i postepeno spuštanje ka minimalnoj vrijednosti u slučaju promjene smjera ∆w, kao na slici 2.6a [47].

Slika 2.6. (a) i (b) utjecaj momenta α na promjenu težinskih koeficijenata ∆wk

Drugi način za unaprjeđenje treniranja koji se temelji na promjenjivoj brzini učenja koristi promjenjivi parametar brzine učenja η. Promjenjivi parametar brzine učenja se dobije optimizacijom funkcije pogreške po parametru brzine učenja što se zove minimiziranje duž linije (engl. minimizing along line), kao što je objašnjeno u [38]. U svakom slučaju, algoritmi za ubrzanje promjenjivom brzinom učenja spadaju u skupinu lokalnih algoritama prvog reda, odnosno gradijentnih metoda, baš kao i izvorni BP algoritam. Međutim, izračunati gradijent ne upućuje izravno na minimum funkcije pogreške pa je pronalazak globalnog minimuma potpuno neizvjestan, a konvergencija ka jednom od potencijalnih minimuma spora [14]. Izravniju potragu za minimumom funkcije pogreške omogućavaju algoritmi drugog reda.

21

2.4.3. Lokalni algoritmi drugog reda

Lokalni algoritmi drugog reda se temelje na kvadratnoj aproksimaciji funkcije pogreške kako bi se odredio izravniji i brži put ka minimumu. Vrijednosti podesivih parametara mreže u slijedećem koraku računaju se prema općenitom izrazu (2.4), kao i kod algoritama prvog reda. Razlika je u određivanju vektora ∆wk, za što algoritmi drugog reda koriste Hessian matricu (H), kao što je definirano izrazom (2.12).

1kEww

− ∂∆ = − ⋅∂

H (2.12)

Hessian matrica daje informaciju o zakrivljenosti površine prostora pogreške, a sastoji se od drugih parcijalnih derivacija funkcije pogreške i računa se prema izrazu (2.13).

2 2 2

21 1 2 12 2 2

22

2 1 2 22

2 2 2

21 2

n

n

n n n

E E Ew w w w w

E E EE w w w w w

w

E E Ew w w w w

∂ ∂ ∂ ∂ ∂ ∂ ∂ ∂ ∂ ∂ ∂ ∂

= = ∂ ∂ ∂ ∂ ∂ ∂ ∂ ∂ ∂ ∂ ∂ ∂ ∂ ∂

H

L

L

M O M

L

(2.13)

Uvrštavanjem (2.12) i (2.13), u (2.4) dobije se izraz (2.14), poznat kao Newtonov algoritam. Ipak, Newtonov algoritam je često neuporabljiv za treniranje neuronske MLP mreže jer povlači niz uvjeta koji najčešće nisu zadovoljeni, poput Hessianove matrice koja nije singularna ili nije dovoljnog ranga, zbog čega se savjetuje uporaba quasi-Newton algoritma [40]. Quasi-Newton ili Secant metode, umjesto Hessianove matrice računaju njenu aproksimaciju, a najuspješnijima su se pokazale Broyden, Fletcher, Goldfarb, Shanno (BFGS) metode [23].

( ) 121 ( ) ( )k kw w E w E w−

+ = − ∇ ⋅∇ (2.14)

Pored quasi-Newton algoritama moguće je koristiti neku od metoda konjugiranog gradijenta (engl. conjugate gradient) ili Levenberg-Marquardt algoritam, također lokalne algoritme drugog reda koji izbjegavaju računanje Hessian matrice.

2.4.4. Levenberg-Marquardt algoritam za treniranje MLP mreže

Općenito, ukoliko je funkcija cilja poznata moguće je razviti učinkovitije, specijalizirane algoritme za podešavanje parametara mreže [37] pa je tako razvijen i Levenberg-Marquardt algoritam (LM), posebno za treniranje unaprijednih MLP mreža koje koriste kvadratne

22

funkcije pogreške kao funkcije cilja. LM algoritam se pokazao kao najbrži i najprikladniji algoritam za treniranje mreža skromnijih struktura koje sadrže do nekoliko stotina podesivih parametara [23].

Dakle, ukoliko funkcija cilja za treniranje neuronske mreže ima oblik kvadratne sume (SSE), vrijede aproksimacije (2.15) koje se temelje na Jakobijanovoj matrici [37].

2

T

T

EE S

∇ = ⋅

∇ = ⋅ +

J eJ J

(2.15)

Jakobijanova matrica (J) se može opisati izrazom (2.16), a sastoji se od prvih derivacija pogre