ou 4 - np i tehnike pretrazivanja 2 print

8/17/2019 OU 4 - NP i Tehnike Pretrazivanja 2 Print

1/37

Dr Samim Konjicija, dipl. ing. el.

Optimalno upravljanje

Nelinearno programiranje

i tehnike pretraživanja (2)

Sarajevo, 23.3.2015. godine


2/37

Sadržaj predavanja

• Gradijentne metode

• Metode pretraživanja sa ur!anjem

• Metod "onjugovani# pravaca

• Metode pretraživanja e! "ori$tenja gradijenta

• %retiranje ograni&enja u dire"tnim metodama


3/37

Gradijentne metode

• ' pretraživanju "oriste gradijent funkcije(

• '"oli"o nije dostupan, "oristi se njegova diskretna aproksimacija,odnosno statistička estimacija

• Sve gradijentne metode se a!iraju na o"virnom i!ra!u(

gdje su(

– x k ) potencijalno rje$enje k *te iteracije

– x k+1 ) potencijalno rje$enje k+1*ve iteracije

– g ) gradijent +un"cije

– H ) matrica dimen!ija nxn

– α ) realni parametar

g x =∇ f x =[ ∂ f ∂ x1∂ f ∂ x 2

∂ f ∂ xn ]

'

x k 1

= x k − H g |

x = x k


4/37

Gradijentne metode

• Gradijentne metode se uglavnom ra!li"uju u na&inu na "oji

se odreuju H i α

• -pr. "ada su svi elementi matrice H jedna"i nuli i!u!ev i *tog

elementa glavne dijagonale, te !a α=1/(∂ 2 f/∂xi2) se doijeSout#ell*ovo pretraživanje

• /r!ina "onvergencije gradijentni# metoda i!ra!ito ovisi o

s"aliranosti +un"cije


5/37

Gradijentne metode

• Gradijentne metode ja"o sporo "onvergiraju a"o naiu na

i!ražen green "lanac

• -eminovno !apadaju i u lo"alne e"stremume

• retraživanje a!irano na gradijentu napreduje u pravcu

najvećeg porasta (opadanja) vrijednosti funkcije u

o"olini trenutnog rje$enja

• adi toga se ove metode na!ivaju i metodama najstrmijeg

uspona (pada)

• Može se ra!matrati(

– Kontinualni slu&aj metode najstrmijeg uspona pada

– Dis"retni slu&aj metode najstrmijeg uspona pada


6/37

ontinualni metod najstrmijeg uspona

• osmatrajmo potencijalno rje$enje x = x 0

• 4n"rementalni poma" i! ove ta&"e se može i!ra!iti "ao(

• vaj poma" nas vodi u ta&"u(

• %a&"a x 1 trea iti odarana ta"o da se vrijednost +un"cije

f ( x1

) ma"simalno uve6a u odnosu na f ( x0

)• !irom da je ε ograni&enje, de+inirajmo uve6anu +un"ciju i

potražimo njene stacionarne ta&"e(

2= x 10 2 x 2

0 2 x n0 2

x 1=[ x10 x 10 x 20 x 20 xn0 xn0 ]

'

= x 0 x 0

f a x 0 , h= f x 0 x 0h⋅[∑

j =1

n

x j02−2]

∂ f a

∂ x j0 =0

∂ f ∂ x j

| x = x 0 x 02h x j

0=0

x j0

=−1

2h

∂ f

∂ x j| x = x 0 x 0


7/37


• ' matri&noj +ormi ovo se može !apisati "ao(

• Sada se 7agranžov multipli"ator može eliminirati(

• 'vedimo smjenu(

x 0=−12 h

∇ f x 0 x 0 =−12 h

g x 0 x 0

=

[ g x 0 x 0 ' ⋅ g x 0 x 0]1

2

2= 1

4 h2 ∑

j =1

n

∂ f ∂ x j 2

| x = x 0 x 0

= 1

4 h2 g x 0 x 0 ' ⋅ g x 0 x 0

−12h

=[ g x 0 x 0 ' ⋅ g x 0 x 0]− 1

2⋅

x 0=

⋅ g x 0 x 0

[ g x 0 x 0' ⋅ g x 0 x 0]1

2


8/37


• 8a dovoljno mali in"rementalni poma" vrijedi da se najve6i porast

vrijednosti +un"cije oe!jeuje poma"om(

• ri tome je naj&e$6e Δτ=const.

• Kada se pusti da Δτ→0+ pret#odni sistem jedna&ina se može

pisati "ao(

• -a taj na&in se rje$enje može doiti na analognom ra&unaru,

odnosno mogu6e je reali!irati ele"troni&"i s"lop "oji 6e adaptirati

parametre sistema ta"o da se održavaju na optimalnim

vrijednostima

x 0= g x 0

x j | x = x 0= [ ∂ f

∂ x j ] x = x 0 , j=1,2, , n

d x jd

= ∂ f ∂ x j

, j=1,2, , n


9/37

!iskretni metod najstrmijeg uspona

• Dis"retna +orma metoda najstrmijeg uspona se može doiti

dire"tno i! i!ra!a !a poma"(

• vo je specijalni slu&aj op6e +orme gradijentnog metoda, pri

&emu je H = E , a α = - Δτ

• otreno je jo$ odrediti vrijednost "ora"a Δτ

• '! pret#odno de+inirani poma", "riterij postaje +un"cija

parametra Δτ (

x k 1= x

k 1− x

k = g |

x = x k

x k 1

= x k

E g | x = x k

f x k 1 = f x k g x k


10/37

!iskretni metod najstrmijeg uspona

• ptimalna vrijednost ovog "ora"a se može odrediti

jednodimen!ionalnim pretraživanjem

• ' tom slu&aju govorimo o metodu najstrmijeg uspona sa

naj"oljim korakom

• /roj iteracija i dalje ja"o ovisi o tome da li je +un"cija doro

s"alirana


11/37

Ne#tonov metod

• redstavlja generali!aciju -eton*ap#sonovog metoda !a

slu&aj n*dimen!ionalnog prolems"og prostora

• 8a#valjuju6i "ori$tenju drugi# i!voda, r!o "onvergira

• -umeri&"i je vrlo !a#tjevan

• ogodan je !a pronala!a" rje$enja u !avr$noj +a!i

pretraživanja

• 9pro"simirajmo +un"ciju f( x ) u li!ini ta&"e x = x k pomo6u

prva tri &lana ra!voja u %a:lorov red(

f s x = f x k ∑

j =1

n ∂ f x k

∂ x j x j− x j

k 1

2∑i=1

n

∑ j =1

n

a ij x i− x ik x j− x j

k

a ij= a ji = ∂2 f

∂ xi

∂ x j

| x = x k


12/37

Ne#tonov metod

• 8a stacionarne ta&"e +un"cije f s( x ) vrijedi(

∂ f s x

∂ x=

∂ f x k

∂ x

1

2∑i=1

n

ai x i− x ik

1

2∑ j=1

n

aj x j− x jk =

= ∂ f x k

∂ x ∑

j=1

n

aj x j− x jk =0 =1,2, , n

Ak

x − x k =−∇ f x

k =− g

k

Ak

=

[a11 a12 a1na

21a

22 a

2n⋮ ⋮ ⋱ ⋮

an1 an2 ann]


13/37

Ne#tonov metod

• ' slu&aju da postoji ( Ak )!1 vrijedi(

• 4 ovaj i!ra! se u"lapa u o"virnu +ormu gradijentni# metoda

• otreno je oratiti pažnju na slu&aj "ada je matrica A

k li!u singularne,

po$to su tada doivene vrijednosti nepou!dane

• 4sto ta"o, potreno je utvrditi de+initnost matrice Ak jer algoritam može

divergirati

• -etonov metod je numeri&"i vrlo !a#tjevan

• -a sva"oj iteraciji je potreno( – 4!ra&unati n "omponenata gradijenta +un"cije

– 4!ra&unati n(n+1)/2 parcijalni# i!voda drugog reda

– drediti inver!nu matricu matrice Ak

• ' li!ini optimuma se vrijednost inver!ne matrice može držati "onstantnom

"ro! vi$e iteracija

x k 1

= x k

− Ak

−1 g

k


14/37

$etode pretraživanja sa u"r%anjem

• ve metode po"u$avaju is"oristiti dore re!ultate pret#odni#

iteracija, "a"o i se umanjio roj potreni# jednodimen!ionalni#

pretraživanja i numeri&"a "omple"snost

• Dvodimen!ionalni metod sa ur!anjem( – drediti gradijent g ( x 0) u po&etnoj ta&"i x 0

– rovesti jednodimen!ionalno pretraživanje u smjeru gradijenta do

ta&"e x 1

– ' novoj ta&"i x 1 odrediti gradijent g ( x 1)

– rovesti jednodimen!ionalno pretraživanje do ta&"e x 2

– rovesti jednodimen!ionalno pretraživanje po pravcu "oji prola!i

"ro! x 0 i x 2 ur!avaju6i "ora" ) f ( " x 2 + (1!" ) x 0), 0 ≤ " ≤ ∞

– -astaviti proceduru, pri &emu se i!meu dva ur!avaju6a "ora"a

arem u jednoj ta&"i ra&una gradijent


15/37

$etode pretraživanja sa u"r%anjem


16/37

&''N pretraživanje

• ;ors:t#e i Mot!"in su predložili metod sa ur!anjem !a

pretraživanje n*dimen!ionalnog prostora

• 4me metoda dola!i od geometrijs"e interpretacije

• 9%9- vrlo doro prati us"e greene i udoline

• redložene su i modi+i"acije "od "oji# se ur!avaju6i "ora"

provodi po pravcu "ro! ta&"e &iji se inde"s ra!li"uje !a 3(

– Kora" u pravcu gradijenta se provodi !a ", ...

– 'r!avaju6i "ora" se provodi !a "


17/37

&''N pretraživanje


18/37

$etode na "a%i konjugovanih pravaca

• %o su vrlo e+i"asne metode

• @e6ina metoda na a!i "onjugovani# pravaca spadaju u

gradijentne metode

• osmatrajmo "vadratnu +ormu(

• gdje su(

– A ) po!nata simetri&na matrica dimen!ija nxn – b ) po!nata ve"tor "olona sa n elemenata

– x a ) po!nata ve"tor "olona sa n elemenata

f s x = f x a x − x a ' b1

2 x − x a ' A x − x a


19/37


• Stacionarne ta&"e ove +un"cije se mogu doiti rje$avanjem

sistema(

• ' slu&aju da je A po!itivno de+initna matrica, ta&"a x s

predstavlja minimum +un"cije

• De+inicija(

@ektori r 1 i r 2 su međusobno konjugovani u odnosu na pozitivno

definitnu matriu An x n ako vrijedi!

∇ f s x = 0

b=− A x s− x a

r 1 ' A r 2=0


20/37


• %eorema(

9"o je n netrivijalni# ve"tora r i međusobno konjugovano u odnosu

na pozitivno definitnu matriu An x n, tada su oni međusobno

"inearno neovisni

• #okaz!

$retpostavimo da se vektor r k mo%e izraziti preko osta"i& n-1

vektora!

'ada mo%emo pisati!

eđutim, ovaj izraz je kontradiktoran uko"iko su svi vektori

međusobno konjugovani

r k =∑i

i ≠k

i r i , ∃i= j≠0

r j ' A r k =r j ' A∑ii

≠k

i r i = j r j ' A r j


21/37


• %eorema(

9"o su netrivijalni ve"tori r i (i=0, 1, ..., n!1) međusobno konjugovano u

odnosu na pozitivno definitnu matriu An x n, tada se minimum funkije!

mo%e odrediti nizom od n jednodimenziona"ni& pretra%ivanja, prema

proeduri!

– renuti od ta*ke x 0

– drediti x 1 kao

– drediti x 2 kao

–

– drediti x min=x n kao

f s x = f x a x − x a ' b12

x − x a ' A x − x a

f s x 1=in

0

f s x 00 r 0

f s x 2= in

1

f s x 1 1 r 1

f s x n= in

n−1

f s x n−1

n−1 r n−1


22/37

$etodi na "a%i konjugovanih pravaca

• Do"a!(

-e"a je(

%ada je(

&igledno je f s separailna +un"cija po parametrima αi

x =∑i=0

n−1

i r i=[ r 0 r 1 r n−1 ]

[

01⋮

n−1

] f s x = f s∑i=0n−1 i r i= f x a− x a ' b 12 x a ' A x a∑i =0n−1 [ i r i ' b− A x a 12 i2 r i ' A r i ]


23/37

$etod *letchera i eevesa

• ostavlja se pitanje na "oji na&in odrediti "onjugovane pravce r i

• Kod metoda ;letc#era i eevesa se "onjugovani pravci

odreuju na sljede6i na&in(

– drediti – drediti

pri &emu se ta&"e x i odreuju rje$avanjem prolema

• ;letc#er i eeves su na osnovu e"sperimentalni# istraživanja

predložili da se pravci r i povremeno resetuju, tj.(

r 0 =− g x 0

=− g 0

r i=− g i

g i' g

i

g i−1

' g i−1 r i −1 , i=1,2, , n

f s x i=in

f s x i −1 r i−1

r i=

{

− g i

, i= j n1 , j=0,1,2,...

− g i g

i' g

i

g i−1

' g i−1

r i −1 , ina%&


24/37

$etod *letchera i eevesa

• vaj metod ne prede+inira metod jednodimen!ionalnog

pretraživanja "oji 6e se "oristiti

• Aedino se !a#tijeva da jednodimen!ionalno pretraživanje ude

vrlo preci!no u o"olini optimuma• otreno je da se provede arem n jednodimen!ionalni#

pretraživanja, prije nego se primijeni ne"i od standardni# uslova

!austavljanja algoritma, "ao $to su(

– /roj iteracija

– @rijednost gradijenta na k *toj iteraciji g k ' g k

– @rijednost poma"a i!meu dvije iteracije

( x k+1 ! x k )' ( x k+1 ! x k )


25/37

$etod !avidon+*letcher+&o#ell

• Smatra se jednim od najolji# algoritama pretraživanja

• D; predstavlja najolji algoritam pretraživanja "ada(

– Kriterij pripada "lasi B2

– Cvaluacija +un"cije i njenog gradijenta je numeri&"i!a#tjevnija od matri&ni# manipulacija D; algoritma

• Kod D; se inver!na matrica A!1 odreuje na osnovu n

jednodimen!ionalni# pretraživanja, e! ra&unanja drugi#

parcijalni# i!voda• ;letc#er i oel su na testnim prolemima po"a!ali e+i"asnost

ove metode i !a proleme sa 100 varijali


26/37

$etod !avidon+*letcher+&o#ell


27/37

Ostale metode pretraživanja

• redstavljene metode su vrlo e+i"asne, ali i numeri&"i

"omple"sne

• ostoji mnogo metoda "oje "oriste ra!li&ite pristupe da e!

ra&unanja gradijenta pronau $to olje rje$enje

• -ji#ova e+i"asnost u op6em slu&aju nije viso"a

• rimjer ta"vi# metoda su(

– retraživanje u!or"om ta&a"a u prolems"om prostoru

– retraživanje usmjerenim ni!om ta&a"a


28/37

&retraživanje u%orkom tačaka

• vaj jednostavni metod je relativno e+i"asan duž greena i

"lanaca

• snovna procedura metoda je(

– 4!ra&unati vrijednost +un"cije u po&etnoj ta&"i i ta&"ama

"oje su !a mali pomjeraj udaljene od po&etne ta&"e duž

osa prolems"og prostora

– Kada se odredi ta&"a "oja dalje olju vrijednost +un"cije,

ponavljati u!ora" pomjeraja sve do" se vrijednost+un"cije poolj$ava

– Kada dalje poolj$anje ne ude mogu6e, potražiti novi

u!ora" "oji poolj$ava vrijednost +un"cije


29/37

&retraživanje u%orkom tačaka


30/37

&retraživanje usmjerenim ni%om tačaka

• vaj metod je dosta sli&an pret#odnom

• 'mjesto pomjeraja duž "oordinatni# osa, "oristi se prede+inirani

ni! ta&a"a u prolems"om prostoru

• /roj ta&a"a i trealo da odgovara roju dimen!ija prolems"og

prostora

• -ova ta&"a postaje ona od ta&a"a ni!a "oja dovodi do najve6eg

poolj$anja vrijednosti +un"cije


31/37

retiranje ograničenja

• ostoji vi$e na&ina na "oje se ograni&enja mogu uvesti u

prolem, da i se na njega mogli primjeniti opisani dire"tni

metodi pretraživanja

• snovna dva pristupa su( – Metod unutra$nji# "a!neni# +un"cija

– Metod spolja$nji# "a!neni# +un"cija

• a ova metoda modi+iciraju "riterij na pogodan na&in, "a"o i

se sprije&ilo naru$avanje ne"og od ograni&enja


32/37

$etod spolja,njih ka%nenih funkcija

• -e"a je potreno odrediti optimum +un"cije(

• ri tome je potreno !adovoljiti ograni&enja(

• Spolja$nja +un"cija "a!ne se dodaje "riteriju ta"o da njegova

vrijednost ude pogor$ana u"oli"o ograni&enje nije !adovoljeno

• 8a ograni&enja tipa jedna"osti 6e "a!nena +un"cija iti(

• 8a ograni&enja tipa nejedna"osti 6e "a!nena +un"cija iti(

' = f 0 x

f i x = c i , i=1,2 , , k n

f i x c i , i= k 1, k 2, ,

i x = f i x − c i 2

, i = 1 ,2 , , k

i x = f i x −c i2 i ,i=k 1,k 2, ,

i={0 , f i x ci1 , f i x ci


33/37


• 8a "riterij &iji optimum se traži se sada u!ima(

• 4li(

• @rijednosti "oe+icijenata se iraju ta"o da "a!na pogor$ava

vrijednost +un"cije u smislu traženja optimuma

= f 0 x ∑i =1

i i x

' = f 0 x ) ∑i =1

( i x


34/37



35/37


• rimjer( %raženje ma"simuma +un"cije

• 'vedimo ograni&enje

• 'svojimo . =10

• otreno je pažljivo podesiti parametre algoritma

*= f x = 7x− x24

x 2 x = x−2


36/37

$etod unutra,njih ka%nenih funkcija

• Kod ovog metoda se uspostavlja arijera "oja sprje&ava da se

pri pretraživanju naru$i ograni&enje

• ostoji vi$e na&ina de+iniranja arijerne +un"cije

• osmatrajmo ograni&enje(

• De+inirajmo "riterij u oli"u(

• 8a ne"u veli"u vrijednost . 6e se vrijednost ovog "riterija ja"o

uve6avati pri priližavanju granici de+iniranoj ograni&enjem

• adi toga 6e se pretraživanje !adržati unutar prolems"og

prostora

• -a"on $to se pronae ta&"a minimuma, postupa" se ponavlja

!a manju vrijednost . , pri &emu 6e iti(

x = f 0 x )

c i− f i x

f i x c i

lim 0 +

[ f 0 x

c i− f i x ]= f 0 x


37/37

-

ou 4 - np i tehnike pretrazivanja 2 print

Documents