ou 4 - np i tehnike pretrazivanja 2 print
Post on 06-Jul-2018
214 Views
Preview:
TRANSCRIPT
-
8/17/2019 OU 4 - NP i Tehnike Pretrazivanja 2 Print
1/37
Dr Samim Konjicija, dipl. ing. el.
Optimalno upravljanje
Nelinearno programiranje
i tehnike pretraživanja (2)
Sarajevo, 23.3.2015. godine
-
8/17/2019 OU 4 - NP i Tehnike Pretrazivanja 2 Print
2/37
Sadržaj predavanja
• Gradijentne metode
• Metode pretraživanja sa ur!anjem
• Metod "onjugovani# pravaca
• Metode pretraživanja e! "ori$tenja gradijenta
• %retiranje ograni&enja u dire"tnim metodama
-
8/17/2019 OU 4 - NP i Tehnike Pretrazivanja 2 Print
3/37
Gradijentne metode
• ' pretraživanju "oriste gradijent funkcije(
• '"oli"o nije dostupan, "oristi se njegova diskretna aproksimacija,odnosno statistička estimacija
• Sve gradijentne metode se a!iraju na o"virnom i!ra!u(
gdje su(
– x k ) potencijalno rje$enje k *te iteracije
– x k+1 ) potencijalno rje$enje k+1*ve iteracije
– g ) gradijent +un"cije
– H ) matrica dimen!ija nxn
– α ) realni parametar
g x =∇ f x =[ ∂ f ∂ x1∂ f ∂ x 2
∂ f ∂ xn ]
'
x k 1
= x k − H g |
x = x k
-
8/17/2019 OU 4 - NP i Tehnike Pretrazivanja 2 Print
4/37
Gradijentne metode
• Gradijentne metode se uglavnom ra!li"uju u na&inu na "oji
se odreuju H i α
• -pr. "ada su svi elementi matrice H jedna"i nuli i!u!ev i *tog
elementa glavne dijagonale, te !a α=1/(∂ 2 f/∂xi2) se doijeSout#ell*ovo pretraživanje
• /r!ina "onvergencije gradijentni# metoda i!ra!ito ovisi o
s"aliranosti +un"cije
-
8/17/2019 OU 4 - NP i Tehnike Pretrazivanja 2 Print
5/37
Gradijentne metode
• Gradijentne metode ja"o sporo "onvergiraju a"o naiu na
i!ražen green "lanac
• -eminovno !apadaju i u lo"alne e"stremume
• retraživanje a!irano na gradijentu napreduje u pravcu
najvećeg porasta (opadanja) vrijednosti funkcije u
o"olini trenutnog rje$enja
• adi toga se ove metode na!ivaju i metodama najstrmijeg
uspona (pada)
• Može se ra!matrati(
– Kontinualni slu&aj metode najstrmijeg uspona pada
– Dis"retni slu&aj metode najstrmijeg uspona pada
-
8/17/2019 OU 4 - NP i Tehnike Pretrazivanja 2 Print
6/37
ontinualni metod najstrmijeg uspona
• osmatrajmo potencijalno rje$enje x = x 0
• 4n"rementalni poma" i! ove ta&"e se može i!ra!iti "ao(
• vaj poma" nas vodi u ta&"u(
• %a&"a x 1 trea iti odarana ta"o da se vrijednost +un"cije
f ( x1
) ma"simalno uve6a u odnosu na f ( x0
)• !irom da je ε ograni&enje, de+inirajmo uve6anu +un"ciju i
potražimo njene stacionarne ta&"e(
2= x 10 2 x 2
0 2 x n0 2
x 1=[ x10 x 10 x 20 x 20 xn0 xn0 ]
'
= x 0 x 0
f a x 0 , h= f x 0 x 0h⋅[∑
j =1
n
x j02−2]
∂ f a
∂ x j0 =0
∂ f ∂ x j
| x = x 0 x 02h x j
0=0
x j0
=−1
2h
∂ f
∂ x j| x = x 0 x 0
-
8/17/2019 OU 4 - NP i Tehnike Pretrazivanja 2 Print
7/37
ontinualni metod najstrmijeg uspona
• ' matri&noj +ormi ovo se može !apisati "ao(
• Sada se 7agranžov multipli"ator može eliminirati(
• 'vedimo smjenu(
x 0=−12 h
∇ f x 0 x 0 =−12 h
g x 0 x 0
=
[ g x 0 x 0 ' ⋅ g x 0 x 0]1
2
2= 1
4 h2 ∑
j =1
n
∂ f ∂ x j 2
| x = x 0 x 0
= 1
4 h2 g x 0 x 0 ' ⋅ g x 0 x 0
−12h
=[ g x 0 x 0 ' ⋅ g x 0 x 0]− 1
2⋅
x 0=
⋅ g x 0 x 0
[ g x 0 x 0' ⋅ g x 0 x 0]1
2
-
8/17/2019 OU 4 - NP i Tehnike Pretrazivanja 2 Print
8/37
ontinualni metod najstrmijeg uspona
• 8a dovoljno mali in"rementalni poma" vrijedi da se najve6i porast
vrijednosti +un"cije oe!jeuje poma"om(
• ri tome je naj&e$6e Δτ=const.
• Kada se pusti da Δτ→0+ pret#odni sistem jedna&ina se može
pisati "ao(
• -a taj na&in se rje$enje može doiti na analognom ra&unaru,
odnosno mogu6e je reali!irati ele"troni&"i s"lop "oji 6e adaptirati
parametre sistema ta"o da se održavaju na optimalnim
vrijednostima
x 0= g x 0
x j | x = x 0= [ ∂ f
∂ x j ] x = x 0 , j=1,2, , n
d x jd
= ∂ f ∂ x j
, j=1,2, , n
-
8/17/2019 OU 4 - NP i Tehnike Pretrazivanja 2 Print
9/37
!iskretni metod najstrmijeg uspona
• Dis"retna +orma metoda najstrmijeg uspona se može doiti
dire"tno i! i!ra!a !a poma"(
• vo je specijalni slu&aj op6e +orme gradijentnog metoda, pri
&emu je H = E , a α = - Δτ
• otreno je jo$ odrediti vrijednost "ora"a Δτ
• '! pret#odno de+inirani poma", "riterij postaje +un"cija
parametra Δτ (
x k 1= x
k 1− x
k = g |
x = x k
x k 1
= x k
E g | x = x k
f x k 1 = f x k g x k
-
8/17/2019 OU 4 - NP i Tehnike Pretrazivanja 2 Print
10/37
!iskretni metod najstrmijeg uspona
• ptimalna vrijednost ovog "ora"a se može odrediti
jednodimen!ionalnim pretraživanjem
• ' tom slu&aju govorimo o metodu najstrmijeg uspona sa
naj"oljim korakom
• /roj iteracija i dalje ja"o ovisi o tome da li je +un"cija doro
s"alirana
-
8/17/2019 OU 4 - NP i Tehnike Pretrazivanja 2 Print
11/37
Ne#tonov metod
• redstavlja generali!aciju -eton*ap#sonovog metoda !a
slu&aj n*dimen!ionalnog prolems"og prostora
• 8a#valjuju6i "ori$tenju drugi# i!voda, r!o "onvergira
• -umeri&"i je vrlo !a#tjevan
• ogodan je !a pronala!a" rje$enja u !avr$noj +a!i
pretraživanja
• 9pro"simirajmo +un"ciju f( x ) u li!ini ta&"e x = x k pomo6u
prva tri &lana ra!voja u %a:lorov red(
f s x = f x k ∑
j =1
n ∂ f x k
∂ x j x j− x j
k 1
2∑i=1
n
∑ j =1
n
a ij x i− x ik x j− x j
k
a ij= a ji = ∂2 f
∂ xi
∂ x j
| x = x k
-
8/17/2019 OU 4 - NP i Tehnike Pretrazivanja 2 Print
12/37
Ne#tonov metod
• 8a stacionarne ta&"e +un"cije f s( x ) vrijedi(
∂ f s x
∂ x=
∂ f x k
∂ x
1
2∑i=1
n
ai x i− x ik
1
2∑ j=1
n
aj x j− x jk =
= ∂ f x k
∂ x ∑
j=1
n
aj x j− x jk =0 =1,2, , n
Ak
x − x k =−∇ f x
k =− g
k
Ak
=
[a11 a12 a1na
21a
22 a
2n⋮ ⋮ ⋱ ⋮
an1 an2 ann]
-
8/17/2019 OU 4 - NP i Tehnike Pretrazivanja 2 Print
13/37
Ne#tonov metod
• ' slu&aju da postoji ( Ak )!1 vrijedi(
• 4 ovaj i!ra! se u"lapa u o"virnu +ormu gradijentni# metoda
• otreno je oratiti pažnju na slu&aj "ada je matrica A
k li!u singularne,
po$to su tada doivene vrijednosti nepou!dane
• 4sto ta"o, potreno je utvrditi de+initnost matrice Ak jer algoritam može
divergirati
• -etonov metod je numeri&"i vrlo !a#tjevan
• -a sva"oj iteraciji je potreno( – 4!ra&unati n "omponenata gradijenta +un"cije
– 4!ra&unati n(n+1)/2 parcijalni# i!voda drugog reda
– drediti inver!nu matricu matrice Ak
• ' li!ini optimuma se vrijednost inver!ne matrice može držati "onstantnom
"ro! vi$e iteracija
x k 1
= x k
− Ak
−1 g
k
-
8/17/2019 OU 4 - NP i Tehnike Pretrazivanja 2 Print
14/37
$etode pretraživanja sa u"r%anjem
• ve metode po"u$avaju is"oristiti dore re!ultate pret#odni#
iteracija, "a"o i se umanjio roj potreni# jednodimen!ionalni#
pretraživanja i numeri&"a "omple"snost
• Dvodimen!ionalni metod sa ur!anjem( – drediti gradijent g ( x 0) u po&etnoj ta&"i x 0
– rovesti jednodimen!ionalno pretraživanje u smjeru gradijenta do
ta&"e x 1
– ' novoj ta&"i x 1 odrediti gradijent g ( x 1)
– rovesti jednodimen!ionalno pretraživanje do ta&"e x 2
– rovesti jednodimen!ionalno pretraživanje po pravcu "oji prola!i
"ro! x 0 i x 2 ur!avaju6i "ora" ) f ( " x 2 + (1!" ) x 0), 0 ≤ " ≤ ∞
– -astaviti proceduru, pri &emu se i!meu dva ur!avaju6a "ora"a
arem u jednoj ta&"i ra&una gradijent
-
8/17/2019 OU 4 - NP i Tehnike Pretrazivanja 2 Print
15/37
$etode pretraživanja sa u"r%anjem
-
8/17/2019 OU 4 - NP i Tehnike Pretrazivanja 2 Print
16/37
&''N pretraživanje
• ;ors:t#e i Mot!"in su predložili metod sa ur!anjem !a
pretraživanje n*dimen!ionalnog prostora
• 4me metoda dola!i od geometrijs"e interpretacije
• 9%9- vrlo doro prati us"e greene i udoline
• redložene su i modi+i"acije "od "oji# se ur!avaju6i "ora"
provodi po pravcu "ro! ta&"e &iji se inde"s ra!li"uje !a 3(
– Kora" u pravcu gradijenta se provodi !a ", ...
– 'r!avaju6i "ora" se provodi !a "
-
8/17/2019 OU 4 - NP i Tehnike Pretrazivanja 2 Print
17/37
&''N pretraživanje
-
8/17/2019 OU 4 - NP i Tehnike Pretrazivanja 2 Print
18/37
$etode na "a%i konjugovanih pravaca
• %o su vrlo e+i"asne metode
• @e6ina metoda na a!i "onjugovani# pravaca spadaju u
gradijentne metode
• osmatrajmo "vadratnu +ormu(
• gdje su(
– A ) po!nata simetri&na matrica dimen!ija nxn – b ) po!nata ve"tor "olona sa n elemenata
– x a ) po!nata ve"tor "olona sa n elemenata
f s x = f x a x − x a ' b1
2 x − x a ' A x − x a
-
8/17/2019 OU 4 - NP i Tehnike Pretrazivanja 2 Print
19/37
$etode na "a%i konjugovanih pravaca
• Stacionarne ta&"e ove +un"cije se mogu doiti rje$avanjem
sistema(
• ' slu&aju da je A po!itivno de+initna matrica, ta&"a x s
predstavlja minimum +un"cije
• De+inicija(
@ektori r 1 i r 2 su međusobno konjugovani u odnosu na pozitivno
definitnu matriu An x n ako vrijedi!
∇ f s x = 0
b=− A x s− x a
r 1 ' A r 2=0
-
8/17/2019 OU 4 - NP i Tehnike Pretrazivanja 2 Print
20/37
$etode na "a%i konjugovanih pravaca
• %eorema(
9"o je n netrivijalni# ve"tora r i međusobno konjugovano u odnosu
na pozitivno definitnu matriu An x n, tada su oni međusobno
"inearno neovisni
• #okaz!
$retpostavimo da se vektor r k mo%e izraziti preko osta"i& n-1
vektora!
'ada mo%emo pisati!
eđutim, ovaj izraz je kontradiktoran uko"iko su svi vektori
međusobno konjugovani
r k =∑i
i ≠k
i r i , ∃i= j≠0
r j ' A r k =r j ' A∑ii
≠k
i r i = j r j ' A r j
-
8/17/2019 OU 4 - NP i Tehnike Pretrazivanja 2 Print
21/37
$etode na "a%i konjugovanih pravaca
• %eorema(
9"o su netrivijalni ve"tori r i (i=0, 1, ..., n!1) međusobno konjugovano u
odnosu na pozitivno definitnu matriu An x n, tada se minimum funkije!
mo%e odrediti nizom od n jednodimenziona"ni& pretra%ivanja, prema
proeduri!
– renuti od ta*ke x 0
– drediti x 1 kao
– drediti x 2 kao
–
– drediti x min=x n kao
f s x = f x a x − x a ' b12
x − x a ' A x − x a
f s x 1=in
0
f s x 00 r 0
f s x 2= in
1
f s x 1 1 r 1
f s x n= in
n−1
f s x n−1
n−1 r n−1
-
8/17/2019 OU 4 - NP i Tehnike Pretrazivanja 2 Print
22/37
$etodi na "a%i konjugovanih pravaca
• Do"a!(
-e"a je(
%ada je(
&igledno je f s separailna +un"cija po parametrima αi
x =∑i=0
n−1
i r i=[ r 0 r 1 r n−1 ]
[
01⋮
n−1
] f s x = f s∑i=0n−1 i r i= f x a− x a ' b 12 x a ' A x a∑i =0n−1 [ i r i ' b− A x a 12 i2 r i ' A r i ]
-
8/17/2019 OU 4 - NP i Tehnike Pretrazivanja 2 Print
23/37
$etod *letchera i eevesa
• ostavlja se pitanje na "oji na&in odrediti "onjugovane pravce r i
• Kod metoda ;letc#era i eevesa se "onjugovani pravci
odreuju na sljede6i na&in(
– drediti – drediti
pri &emu se ta&"e x i odreuju rje$avanjem prolema
• ;letc#er i eeves su na osnovu e"sperimentalni# istraživanja
predložili da se pravci r i povremeno resetuju, tj.(
r 0 =− g x 0
=− g 0
r i=− g i
g i' g
i
g i−1
' g i−1 r i −1 , i=1,2, , n
f s x i=in
f s x i −1 r i−1
r i=
{
− g i
, i= j n1 , j=0,1,2,...
− g i g
i' g
i
g i−1
' g i−1
r i −1 , ina%&
-
8/17/2019 OU 4 - NP i Tehnike Pretrazivanja 2 Print
24/37
$etod *letchera i eevesa
• vaj metod ne prede+inira metod jednodimen!ionalnog
pretraživanja "oji 6e se "oristiti
• Aedino se !a#tijeva da jednodimen!ionalno pretraživanje ude
vrlo preci!no u o"olini optimuma• otreno je da se provede arem n jednodimen!ionalni#
pretraživanja, prije nego se primijeni ne"i od standardni# uslova
!austavljanja algoritma, "ao $to su(
– /roj iteracija
– @rijednost gradijenta na k *toj iteraciji g k ' g k
– @rijednost poma"a i!meu dvije iteracije
( x k+1 ! x k )' ( x k+1 ! x k )
-
8/17/2019 OU 4 - NP i Tehnike Pretrazivanja 2 Print
25/37
$etod !avidon+*letcher+&o#ell
• Smatra se jednim od najolji# algoritama pretraživanja
• D; predstavlja najolji algoritam pretraživanja "ada(
– Kriterij pripada "lasi B2
– Cvaluacija +un"cije i njenog gradijenta je numeri&"i!a#tjevnija od matri&ni# manipulacija D; algoritma
• Kod D; se inver!na matrica A!1 odreuje na osnovu n
jednodimen!ionalni# pretraživanja, e! ra&unanja drugi#
parcijalni# i!voda• ;letc#er i oel su na testnim prolemima po"a!ali e+i"asnost
ove metode i !a proleme sa 100 varijali
-
8/17/2019 OU 4 - NP i Tehnike Pretrazivanja 2 Print
26/37
$etod !avidon+*letcher+&o#ell
-
8/17/2019 OU 4 - NP i Tehnike Pretrazivanja 2 Print
27/37
Ostale metode pretraživanja
• redstavljene metode su vrlo e+i"asne, ali i numeri&"i
"omple"sne
• ostoji mnogo metoda "oje "oriste ra!li&ite pristupe da e!
ra&unanja gradijenta pronau $to olje rje$enje
• -ji#ova e+i"asnost u op6em slu&aju nije viso"a
• rimjer ta"vi# metoda su(
– retraživanje u!or"om ta&a"a u prolems"om prostoru
– retraživanje usmjerenim ni!om ta&a"a
-
8/17/2019 OU 4 - NP i Tehnike Pretrazivanja 2 Print
28/37
&retraživanje u%orkom tačaka
• vaj jednostavni metod je relativno e+i"asan duž greena i
"lanaca
• snovna procedura metoda je(
– 4!ra&unati vrijednost +un"cije u po&etnoj ta&"i i ta&"ama
"oje su !a mali pomjeraj udaljene od po&etne ta&"e duž
osa prolems"og prostora
– Kada se odredi ta&"a "oja dalje olju vrijednost +un"cije,
ponavljati u!ora" pomjeraja sve do" se vrijednost+un"cije poolj$ava
– Kada dalje poolj$anje ne ude mogu6e, potražiti novi
u!ora" "oji poolj$ava vrijednost +un"cije
-
8/17/2019 OU 4 - NP i Tehnike Pretrazivanja 2 Print
29/37
&retraživanje u%orkom tačaka
-
8/17/2019 OU 4 - NP i Tehnike Pretrazivanja 2 Print
30/37
&retraživanje usmjerenim ni%om tačaka
• vaj metod je dosta sli&an pret#odnom
• 'mjesto pomjeraja duž "oordinatni# osa, "oristi se prede+inirani
ni! ta&a"a u prolems"om prostoru
• /roj ta&a"a i trealo da odgovara roju dimen!ija prolems"og
prostora
• -ova ta&"a postaje ona od ta&a"a ni!a "oja dovodi do najve6eg
poolj$anja vrijednosti +un"cije
-
8/17/2019 OU 4 - NP i Tehnike Pretrazivanja 2 Print
31/37
retiranje ograničenja
• ostoji vi$e na&ina na "oje se ograni&enja mogu uvesti u
prolem, da i se na njega mogli primjeniti opisani dire"tni
metodi pretraživanja
• snovna dva pristupa su( – Metod unutra$nji# "a!neni# +un"cija
– Metod spolja$nji# "a!neni# +un"cija
• a ova metoda modi+iciraju "riterij na pogodan na&in, "a"o i
se sprije&ilo naru$avanje ne"og od ograni&enja
-
8/17/2019 OU 4 - NP i Tehnike Pretrazivanja 2 Print
32/37
$etod spolja,njih ka%nenih funkcija
• -e"a je potreno odrediti optimum +un"cije(
• ri tome je potreno !adovoljiti ograni&enja(
• Spolja$nja +un"cija "a!ne se dodaje "riteriju ta"o da njegova
vrijednost ude pogor$ana u"oli"o ograni&enje nije !adovoljeno
• 8a ograni&enja tipa jedna"osti 6e "a!nena +un"cija iti(
• 8a ograni&enja tipa nejedna"osti 6e "a!nena +un"cija iti(
' = f 0 x
f i x = c i , i=1,2 , , k n
f i x c i , i= k 1, k 2, ,
i x = f i x − c i 2
, i = 1 ,2 , , k
i x = f i x −c i2 i ,i=k 1,k 2, ,
i={0 , f i x ci1 , f i x ci
-
8/17/2019 OU 4 - NP i Tehnike Pretrazivanja 2 Print
33/37
$etod spolja,njih ka%nenih funkcija
• 8a "riterij &iji optimum se traži se sada u!ima(
• 4li(
• @rijednosti "oe+icijenata se iraju ta"o da "a!na pogor$ava
vrijednost +un"cije u smislu traženja optimuma
= f 0 x ∑i =1
i i x
' = f 0 x ) ∑i =1
( i x
-
8/17/2019 OU 4 - NP i Tehnike Pretrazivanja 2 Print
34/37
$etod spolja,njih ka%nenih funkcija
-
8/17/2019 OU 4 - NP i Tehnike Pretrazivanja 2 Print
35/37
$etod spolja,njih ka%nenih funkcija
• rimjer( %raženje ma"simuma +un"cije
• 'vedimo ograni&enje
• 'svojimo . =10
• otreno je pažljivo podesiti parametre algoritma
*= f x = 7x− x24
x 2 x = x−2
-
8/17/2019 OU 4 - NP i Tehnike Pretrazivanja 2 Print
36/37
$etod unutra,njih ka%nenih funkcija
• Kod ovog metoda se uspostavlja arijera "oja sprje&ava da se
pri pretraživanju naru$i ograni&enje
• ostoji vi$e na&ina de+iniranja arijerne +un"cije
• osmatrajmo ograni&enje(
• De+inirajmo "riterij u oli"u(
• 8a ne"u veli"u vrijednost . 6e se vrijednost ovog "riterija ja"o
uve6avati pri priližavanju granici de+iniranoj ograni&enjem
• adi toga 6e se pretraživanje !adržati unutar prolems"og
prostora
• -a"on $to se pronae ta&"a minimuma, postupa" se ponavlja
!a manju vrijednost . , pri &emu 6e iti(
x = f 0 x )
c i− f i x
f i x c i
lim 0 +
[ f 0 x
c i− f i x ]= f 0 x
-
8/17/2019 OU 4 - NP i Tehnike Pretrazivanja 2 Print
37/37
-
top related