rje avanje nelinearnih sustava - naslovnica | pmfzadaci rješavanje nelinearnih sustava tražimo...
TRANSCRIPT
Praktikum iznumerickihmetoda ustatistici
Tina Bosner
Rješavanjenelinearnihsustava
Praktikum iz numerickih metoda u statisticiRješavanje nelinearnih sustava
Tina Bosner
Praktikum iznumerickihmetoda ustatistici
Tina Bosner
RješavanjenelinearnihsustavaNewtonova metodaza sustavenelinearnih jednadžbi
Modificirana (kvazi)Newtonova metoda
Metoda podijeljnihrazlika
Broydenova metoda
Zadaci
Rješavanje nelinearnih sustava
Tražimo riješenje sistema nelinearnih jednadžbi, tj. zadani F : Rn ← Rn želimo naci x∗ ∈ Rn takava da je
F (x∗) = 0.
Pretpostavit cemo da je F neprekidno diferencijabilna.Najcešce se koriste Newtonova metoda, njezinevarijante i Broydenova metoda.Kažemo da je xk aproksimacija od x∗ sa tocnošcu ε akovrijedi
‖xk − x∗‖ 6 ε
u nekoj normi ‖ · ‖ na Rn.
Praktikum iznumerickihmetoda ustatistici
Tina Bosner
RješavanjenelinearnihsustavaNewtonova metodaza sustavenelinearnih jednadžbi
Modificirana (kvazi)Newtonova metoda
Metoda podijeljnihrazlika
Broydenova metoda
Zadaci
Newtonova metoda za sustave nelinearnihjednadžbi
Newtonova metoda za sustave nelinearnih jednadžbi,se kao i kod jednodimenzionalnog slucaja, dobivapronalaženjem korijena afine aprosimacije funkcije F utrenutnoj tocki xk .Promotrimo jednakost
F (xk + p) = F (xk ) +
∫ xk+p
xk
J(z) dz,
gdje je J = D F Jacobijeva matrica, tj. zaF = (f1, . . . , fn)T je
J(x)i j =∂fi∂xj
(x), i , j = 1, . . . ,n.
Praktikum iznumerickihmetoda ustatistici
Tina Bosner
RješavanjenelinearnihsustavaNewtonova metodaza sustavenelinearnih jednadžbi
Modificirana (kvazi)Newtonova metoda
Metoda podijeljnihrazlika
Broydenova metoda
Zadaci
U prethodnom izrazu integral aproksimiramo salinearnim izrazom J(xn) · p, cime dobijemo afinuaproksimaciju od F u perturbaciji p tocke xk ,
Mk (xk + p) = F (xk ) + J(xk ) · p.
Zatim tražimo korak sk za koji je Mk (xk + sk ) = 0, te nataj nacin dobivamo Newtonovu iteraciju za naš sustavjednadžbi.Dakle, pocevši od tocke x0, u svakoj iteraciji racunamo
J(xk )sk = −F (xk ),
xk+1 = xk + sk ,
sve dok nismo našli zadovoljavajucu aproksimacijunultocke.
Praktikum iznumerickihmetoda ustatistici
Tina Bosner
RješavanjenelinearnihsustavaNewtonova metodaza sustavenelinearnih jednadžbi
Modificirana (kvazi)Newtonova metoda
Metoda podijeljnihrazlika
Broydenova metoda
Zadaci
Problemi:1 Jacobijeva matrica ne mora biti analiticki izracunljiva
(na primjer, u primjeni, sam F nije u analitickom obliku).U tom slucaju J(xk ) se aproksimira podjeljenimrazlikama ili nekom drugom “manje skupom” metodom.
2 J(xk ) može biti singularna ili loše uvjetovana, tako dase sustav J(xk )sk = −F (xk ) ne može pouzdano riješiti.Problem se rješava perturbiranjem matrice J(xk ) takoda se dobije bolje uvjetovan sustav, ili bolje, koristi seneka globalna metoda.
Praktikum iznumerickihmetoda ustatistici
Tina Bosner
RješavanjenelinearnihsustavaNewtonova metodaza sustavenelinearnih jednadžbi
Modificirana (kvazi)Newtonova metoda
Metoda podijeljnihrazlika
Broydenova metoda
Zadaci
Prednosti Newtonove metode:1 Kvadratna konvergencija ako startamo dovoljno blizu
nultocke x∗ i ako je J(x∗) regularna.2 Tocno rješenje u jednom koraku ako je funkcija F afina.
Nedostaci Newtonove metode:1 Za mnogo problema metoda nije globalno
konvergentna.2 Metoda zahtjeva racunanje J(xk ) u svakom koraku.3 Svaki korak zahtjeva rješavanje linearnog sustava koji
može biti singularan ili loše uvjetovan.
Praktikum iznumerickihmetoda ustatistici
Tina Bosner
RješavanjenelinearnihsustavaNewtonova metodaza sustavenelinearnih jednadžbi
Modificirana (kvazi)Newtonova metoda
Metoda podijeljnihrazlika
Broydenova metoda
Zadaci
Lokalna konvergencija Newtonove metode
Oznacimo sa:‖ · ‖ normu na Rn,N(x , r) otvorenu kuglu radijusa r oko x , tj.
N(x , r) = {y ∈ Rn : ‖y − x‖ < r}.
Teorem (1)
Neka je F : Rn ← Rn neprekidno diferencijabilna na nekomotvorenom konveksnom skupu D ⊂ Rn. Pretpostavimo dapostoji x∗ ∈ Rn i r , β > 0, takvi da je
N(x∗, r) ⊂ D,F (x∗) = 0,J(x∗)−1 postoji uz ‖J(x∗)−1‖ 6 β, iJ ∈ Lipγ(N(x∗, r)), tj za svaki x , y ∈ N(x∗, r) vrijedi
‖J(x)− J(y)‖ 6 γ‖x − y‖.
Praktikum iznumerickihmetoda ustatistici
Tina Bosner
RješavanjenelinearnihsustavaNewtonova metodaza sustavenelinearnih jednadžbi
Modificirana (kvazi)Newtonova metoda
Metoda podijeljnihrazlika
Broydenova metoda
Zadaci
Teorem (nastavak)
Tada postoji ε > 0 takav da je za sve x0 ∈ N(x∗, ε) nizx1, x2, . . . generiran sa
xk+1 = xk − J(xk )−1F (xk ), k = 0,1, . . .
dobro definiran, konvergira ka x∗, i vrijedi
‖xk+1 − x∗‖ 6 βγ‖xk − x∗‖2, k = 0,1, . . . .
Praktikum iznumerickihmetoda ustatistici
Tina Bosner
RješavanjenelinearnihsustavaNewtonova metodaza sustavenelinearnih jednadžbi
Modificirana (kvazi)Newtonova metoda
Metoda podijeljnihrazlika
Broydenova metoda
Zadaci
TeoremNeka je D ⊂ Rn otvoren skup. Nadalje, Neka je D0konveksnan skup uz D0 ⊂ D, i neka je F : D → Rn
diferencijabilna za svaki x ∈ D0 i neprekidna za svaki x ∈ D.Za x0 ∈ D0 neka su dane pozitivne konstante r , α, β, γ, h zakoje vrijedi:
N(x0, r) ⊆ D0, h :=αβγ
2< 1, r :=
α
1− h,
i neka F ima slijedeca asvojstva:‖J(x)− J(y)‖ 6 γ‖x − y‖ za svaki x , y ∈ D0,J(x)−1 postoji i zadovoljava ‖J(x)−1‖ 6 β za svakix ∈ D0,‖J(x0)−1F (x0)‖ 6 α.
Praktikum iznumerickihmetoda ustatistici
Tina Bosner
RješavanjenelinearnihsustavaNewtonova metodaza sustavenelinearnih jednadžbi
Modificirana (kvazi)Newtonova metoda
Metoda podijeljnihrazlika
Broydenova metoda
Zadaci
Teorem (nastavak)Tada
1 pocevši za x0, svaka tocka
xk+1 = xk − J(xk )−1F (xk ), k = 0,1, . . .
je dobro definirana i zadovoljava xk ∈ N(x0, r) za svakik > 0,
2 limk→∞ xk = x∗ postoji i zadovoljava x∗ ∈ N(x0, r) iF (x∗) = 0,
3 za svaki k > 0 je
‖xk − x∗‖ 6 αh2k−1
1− h2k .
Pošto je 0 < h < 1, Newtonova metoda je baremkvadraticno konvergentna.
Praktikum iznumerickihmetoda ustatistici
Tina Bosner
RješavanjenelinearnihsustavaNewtonova metodaza sustavenelinearnih jednadžbi
Modificirana (kvazi)Newtonova metoda
Metoda podijeljnihrazlika
Broydenova metoda
Zadaci
Uz malo jace pretpostavke može se pokazati da je x∗ jedinanultocka u N(x0, r):
Teorem (Newton–Kantorovich)
Neka je dana funkcija F : D ⊆ Rn ← Rn i konveksan skupD0 ⊆ D, te neka je F neprekidno diferencijabilna na D0 ineka zadovoljava uvjete‖J(x)− J(y)‖ 6 γ‖x − y‖ za svaki x , y ∈ D0,‖J(x0)−1‖ 6 β,‖J(x0)−1F (x0)‖ 6 α,
za neki x0 ∈ D0. Definirajmo konstante
h := αβγ, r1,2 :=1∓√
1− 2hh
α.
Praktikum iznumerickihmetoda ustatistici
Tina Bosner
RješavanjenelinearnihsustavaNewtonova metodaza sustavenelinearnih jednadžbi
Modificirana (kvazi)Newtonova metoda
Metoda podijeljnihrazlika
Broydenova metoda
Zadaci
Teorem (nastavak)
Ako je h 6 12 i N(x0, r1) ⊂ D0, tada niz {xk} definiran sa
xk+1 = xk − J(xk )−1F (xk ), k = 0,1, . . .
ostaje unutar N(x0, r1) i konvergira jedinstvenoj nultocki odF u D0 ∩ N(x0, r2).
Praktikum iznumerickihmetoda ustatistici
Tina Bosner
RješavanjenelinearnihsustavaNewtonova metodaza sustavenelinearnih jednadžbi
Modificirana (kvazi)Newtonova metoda
Metoda podijeljnihrazlika
Broydenova metoda
Zadaci
Modificirana (kvazi) Newtonova metoda
Newtonova metoda konvergira kvadraticno, ali samoako je pocetna aproksimacija x0 dovoljno blizutraženom rješenju x∗.Kako bi se izbjegao problem uskog izbora pocetneaproksimacije koristi se modificirana Newtonovametoda koja je kombinacija
Newtonove metodepretraživanje po pravcu — optimizacijska metodametode raspolavljanja
i za koju se može dokazati globalna konvergencija zaveliku klasu funkcija F .
Praktikum iznumerickihmetoda ustatistici
Tina Bosner
RješavanjenelinearnihsustavaNewtonova metodaza sustavenelinearnih jednadžbi
Modificirana (kvazi)Newtonova metoda
Metoda podijeljnihrazlika
Broydenova metoda
Zadaci
Definirajmo f (x) := F (x)T F (x) = ‖F (x)‖22.Modifikacija algoritma se satoji u uvodenju dodatnogparametra λ, i smjera traženja s da bi definirali niz
xk+1 := xk − λksk ,
gdje je u našem slucajusk := dk := J(xk )−1F (xk ),a λk se odabire tako da niz {f (xk )} bude strogopadajuci i da xk konvergira minimumu funkcije f .
Pošto je f (x) > 0 za svaki x
f (x) = 0 ⇐⇒ F (x) = 0.
Praktikum iznumerickihmetoda ustatistici
Tina Bosner
RješavanjenelinearnihsustavaNewtonova metodaza sustavenelinearnih jednadžbi
Modificirana (kvazi)Newtonova metoda
Metoda podijeljnihrazlika
Broydenova metoda
Zadaci
Algoritam (Modificirana Newtonova metoda)
x0 zadan;k = 0;while ∼kriterij_zaustavljanja
dk = J(xk )−1F (xk );γk = 1
κ2(J(xk )) ;Definiramo f (x) = F (x)T F (x) i fk (τ) = f (xk − τdk );Nadi najmanji cijeli broj j ≥ 0 takav da je
fk (2−j) ≤ fk (0)− 2−j γk4 ‖dk‖2‖Df (xk )‖2;
Nadi imin ∈ {0,1, . . . , j} takav da jefk (2−imin ) = mini=0,...,j fk (2−i);
λk = 2−imin ;xk+1 = xk − λkdk ;k = k + 1;
endx∗ ≈ xk ;
Praktikum iznumerickihmetoda ustatistici
Tina Bosner
RješavanjenelinearnihsustavaNewtonova metodaza sustavenelinearnih jednadžbi
Modificirana (kvazi)Newtonova metoda
Metoda podijeljnihrazlika
Broydenova metoda
Zadaci
Napomene
Odmah se vidi da je
Df (x) = 2F (x)T J(x).
Pri izvršavanju danog algoritma, može se desiti da λkbude jako mali, tako da korak koji se dodaje na xk budeskoro zanemariv. U tom slucaju dobro je stavitiogranicenje na λk odozdo, tako da ako je λk < 0.01postavi se da je λk = 0.01.
Praktikum iznumerickihmetoda ustatistici
Tina Bosner
RješavanjenelinearnihsustavaNewtonova metodaza sustavenelinearnih jednadžbi
Modificirana (kvazi)Newtonova metoda
Metoda podijeljnihrazlika
Broydenova metoda
Zadaci
Metoda podijeljnih razlika
Ponekad je problem izracunati Jacobijevu matricu J(xk )jer ili nemamo analiticki izraz za J(xk ), ili je njezinoanaliticko racunanje prekomplicirano i “preskupo”.U tom slucaju može se J(xk ) zamijeniti saaproksimacijom.Jacobijevu matricu matricu možemo aproksimirati takoda parcijalne derivacje zamijenimo podijeljenimrazlikama, tj. matricu
J(x) = DF (x) =[
∂F∂x1
(x) · · · ∂F∂xn
(x)]
zamijenjujemo sa matricom
∆F (x) =[
∆1F (x) · · · ∆nF (x)],
Praktikum iznumerickihmetoda ustatistici
Tina Bosner
RješavanjenelinearnihsustavaNewtonova metodaza sustavenelinearnih jednadžbi
Modificirana (kvazi)Newtonova metoda
Metoda podijeljnihrazlika
Broydenova metoda
Zadaci
gdje su
∆iF (x) =F (x1, . . . , xi + hi , . . . , xn)− F (x1, . . . , xi , . . . , xn)
hi
=F (x + hiei)− F (x)
hi.
Zbog toga za racunanje elemenata matrice ∆F (x)potrebno je još n puta izvrijedniti funkciju F .Preostaje još odrediti korake hi , i = 1, . . . ,n.
Ako je bilo koji hi prevelik, tada je ∆F (x) lošaaproksimacija od J(x), pa gornje iteracije mogukonvergirati puno sporije od egzaktne metode, akouopce konvergiraju.Ako je bilo koji hi premali, tada je F (x + hiei ) ≈ F (x),pa se kod racunanja ∆iF (x) može dogoditi fatalnokracenje.
Praktikum iznumerickihmetoda ustatistici
Tina Bosner
RješavanjenelinearnihsustavaNewtonova metodaza sustavenelinearnih jednadžbi
Modificirana (kvazi)Newtonova metoda
Metoda podijeljnihrazlika
Broydenova metoda
Zadaci
Kompromis je
|hi |‖∆iF (x)‖2 ≈√
eps‖f (x)‖2,
gdje je eps mašinska tocnost.hi onda možemo naci tako da krenemo od hi = eps · xi ,i vrtimo petlju
while ‖F (x1, . . . , xi + hi , . . . , xn)− F (x1, . . . , xi , . . . , xn)‖2 <√
eps‖F (x)‖2
hi = hi · 2;end
Kod vecine “pristojnih funkcija” dovoljno ce bitihi =
√eps · xi
Praktikum iznumerickihmetoda ustatistici
Tina Bosner
RješavanjenelinearnihsustavaNewtonova metodaza sustavenelinearnih jednadžbi
Modificirana (kvazi)Newtonova metoda
Metoda podijeljnihrazlika
Broydenova metoda
Zadaci
Lokalna konvergencija metode podijeljenihrazlika
TeoremNeka F i x∗ zadovoljavaju pretpostavke Teorema (1), uznormu ‖ · ‖1. Tada postoje ε,h > 0 takvi da je realni niz {xk}definiran sa
∆jF (xk ) =F (xk + hkej)− F (xk )
hk, j = 1, . . . ,n,
xk+1 = xk − (∆F (xk ))−1F (xk ), k = 0,1, . . . ,
gdje je 0 < |hk | 6 h i x0 ∈ N(x∗, ε), dobro definiran ikonvergira linearno prema x∗. Ako je
limk→∞
hk = 0,
konvergencija je superlinearna.
Praktikum iznumerickihmetoda ustatistici
Tina Bosner
RješavanjenelinearnihsustavaNewtonova metodaza sustavenelinearnih jednadžbi
Modificirana (kvazi)Newtonova metoda
Metoda podijeljnihrazlika
Broydenova metoda
Zadaci
Teorem (nastavak)Ako pak postoji konstanta c1 takva da je
|hk | 6 c1‖xk − x∗‖1,
ili analogno konstanta c2 takva da je
|hk | 6 c2‖F (xk )‖1,
tada je konvergencija kvadraticna.
Definicija
Za niz {xk} kažemo da konvergira superlinearno prema x∗ako postoji niz {ck}, limk→∞ ck = 0 takav da je
‖xk+1 − x∗‖ 6 ck‖xk − x∗‖.
Praktikum iznumerickihmetoda ustatistici
Tina Bosner
RješavanjenelinearnihsustavaNewtonova metodaza sustavenelinearnih jednadžbi
Modificirana (kvazi)Newtonova metoda
Metoda podijeljnihrazlika
Broydenova metoda
Zadaci
Modificirana Newtonova metoda sapodijeljenim razlikama
U modificiranu Newtonovu metodu se takoder možeumjesto J(x) koristiti aproksimativni ∆F (x).Sada iteracija Newtonove metode glasi
xk+1 = xk − λk (∆F (xk ))−1F (xk ).
Još moramo izracunati Df (x) = 2F (x)T J(x) za x = xk ,što možemo aproksimirati izrazom
∆f (x) = 2F (x)T ∆F (x).
Za kriterij zaustavljanja, kod obje varijante, možemouzeti iteraciju k za koju je
maxi=1,...,n
∣∣∣∣xk (i)− xk−1(i)xk−1(i)
∣∣∣∣ ≤ eps.
Praktikum iznumerickihmetoda ustatistici
Tina Bosner
RješavanjenelinearnihsustavaNewtonova metodaza sustavenelinearnih jednadžbi
Modificirana (kvazi)Newtonova metoda
Metoda podijeljnihrazlika
Broydenova metoda
Zadaci
Broydenova metoda
Ako je funkcija F toliko komplicirana, da je i “preskupo”racunanje vrijednosti od F u n dodatnih tocakapotrebnih za racunanje ∆F (x), umjesto J(xk )upotrijebiti cemo matricu Ak koja je cak jednostavnija iod ∆F (xk ).Prisjetimo se da zapravo kod Newtonove metodeoriginalnu funkciju F u svakom koraku k zamjenjujemoafinim modelom
Mk (x) = F (xk ) + J(xk )(x − xk ),
i umjesto problema F (x) = 0 rješavamo Mk (x) = 0.
Praktikum iznumerickihmetoda ustatistici
Tina Bosner
RješavanjenelinearnihsustavaNewtonova metodaza sustavenelinearnih jednadžbi
Modificirana (kvazi)Newtonova metoda
Metoda podijeljnihrazlika
Broydenova metoda
Zadaci
Sada cemo promatrati afini model
Mk (x) = F (xk ) + Ak (x − xk ).
U jednodimenzionalnom slucaju zahtjev kojim smodobili metodu sekante bio je da Mk (xk−1) = F (xk−1), tj.
F (xk−1) = F (xk ) + Ak (xk−1 − xk ),
iliAk (xk − xk−1) = F (xk )− F (xk−1).
Prethodnu lednadžbu zovemo jednadžba sekante.Medjutim, za n > 1 jednadžba sekante nije dovoljna dabi odredili Ak .
Praktikum iznumerickihmetoda ustatistici
Tina Bosner
RješavanjenelinearnihsustavaNewtonova metodaza sustavenelinearnih jednadžbi
Modificirana (kvazi)Newtonova metoda
Metoda podijeljnihrazlika
Broydenova metoda
Zadaci
Pošto osim jednadžbe sekante mi nemamo nikakvedruge informacije o Jacobijevoj matrici ili o modelu, micemo u svakom koraku pokušati sacuvati što je višemoguce od onog što vec imamo.Zbog toga cemo odabrati Ak tako da minimiziramopromjenu afinog modela, uz uvijet da jednadžbasekante bude zadovoljena.Razlika modela u k -tom i k − 1-om koraku za bilo kojix ∈ Rn, dana je sa
Mk (x) − Mk−1(x) = F (xk ) + Ak (x − xk )− F (xk−1)− Ak−1(x − xk−1)
= F (xk )− F (xk−1)− Ak (xk − xk−1) + (Ak − Ak−1)(x − xk−1)
= (Ak − Ak−1)(x − xk−1),
što slijedi iz jednadžbe sekante.
Praktikum iznumerickihmetoda ustatistici
Tina Bosner
RješavanjenelinearnihsustavaNewtonova metodaza sustavenelinearnih jednadžbi
Modificirana (kvazi)Newtonova metoda
Metoda podijeljnihrazlika
Broydenova metoda
Zadaci
Oznacimo za sk−1 := xk − xk−1 iyk−1 := F (xk )− F (xk−1).Izrazimo za bilo koji x ∈ Rn
x − xk−1 = αsk−1 + t ,
gdje je tT sk−1 = 0.Tada izraz koji želimo minimizirati postaje jednak
Mk (x)−Mk−1(x) = α(Ak − Ak−1)sk−1 + (Ak − Ak−1)t .
Nemamo utjecaja na prvi izraz sa desesne strane,pošto jednadžba sekante implicira(Ak − Ak−1)sk−1 = yk−1 − Ak−1sk−1. Ali možemo drugiizraz izjednaciti s nulom za svaki x ∈ Rn, odabirom Aktako da je (Ak − Ak−1)t = 0 za svaki t okomit na sk−1.
Praktikum iznumerickihmetoda ustatistici
Tina Bosner
RješavanjenelinearnihsustavaNewtonova metodaza sustavenelinearnih jednadžbi
Modificirana (kvazi)Newtonova metoda
Metoda podijeljnihrazlika
Broydenova metoda
Zadaci
Na taj nacin dobivamo da je Ak − Ak−1 matrica ranga 1koja se može zapisati u formi usT
k−1, za neki u ∈ Rn.Matrica još mora zadovoljavati jednadžbu sekante uobliku
(Ak − Ak−1)sk−1 = yk−1 − Ak−1sk−1,
iz cega slijedi da je
u =yk−1 − Ak−1sk−1
sTk−1sk−1
.
Konacno dobivamo da je
Ak = Ak−1 +(yk−1 − Ak−1sk−1)sT
k−1
sTk−1sk−1
kao najmanja promjena afinog modela konzistentnogsa Aksk−1 = yk−1.
Praktikum iznumerickihmetoda ustatistici
Tina Bosner
RješavanjenelinearnihsustavaNewtonova metodaza sustavenelinearnih jednadžbi
Modificirana (kvazi)Newtonova metoda
Metoda podijeljnihrazlika
Broydenova metoda
Zadaci
Prethodna jednadžba zove se Broydenova korekcija(update).“Korekcija” jer se aproksimacija od J(xk ) ne racuna usvakom koraku iz pocetka, nego se korigiraaproksimacija Ak−1 od J(xk−1) da bi se dobilaaproksimacija Ak od J(xk ).Može se pokazati da je Broydenova korekcija Akminimalna promjena matrice Ak−1 konzistentna saAksk−1 = yk−1, ako je promjena Ak − Ak−1 mjerena uFrobeniusovoj normi.Sada smo dovršili konstrukciju afinog modela Mkodabirom matrice Ak . Ocito, slijedeci korak iteracije sedobiva kao korijen ovog afinog modela.Na taj nacin smo u Newtonovoj metodi J(xk ) zamijenilisa Ak .
Praktikum iznumerickihmetoda ustatistici
Tina Bosner
RješavanjenelinearnihsustavaNewtonova metodaza sustavenelinearnih jednadžbi
Modificirana (kvazi)Newtonova metoda
Metoda podijeljnihrazlika
Broydenova metoda
Zadaci
Algoritam (Broydenova metoda)
% Dani su F : Rn ← Rn, x0 ∈ Rn, A0 ∈ Rn×n
k = 0;while ∼kriterij_zaustavljanja
Riješi Aksk = −F (xk ) po sk ;xk+1 = xk + sk ;yk = F (xk+1)− F (xk );
Ak+1 = Ak +(yk−Ak sk )sT
ksT
k sk;
k = k + 1;end
Napomena
Pocetni A0 se obicno racuna pomocu podijeljenih razlika.
Praktikum iznumerickihmetoda ustatistici
Tina Bosner
RješavanjenelinearnihsustavaNewtonova metodaza sustavenelinearnih jednadžbi
Modificirana (kvazi)Newtonova metoda
Metoda podijeljnihrazlika
Broydenova metoda
Zadaci
Lokalna konvergencija Broydenove metode
Može se pokazati da ako je x0 dovoljno blizu nultockix∗, gdje je J(x∗) nesingularan, i A0 dovoljno blizu J(x0),tada niz iteracija {xk} dobiven Broydenovom metodomkonvergira superlinearno prema x∗.Takoder se može pokazati da je nužan i dovoljan uvijetza superlinearnu konvergenciju metode sekante (nenužno Broydenove)
limk→∞
‖J(xk )(sNk − sk )‖‖sk‖
= 0,
gdje je sNk = −J(xk )−1F (xk ) Newtonov korak za xk , tj.
imamo superlinearnu konvergenciju metode sekanteako i samo ako koraci metode sekante po velicini ismjeru konvergiraju Newtonovim koracima iz iste tocke.Za Broydenovu metodu ne mora nužno vrijeditilimk→∞ Ak 6= J(x∗).
Praktikum iznumerickihmetoda ustatistici
Tina Bosner
RješavanjenelinearnihsustavaNewtonova metodaza sustavenelinearnih jednadžbi
Modificirana (kvazi)Newtonova metoda
Metoda podijeljnihrazlika
Broydenova metoda
Zadaci
Kriterij zaustavljanja
LemaNeka je xk ∈ Rn, k = 0,1, . . . . Ako niz {xk}konvergirasuperlinearno prema x∗ ∈ Rn, tada u bilo kojoj normi ‖ · ‖vrijedi
limk→∞
‖xk+1 − xk‖‖xk − x∗‖
= 1.
Lema kaže da kada god algoritam postigne baremsuperlinearnu konvergenciju, tada se za kriterijzaustavljanja može koristiti sk = xk+1 − xk umjestoek = xk − x∗.
Praktikum iznumerickihmetoda ustatistici
Tina Bosner
RješavanjenelinearnihsustavaNewtonova metodaza sustavenelinearnih jednadžbi
Modificirana (kvazi)Newtonova metoda
Metoda podijeljnihrazlika
Broydenova metoda
Zadaci
Rješavanje linearnih sustava u Broydenovojmetodi
Pošto je Broydenova korekcija oblika Ak = Ak−1 + uvT
za u = yk−1 − Ak−1sk−1 i v =sk−1
sTk−1sk−1
, rješavanje
linearnih sustava u Broydenovoj metodi može seimplementirati puno efikasnije od racunanja kompletnefaktorizacije pojedinacnog sustava u svakom koraku.Racunati cemo QR faktorizaciju
QkRk = Ak = Ak−1 + uvT ,
gdje su u, v ∈ Rn, i Ak−1 je nesingularna matrica zakoju vec imamo faktorizaciju Qk−1Rk−1.Za w = QT
k−1u imamo
Ak = Qk−1Rk−1 + uvT = Qk−1(Rk−1 + wvT ),
i još izracunamo QR faktorizaciju
Rk−1 + wvT = QR.
Praktikum iznumerickihmetoda ustatistici
Tina Bosner
RješavanjenelinearnihsustavaNewtonova metodaza sustavenelinearnih jednadžbi
Modificirana (kvazi)Newtonova metoda
Metoda podijeljnihrazlika
Broydenova metoda
Zadaci
Tada je Rk = R i Qk = Qk−1Q.Prednost je u tome da se QR faktorizacija odRk−1 + wvT može napraviti u O(n2) operacija za razlikuod O(n3) operacija koliko bi nam trebalo da smo radilidirektno QR faktorizaciju matrice Ak .Kada imamo izracunate Qk i Rk , sustav
Aksk = (QkRk )sk = −F (xk )
množenjem matricom QTk s lijeva postaje jednak
Rksk = −QTk F (xk ),
koji se riješi povratnom supstitucijom.
Praktikum iznumerickihmetoda ustatistici
Tina Bosner
RješavanjenelinearnihsustavaNewtonova metodaza sustavenelinearnih jednadžbi
Modificirana (kvazi)Newtonova metoda
Metoda podijeljnihrazlika
Broydenova metoda
Zadaci
QR faktorizacija matrice B = Rk−1 + wvT
Ponište se svi reci u matrici wvT osim prvog, što semože napraviti sa n − 1 Givensovih rotacija. To sepostiže poništavanjem bilo kojeg stupca razlicitog odnulvektora u matrici wvT , a pošto su svi stupci oblikav(i) · w , na taj nacin poništiti ce se svaki stupac.Dakle dovoljno je Givensove rotacije primjeniti na n × 1matrici w , cime dobivamo w .Paralelno iste rotacije primjenimo na Rk−1, koja ce setransformirati u gornju Hessenbergovu matricu Rk−1.Lako se vidi da je B := Rk−1 + wvT matrica dobivenadanim Givensovim rotacijama primijenjenim na matricuB, i takoder je gornje Hessenbergova.Sad još pomocu Givensovih rotacija treba poništitidijagonalu ispod glavne u Hessenbergovoj matrici B, ito tako da element na poziciji (i , i − 1) poništimo saelementom na poziciji (i − 1, i − 1) za i = 2, . . . ,n.
Praktikum iznumerickihmetoda ustatistici
Tina Bosner
RješavanjenelinearnihsustavaNewtonova metodaza sustavenelinearnih jednadžbi
Modificirana (kvazi)Newtonova metoda
Metoda podijeljnihrazlika
Broydenova metoda
Zadaci
Napomene
Broydenova metoda se takoder koristi umjestoNewtonove u globalno konvergentnoj metodi.Može se desiti da se nakon puno koraka Ak malopreviše udalji od J(xk ) što može rezultirati da globalnaiteracija ne može naci niti jednu zadovoljavajucu tocku.U tom slucaju se Broydenova metoda “resetira” tako dase Ak ponovno izracuna pomocu podijeljenih razlika, inastavi pomocu Broydenovih korekcija.
Praktikum iznumerickihmetoda ustatistici
Tina Bosner
RješavanjenelinearnihsustavaNewtonova metodaza sustavenelinearnih jednadžbi
Modificirana (kvazi)Newtonova metoda
Metoda podijeljnihrazlika
Broydenova metoda
Zadaci
Zadaci
NapomenaZa tolerancije koristite imena varijabli epsilon i delta jerje eps u MATLAB-u rezerviran za mašinsku tocnost.Kao kriterije zaustavljanja koristite
maxi=1,...,n
∣∣∣∣xk (i)− xk−1(i)xk−1(i)
∣∣∣∣ < ε, ili ‖F (xk )‖2 < δ, ili k > N.
ZadatakNapišite M-file za funkciju Newton_sustav() koja pomocuNewtonove metode za sistem nelinearnih jednadžbi racunaaproksimaciju nultocke dane vektorske funkcije. Ulazni iizlazni parametri su isti kao i kod Newtonove metode zajednu jednadžbu, uz odgovarajuce dimenzije, uz još dodatniulazni parametar dim koji je dimenzija prostora nad kojim jedefinirana funkcija f .
Praktikum iznumerickihmetoda ustatistici
Tina Bosner
RješavanjenelinearnihsustavaNewtonova metodaza sustavenelinearnih jednadžbi
Modificirana (kvazi)Newtonova metoda
Metoda podijeljnihrazlika
Broydenova metoda
Zadaci
ZadatakNapišite M-file za funkciju Newton_glob_sustav() kojapomocu modificirane Newtonove metode za sistemnelinearnih jednadžbi racuna aproksimaciju nultocke danevektorske funkcije. Ulazni i izlazni parametri su isti kao i kodNewton_sustav().
ZadatakNapišite M-file za funkciju podjel_razl_sustav() kojapomocu metode podijeljenih razlika za sistem nelinearnihjednadžbi racuna aproksimaciju nultocke dane vektorskefunkcije. Ulazni i izlazni parametri su isti kao i kodNewton_sustav() samo bez df .
Praktikum iznumerickihmetoda ustatistici
Tina Bosner
RješavanjenelinearnihsustavaNewtonova metodaza sustavenelinearnih jednadžbi
Modificirana (kvazi)Newtonova metoda
Metoda podijeljnihrazlika
Broydenova metoda
Zadaci
ZadatakNapišite M-file za funkciju QRgivens_Broyden() kojaracuna QR faktorizaciju matrice Rk−1 + wvT . Ulazniparametri neka su gornje trokutasta matrica R, te vektori w iv, a izlazni matrice Qt i Rt.
ZadatakNapišite M-file za funkciju Broyden_sustav() kojapomocu Broydenove metode za sistem nelinearnihjednadžbi racuna aproksimaciju nultocke dane vektorskefunkcije. Ulazni i izlazni parametri su isti kao i kodpodjel_razl_sustav().
Praktikum iznumerickihmetoda ustatistici
Tina Bosner
RješavanjenelinearnihsustavaNewtonova metodaza sustavenelinearnih jednadžbi
Modificirana (kvazi)Newtonova metoda
Metoda podijeljnihrazlika
Broydenova metoda
Zadaci
ZadatakUsporedite Newtonovu, modificiranu Newtonovu metodu,metodu podijeljenih razlika i Broydenovu metodu zarješavanje sustava F (x) = 0, gdje je
F (x) =
[x2
1 + x22 − 2
ex1−1 + x32 − 2
],
za koji je tocno rješenje x∗ = [1,1]T . Uzmite da jeε = δ = 10−10 i N = 50. Za pocetne tocke isprobajte:
1 x0 = [1.5,2]T , i2 x0 = [0.5,0.4]T ,
Praktikum iznumerickihmetoda ustatistici
Tina Bosner
RješavanjenelinearnihsustavaNewtonova metodaza sustavenelinearnih jednadžbi
Modificirana (kvazi)Newtonova metoda
Metoda podijeljnihrazlika
Broydenova metoda
Zadaci
ZadatakProvjerite da za
F (x) =
[x1 + x2 − 3x2
1 + x22 − 9
],
ciji su korijeni [0,3]T i [3,0]T , ako primjenite Broydenovumetodu uz pocetnu iteraciju x0 = [1,5]T , vrijedi da je
limk→∞
Ak =
[1 1
1.5 7.5
]dok je
J(x∗) =
[1 10 6
].
Istovremeno xk vrlo brzo konvergira ka [0,3]T .