begleitmaterial zur vorlesung numerik linearer ...meister/vorlesungen/ws_10_11/num_lin... ·...
TRANSCRIPT
Begleitmaterial zur VorlesungNumerik linearer Gleichungssysteme
Andreas Meister
Universität Kassel, AG Analysis und Angewandte Mathematik
Andreas Meister (Universität Kassel) Begleitmaterial Numerik 1 / 59
Mehrgitterverfahren
Modellproblem (Buch – Seite 101) N3 = 15
Abbildung: Eigenwertverteilung des Jacobi-Verfahrens (ω = 12 )
Andreas Meister (Universität Kassel) Begleitmaterial Numerik 2 / 59
Mehrgitterverfahren
Modellproblem (Buch – Seite 102) N3 = 15
Abbildung: Eigenwertverteilung des gedämpften Jacobi-Verfahrens (ω = 14 )
Andreas Meister (Universität Kassel) Begleitmaterial Numerik 3 / 59
Mehrgitterverfahren
Modellproblem (Buch – Seite 103) N3 = 15
Abbildung: Entwicklung des Fehlers beim gedämpften Jacobi-Verfahren
Andreas Meister (Universität Kassel) Begleitmaterial Numerik 4 / 59
Mehrgitterverfahren
Definition 1.2: (Buch – Definition 4.39)
Sei u`j eine Näherungslösung der Gleichung A`u` = f `, dann heißt dieMethode
u`,neuj = φGGK
`
(u`j , f
`)
mitφGGK`
(u`j , f
`)
= u`j − P``−1A−1
`−1R`−1`
(A`u`j − f `
)Grobgitterkorrekturverfahren.
Andreas Meister (Universität Kassel) Begleitmaterial Numerik 5 / 59
Mehrgitterverfahren
Lemma 1.3: (Buch – Lemma 4.40)
Die Grobgitterkorrekturmethode φGGK` stellt ein lineares konsistentes
Iterationsverfahren mit
MGGK` = I − P`
`−1A−1`−1R`−1
` A`
undNGGK` = P`
`−1A−1`−1R`−1
`
dar.
Andreas Meister (Universität Kassel) Begleitmaterial Numerik 6 / 59
Mehrgitterverfahren
Lemma 1.6: (Buch – Lemma 4.43)Sind φ, ψ zwei lineare Iterationsverfahren mit den IterationsmatrizenMφ und Mψ, dann gilt:
1 Sind φ und ψ konsistent, dann ist auch die Produktiteration φ ◦ ψkonsistent.
2 Die Iterationsmatrix der Produktiteration φ ◦ ψ hat die Form
Mφ◦ψ = MφMψ.
3 Die beiden Produktiterationen φ ◦ ψ und ψ ◦ φ besitzen diegleichen Konvergenzeigenschaften im Sinne von
ρ(Mφ◦ψ) = ρ(Mψ◦φ).
Andreas Meister (Universität Kassel) Begleitmaterial Numerik 7 / 59
Mehrgitterverfahren
Satz 1.7: (Buch – Lemma 4.44)Sei φ` ein konsistentes Iterationsverfahren mit Iterationsmatrix M`,dann ist das Zweigitteriterationsverfahren φZGM(ν1,ν2)
` konsistent mit derIterationsmatrix
MZGM(ν1,ν2)` = Mν2
`
(I − P`
`−1A−1`−1R`−1
` A`
)Mν1` .
Andreas Meister (Universität Kassel) Begleitmaterial Numerik 8 / 59
Algorithmus - Zweigitterverfahren φZGM(ν1,ν2)`
Nassi-Diagramm (Buch – Seite 109)
Andreas Meister (Universität Kassel) Begleitmaterial Numerik 9 / 59
Mehrgitterverfahren
Modellproblem (Buch – Seite 107) N3 = 15
Abbildung: Entwicklung des Fehlers beim Zweigitterverfahren
Andreas Meister (Universität Kassel) Begleitmaterial Numerik 10 / 59
Algorithmus - Mehrgitterverfahren φMGM(ν1,ν2)`
Nassi-Diagramm (Buch – Seite 110)
Andreas Meister (Universität Kassel) Begleitmaterial Numerik 11 / 59
Mehrgitterverfahren
V-Zyklus γ = 1, l = 3 (Buch – Seite 111)
Andreas Meister (Universität Kassel) Begleitmaterial Numerik 12 / 59
Mehrgitterverfahren
W-Zyklus γ = 2, l = 3 (Buch – Seite 111)
Andreas Meister (Universität Kassel) Begleitmaterial Numerik 13 / 59
Vollständiges Mehrgitterverfahren
V-Zyklus γ = 2, l = 2 (Buch – Seite 112)
Andreas Meister (Universität Kassel) Begleitmaterial Numerik 14 / 59
Projektionsmethoden
Definition 2.1: (Buch – Definition 4.45)Eine Projektionsmethode zur Lösung der Gleichung (2.1) ist einVerfahren zur Berechnung von Näherungslösungen xm ∈ x0 + Kmunter Berücksichtigung der Bedingung
(b − Axm) ⊥ Lm,
wobei x0 ∈ Rn beliebig ist und Km sowie Lm m-dimensionaleUnterräume des Rn repräsentieren.Gilt Km = Lm, so sprechen wir von einer orthogonalenProjektionsmethode.Für Km 6= Lm liegt sprechen wir von einer schiefen Projektionsmethode.Der Vektor rm = b − Axm heißt Residuenvektor.
Andreas Meister (Universität Kassel) Begleitmaterial Numerik 15 / 59
Krylov-Unterraum-Verfahren
Definition 2.2: (Buch – Definition 4.47)Eine Krylov-Unterraum-Methode ist eine Projektionsmethode, bei derKm den Krylov-Unterraum
Km = Km (A, r0) = span{
r0,Ar0, . . . ,Am−1r0
}mit r0 = b − Ax0 darstellt.
Andreas Meister (Universität Kassel) Begleitmaterial Numerik 16 / 59
Projektionsverfahren
Verfahren des steilsten Abstiegs (Buch – Seite 119)
Andreas Meister (Universität Kassel) Begleitmaterial Numerik 17 / 59
Projektionsverfahren
Beispiel 2.6: (Buch – Seite 122)
Abbildung: Konvergenzverlauf
Andreas Meister (Universität Kassel) Begleitmaterial Numerik 18 / 59
Projektionsverfahren
Beispiel 2.6: (Buch – Seite 122)
Abbildung: Höhenlinien zu F (x) = 12 (Ax , x)− (b, x) = x2
1 + 5x22
Andreas Meister (Universität Kassel) Begleitmaterial Numerik 19 / 59
Projektionsverfahren
Verfahren der konjugierten Richtungen (Buch – Seite 126)
Andreas Meister (Universität Kassel) Begleitmaterial Numerik 20 / 59
Projektionsverfahren
Zusammenhänge (Buch – Seite 127)
Andreas Meister (Universität Kassel) Begleitmaterial Numerik 21 / 59
Projektionsverfahren
Vorläufiges CG-Verfahren (Buch – Seite 127)
Andreas Meister (Universität Kassel) Begleitmaterial Numerik 22 / 59
Projektionsmethoden
Satz 2.14: (Buch – Satz 4.62)Vorausgesetzt, das vorläufige CG-Verfahren bricht nicht vor derBerechnung von pk für k > 0 ab, dann gilt
(a) pm ist konjugiert zu allen pj mit 0 ≤ j < m ≤ k ,
(b) Um+1 := span {p0, . . . ,pm} = span {r0, . . . , rm} mitdim Um+1 = m + 1 für m = 0, . . . , k − 1,
(c) rm ⊥ Um für m = 1, . . . , k ,
(d) xk = A−1b ⇐⇒ rk = 0 ⇐⇒ pk = 0,
(e) Um+1 = span{
r0, . . . ,Amr0}
für m = 0, . . . , k − 1,
(f) rm ist konjugiert zu allen pj mit 0 ≤ j < m − 1 < k − 1.
Andreas Meister (Universität Kassel) Begleitmaterial Numerik 23 / 59
Projektionsverfahren
CG-Verfahren (Buch – Seite 130)
Andreas Meister (Universität Kassel) Begleitmaterial Numerik 24 / 59
Projektionsverfahren
Beispiel 2.15(a): (Buch – Beispiel 4.63)
Andreas Meister (Universität Kassel) Begleitmaterial Numerik 25 / 59
Projektionsverfahren
Beispiel 2.15: (Buch – Beispiel 4.64)
Andreas Meister (Universität Kassel) Begleitmaterial Numerik 26 / 59
Projektionsmethoden
Satz 2.17: (Buch – Satz 4.65)Seien A ∈ Rn×n symmetrisch, positiv definit und {xm}m∈N0 die durchdas Verfahren der konjugierten Gradienten erzeugte Folge vonNäherungslösungen. Dann erfüllt der zu xm korrespondierendeFehlervektor em = xm − A−1b die Ungleichung
‖em‖A ≤ 2
(√cond2(A)− 1√cond2(A) + 1
)m
‖e0‖A.
Andreas Meister (Universität Kassel) Begleitmaterial Numerik 27 / 59
Krylov-Unterraum-Verfahren
Arnoldi-Algorithmus (Buch – Seite 136)
Andreas Meister (Universität Kassel) Begleitmaterial Numerik 28 / 59
Krylov-Unterraum-Verfahren
Satz 2.18: (Buch – Satz 4.66)Vorausgesetzt, der Arnoldi-Algorithmus bricht nicht vor derBerechnung von vm 6= 0 ab, dann stellt Vj = {v1, . . . ,v j} eineOrthonormalbasis des j-ten Krylov-Unterraums Kj für j = 1, . . . ,m dar.
Satz 2.19: (Buch – Satz 4.67)Vorausgesetzt, der Arnoldi-Algorithmus bricht nicht vor derBerechnung von vm 6= 0 ab, dann erhalten wir unter Verwendung vonV m = (v1 . . . vm) ∈ Rn×m mit
Hm := V TmAV m ∈ Rm×m
eine obere Hessenbergmatrix, für die
(Hm)ij =
{hij aus dem Arnoldi-Algorithmus für i ≤ j + 1,0 für i > j + 1
gilt.Andreas Meister (Universität Kassel) Begleitmaterial Numerik 29 / 59
Krylov-Unterraum-Verfahren
Satz 2.20: (Buch – Satz 4.68)Vorausgesetzt, der Arnoldi-Algorithmus bricht nicht vor derBerechnung von vm+1 ab, dann gilt
AV m = V m+1Hm,
wobei Hm ∈ R(m+1)×m durch
Hm =
(Hm
0 . . . 0 hm+1,m
)gegeben ist.
Andreas Meister (Universität Kassel) Begleitmaterial Numerik 30 / 59
Krylov-Unterraum-Verfahren
FOM (Buch – Seite 138)
Andreas Meister (Universität Kassel) Begleitmaterial Numerik 31 / 59
Krylov-Unterraum-Verfahren
Restarted FOM (Buch – Seite 139)
Andreas Meister (Universität Kassel) Begleitmaterial Numerik 32 / 59
Krylov-Unterraum-Verfahren
Lemma 2.23: (Buch – Lemma 4.75)Es sei vorausgesetzt, dass der Arnoldi-Algorithmus nicht vor der Berechnungvon vm+1 abbricht und die Matrizen Gi+1,i ∈ R(m+1)×(m+1) für i = 1, . . . ,mdurch
Gi+1,i :=
1. . .
1ci si−si ci
1. . .
1
gegeben sind, wobei ci und si gemäß
ci :=a√
a2 + b2und si :=
b√a2 + b2
Andreas Meister (Universität Kassel) Begleitmaterial Numerik 33 / 59
Krylov-Unterraum-Verfahren
Lemma 2.23: (Buch – Lemma 4.75)mit
a :=(Gi,i−1 · . . . ·G3,2 ·G2,1Hm
)i,i
undb :=
(Gi,i−1 · . . . ·G3,2 ·G2,1Hm
)i+1,i
definiert sind. Dann stellt Qm := Gm+1,m · . . . ·G2,1 eine orthogonaleMatrix dar, für die QmHm = Rm mit
Rm =
r11 . . . . . . r1m
0. . .
......
. . . . . ....
.... . . rmm
0 . . . . . . 0
=:
(Rm
0 . . . 0
)∈ R(m+1)×m
gilt und Rm regulär ist.
Andreas Meister (Universität Kassel) Begleitmaterial Numerik 34 / 59
Krylov-Unterraum-Verfahren
GMRES (Buch – Seite 156)
Andreas Meister (Universität Kassel) Begleitmaterial Numerik 35 / 59
Krylov-Unterraum-Verfahren
Satz 2.24: (Buch – Satz 4.76)Seien A ∈ Rn×n eine reguläre Matrix sowie hj+1,j und w j durch denArnoldi-Algorithmus gegeben und gelte j < n. Dann sind die folgendenAussagen äquivalent:
1 Für die Folge der Krylov-Unterräume gilt
K1 ⊂ K2 ⊂ . . . ⊂ Kj = Kj+1 = . . . .
2 Das GMRES-Verfahren liefert im j-ten Schritt die exakte Lösung.3 w j = 0 ∈ Rn.4 hj+1,j = 0.
Andreas Meister (Universität Kassel) Begleitmaterial Numerik 36 / 59
Krylov-Unterraum-Verfahren
Restarted GMRES (Buch – Seite 160)
Andreas Meister (Universität Kassel) Begleitmaterial Numerik 37 / 59
Krylov-Unterraum-Verfahren
Satz 2.25: (Buch – Satz 4.77)Sei A ∈ Rn×n positiv definit und rm der im GMRES-Verfahren ermitteltem-te Residuenvektor, dann konvergiert das GMRES-Verfahren, und esgilt
‖rm‖2 ≤
1−λ2
min
(AT +A
2
)λmax
(AT A
)
m2
‖r0‖2.
Korollar 2.26: (Buch – Korollar 4.78)Sei A ∈ Rn×n positiv definit und symmetrisch. Zudem sei rm der imGMRES-Verfahren ermittelte m-te Residuenvektor, dann konvergiertdas GMRES-Verfahren und es gilt
‖rm‖2 ≤
(cond2
2(A)− 1cond2
2(A)
)m2
‖r0‖2.
Andreas Meister (Universität Kassel) Begleitmaterial Numerik 38 / 59
Krylov-Unterraum-Verfahren
Satz 2.27: (Buch – Satz 4.79)Sei A ∈ Rn×n positiv definit, dann konvergiert dasGMRES(m)-Verfahren für m ≥ 1.
Satz 2.28: (Buch – Satz 4.80)Sei A ∈ Rn×n regulär und symmetrisch, dann konvergiert dasGMRES(m)-Verfahren für m ≥ 2.
Andreas Meister (Universität Kassel) Begleitmaterial Numerik 39 / 59
Krylov-Unterraum-Verfahren
Lanczos-Algorithmus (Buch – Seite 141)
Andreas Meister (Universität Kassel) Begleitmaterial Numerik 40 / 59
Krylov-Unterraum-Verfahren
D-Lanczos-Verfahren (Buch – Seite 143)
Andreas Meister (Universität Kassel) Begleitmaterial Numerik 41 / 59
Krylov-Unterraum-Verfahren
Definition 2.29: (Buch – Definition 4.69)Seien v1, . . . ,vm,w1, . . . ,wm ∈ Rn, dann heißen die beiden Mengen{v1, . . . ,vm} und {w1, . . . ,wm} bi-orthogonal, wenn(
v i ,w j)
2 = δijcij mit cij ∈ R\{0} für i , j = 1, . . . ,m
gilt. Im Fall cii = 1 für i = 1, . . . ,m heißen die Mengen bi-orthonormal.
Lemma 2.30: (Buch – Lemma 4.70)Seien die Mengen {v1, . . . ,vm} und {w1, . . . ,wm} bi-orthogonal, danngilt
dim span {v1, . . . ,vm} = m = dim span {w1, . . . ,wm}
Andreas Meister (Universität Kassel) Begleitmaterial Numerik 42 / 59
Krylov-Unterraum-Verfahren
Bi-Lanczos-Algorithmus (Buch – Seite 145)
Andreas Meister (Universität Kassel) Begleitmaterial Numerik 43 / 59
Krylov-Unterraum-Verfahren
Satz 2.31: (Buch – Satz 4.71)Vorausgesetzt, der Bi-Lanczos-Algorithmus bricht nicht vor derBerechnung von wm 6= 0 ab, dann stellen Vj =
{v1, . . . ,v j
}und
Wj ={
w1, . . . ,w j}
eine Basis des Krylov-Unterraums Kjbeziehungsweise K T
j für j = 1, . . . ,m dar. Zudem erfüllen dieBasisvektoren die Bi-Orthogonalitätsbedingung mit cii = 1 füri = 1, . . . ,m.
Andreas Meister (Universität Kassel) Begleitmaterial Numerik 44 / 59
Krylov-Unterraum-Verfahren
Satz 2.32: (Buch – Satz 4.72)Vorausgesetzt, der Bi-Lanczos-Algorithmus bricht nicht vor derBerechnung von wm 6= 0 ab, dann seien V m = (v1 . . . vm) ∈ Rn×m undW m = (w1 . . .wm) ∈ Rn×m die aus den ermittelten Basisvektoren desKm und K T
m gebildeten Matrizen. Desweiteren seien hij die imAlgorithmus auftretenden skalaren Größen, dann gelten dieGleichungen
T m = W TmAV m
AV m = V mT m + hm+1,mvm+1eTm
AT W m = W mT Tm + hm,m+1wm+1eT
m
mit em = (0, . . . ,0,1)T ∈ Rm sowie der durch
(T m)ij :=
{hij für j − 1 ≤ i ≤ j + 1,0 sonst
gegebenen Tridiagonalmatrix T m ∈ Rm×m und die Matrizen V m undW m besitzen maximalen Rang.Andreas Meister (Universität Kassel) Begleitmaterial Numerik 45 / 59
Krylov-Unterraum-Verfahren
Satz 2.33: (Buch – Satz 4.81)Vorausgesetzt, der Bi-Lanczos-Algorithmus bricht nicht vor derBerechnung von vm 6= 0 ab, und die in Satz 2.32 definierteTridiagonalmatrix T m ist regulär, dann stellt
xm = x0 + V mT−1m (‖r0‖2e1) ∈ x0 + Km
mit e1 = (1,0, . . . ,0)T ∈ Rm die eindeutig bestimmte Lösung der aufder Petrov-Galerkin-Bedingung
b − Axm ⊥ K Tm
basierenden Krylov-Unterraum-Methode dar.
Andreas Meister (Universität Kassel) Begleitmaterial Numerik 46 / 59
Krylov-Unterraum-Verfahren
BiCG-Verfahren (Buch – Seite 168)
Andreas Meister (Universität Kassel) Begleitmaterial Numerik 47 / 59
Krylov-Unterraum-Verfahren
Lemma 2.34: (Buch – Lemma 4.82)Vorausgesetzt, der BiCG-Algorithmus bricht nicht vor der Berechnungvon p∗m ab, dann gilt für j = 0, . . . ,m
r j =
j+1∑i=1
γiv i , r∗j =
j+1∑i=1
γ∗i w i ,
pj =
j+1∑i=1
λiv i , p∗j =
j+1∑i=1
λ∗i w i
mit γj+1, γ∗j+1, λj+1, λ
∗j+1 6= 0 und den aus dem Bi-Lanczos-Algorithmus
resultierenden bi-orthonormalen Vektoren v1, . . . ,v j+1 undw1, . . . ,w j+1.
Andreas Meister (Universität Kassel) Begleitmaterial Numerik 48 / 59
Krylov-Unterraum-Verfahren
Lemma 2.35: (Buch – Lemma 4.83)Vorausgesetzt, der BiCG-Algorithmus bricht nicht vor der Berechnungvon p∗m+1 ab, dann gilt(
r j , r∗i)
2 = 0 für i 6= j ≤ m + 1,(Apj ,p
∗i)
2 = 0 für i 6= j ≤ m + 1.
Satz 2.36: (Buch – Satz 4.84)Unter der Voraussetzung, daß der BiCG-Algorithmus nicht vor derBerechnung von r∗m abbricht, stellt xm die Lösung des Problems
b − Ax ⊥ K Tm
mit x ∈ x0 + Km dar.
Andreas Meister (Universität Kassel) Begleitmaterial Numerik 49 / 59
Krylov-Unterraum-Verfahren
CGS-Verfahren (Buch – Seite 174)
Andreas Meister (Universität Kassel) Begleitmaterial Numerik 50 / 59
Krylov-Unterraum-Verfahren
BiCGSTAB-Verfahren (Buch – Seite 178)
Andreas Meister (Universität Kassel) Begleitmaterial Numerik 51 / 59
Krylov-Unterraum-Verfahren
Konvergenzverläufe (Buch – Seite 193)
Andreas Meister (Universität Kassel) Begleitmaterial Numerik 52 / 59
Präkonditionierung
Definition 3.2: (Buch – Definition 5.9)Sei durch x j+1 = Mx j + Nb eine Splitting-Methode zur Lösung vonAx = b mit einer regulären Matrix N gegeben, dann heißt P = N derzur Splitting-Methode assoziierte Präkonditionierer.
Splitting-Methode Assoziierter Präkonditionierer
Jacobi-Verfahren PJac = D−1
Gauß-Seidel-Verf. PGS = (D + L)−1
SOR-Verfahren PGS(ω) = ω (D + ωL)−1
Symm. G.-S.-Verf. PSGS = (D + R)−1 D (D + L)−1
SSOR-Verfahren PSGS(ω) = ω(2− ω) (D + ωR)−1 D (D + ωL)−1
Andreas Meister (Universität Kassel) Begleitmaterial Numerik 53 / 59
Präkonditionierung
Definition 3.3: (Buch – Definition 5.10)Jede Menge
M⊂ {(i , j) | i , j ∈ {1, . . . ,n}}
heißt Matrixmuster im Raum Rn×n. Zu gegebenem MatrixmusterMheißt
MS(j) := {i | (i , j) ∈M}
das zuM gehörige j-te Spaltenmuster und
MZ(j) := {i | (j , i) ∈M}
das zuM gehörige j-te Zeilenmuster. Zu gegebener Matrix A ∈ Rn×n
bezeichnetMA :=
{(i , j) | aij 6= 0
}die Besetzungsstruktur von A.
Andreas Meister (Universität Kassel) Begleitmaterial Numerik 54 / 59
Präkonditionierung
Definition 3.4: (Buch – Definition 5.11)Sei A ∈ Rn×n. Die Zerlegung
A = LU + F (∗)
existiere unter den Bedingungen1 uii = 1 für i = 1, . . . ,n,2 `ij = uij = 0, falls (i , j) 6∈ MA,3 (LU)ij = aij , falls (i , j) ∈MA,
und es seien L = (`ij)i,j=1,...,n und U = (uij)i,j=1,...,n eine reguläre linkeuntere beziehungsweise rechte obere Dreiecksmatrix, dann heißt (∗)unvollständige LU-Zerlegung (incomplete LU, ILU) der Matrix A zumMusterMA.
Andreas Meister (Universität Kassel) Begleitmaterial Numerik 55 / 59
Präkonditionierung
Unvollständige LU-Zerlegung (Buch – Seite 210)
Andreas Meister (Universität Kassel) Begleitmaterial Numerik 56 / 59
Präkonditionierung
Definition 3.5: (Buch – Definition 5.12)Es sei
A = LU + F
eine unvollständige LU-Zerlegung der Matrix A, dann ist
P := U−1L−1
der zugehörige ILU-Präkonditionierer.
Andreas Meister (Universität Kassel) Begleitmaterial Numerik 57 / 59
Präkonditionierung
Definition 3.6: (Buch – Definition 5.13)Sei A ∈ Rn×n symmetrisch und positiv definit. Die Zerlegung
A = LLT + F (∗)
existiere unter den Bedingungen1 `ij = 0, falls (i , j) 6∈ MA,2 (LLT )ij = aij , falls (i , j) ∈MA,
und es sei L = (`ij)i,j=1,...,n eine reguläre linke untere Dreiecksmatrix,dann heißt (∗) unvollständige Cholesky-Zerlegung (incompleteCholesky, IC) der Matrix A zum MusterMA.
Andreas Meister (Universität Kassel) Begleitmaterial Numerik 58 / 59