nm - math.tu-dresden.de · 1.3.1 berechnung von r uckkehrpunkten g. p onisch and h. schwetlick :...

35
Hubert Schwetlicks Beitr¨ age zur Numerik Helmut Kleinmichel email: [email protected] Technische Universit¨ at Dresden Institut f¨ ur Numerische Mathematik NM

Upload: others

Post on 29-Oct-2019

2 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: NM - math.tu-dresden.de · 1.3.1 Berechnung von R uckkehrpunkten G. P onisch and H. Schwetlick : Computing turning points of curves implicitly de ned by nonlinear equations depending

Hubert Schwetlicks Beitrage zur Numerik

Helmut Kleinmichel

email: [email protected]

Technische Universitat DresdenInstitut fur Numerische Mathematik

NM15. Februar 2002

Ehrenkolloquium aus Anlass des 60. Geburtstages von Hubert Schwetlick

Page 2: NM - math.tu-dresden.de · 1.3.1 Berechnung von R uckkehrpunkten G. P onisch and H. Schwetlick : Computing turning points of curves implicitly de ned by nonlinear equations depending

Der Student H. Schwetlick ( Oktober 1961 )

NMEhrenkolloquium aus Anlass des 60. Geburtstages von Hubert Schwetlick 1

Page 3: NM - math.tu-dresden.de · 1.3.1 Berechnung von R uckkehrpunkten G. P onisch and H. Schwetlick : Computing turning points of curves implicitly de ned by nonlinear equations depending

Graduierungsarbeiten

1960 – 1965: Studium der Mathematik an der TH / TU Dresden

1965: Diplomarbeit:

Zur Theorie und Anwendung der Halbordnung in der Nu-merischen Mathematik.

1967: Dissertation:

Spektraleigenschaften linearer positiver Operatoren und Feh-lerabschatzungen bei Operatorgleichungen.

TU Dresden

1976: Habilitation:

Uber die numerische Losung nichtlinearer Probleme.

TU Dresden

NMEhrenkolloquium aus Anlass des 60. Geburtstages von Hubert Schwetlick 2

Page 4: NM - math.tu-dresden.de · 1.3.1 Berechnung von R uckkehrpunkten G. P onisch and H. Schwetlick : Computing turning points of curves implicitly de ned by nonlinear equations depending

Wissenschaftliche Arbeiten (Ubersicht)

4 Mathematische Lehrbucher bzw. Monographien

46 Publikationen in mathematischen Journalen

16 Preprints

11 Beitrage zu wissenschaftlichen Konferenzen (Vortragsauszuge)

6 Beitrage zur Entwicklung von Software (Programmpakete)

7 Allgemeine Artikel (wissenschaftliche Ehrungen, Nachrufe, u.a.)

NMEhrenkolloquium aus Anlass des 60. Geburtstages von Hubert Schwetlick 3

Page 5: NM - math.tu-dresden.de · 1.3.1 Berechnung von R uckkehrpunkten G. P onisch and H. Schwetlick : Computing turning points of curves implicitly de ned by nonlinear equations depending

Lehrbucher und Monographien

• H. Schwetlick: Numerische Losung nichtlinearer Gleichungen. Mathema-tik fur Naturwissenschaft und Technik 17. 346 Seiten, Deut. Verlag d.Wiss., Berlin, 1979. Auch: R. Oldenbourg Verlag, Munchen-Wien, 1979.

• A. Kie lbasinski und H. Schwetlick: Numerische lineare Algebra. Einecomputerorientierte Einfuhrung. Mathematik fur Naturwissenschaft undTechnik 18. 472 Seiten, Deut. Verlag d. Wiss., Berlin, 1988. Auch: HarriDeutsch Verlag, Thun-Frankfurt, 1988.Polnische Ubersetzung: Numeryczna algebra liniowa. Wprowadzeniedo obliczen zautomatyzowanych. 502 Seiten, Wydawnictwa Naukowo-Techniczne, Warszawa, 1992.

• H. Schwetlick und H. Kretzschmar: Numerische Verfahren fur Naturwis-senschaftler und Ingenieure. Eine computerorientierte Einfuhrung. Ma-thematik fur Ingenieure. 376 Seiten, Fachbuchverlag, Leipzig, 1991.

• H.-G. Roos und H. Schwetlick: Numerische Mathematik. Das Grundwis-sen fur jedermann. Mathematik fur Ingenieure und Naturwissenschaftler.220 Seiten, Teubner, Stuttgart/Leipzig, 1999.

NMEhrenkolloquium aus Anlass des 60. Geburtstages von Hubert Schwetlick 4

Page 6: NM - math.tu-dresden.de · 1.3.1 Berechnung von R uckkehrpunkten G. P onisch and H. Schwetlick : Computing turning points of curves implicitly de ned by nonlinear equations depending

Forschungsgebiete

• Numerische Verfahren fur nichtlineare Gleichungen(Newton-Typ-Verfahren fur regulare Losungen, Blockstrukturen, Ein-bettungsverfahren, Kurvenverfolgungsalgorithmen, Berechnung von sin-gularen Punkten, insbesondere von Ruckkehrpunkten)

• Numerische Verfahren fur Minimierungs- und Quadratmittelprobleme(Abstiegsverfahren, Trust Region Verfahren, Gauß-Newton-Verfahren)

• Nichtlineare Parameterschatzung(Modelle, Schatzkriterien, Numerische Algorithmen)

• Spline-Glattung(Splines mit freien Knoten)

• Eigenwert- und Singularwertberechnung(Verallgemeinerte Rayleigh-Quotienten- und Inverse Iteration)

NMEhrenkolloquium aus Anlass des 60. Geburtstages von Hubert Schwetlick 5

Page 7: NM - math.tu-dresden.de · 1.3.1 Berechnung von R uckkehrpunkten G. P onisch and H. Schwetlick : Computing turning points of curves implicitly de ned by nonlinear equations depending

1. Nichtlineare Gleichungen

1.1 Newton-Typ-Verfahren fur regulare Losungen

F (x) = 0 , F : Rn→ Rn

• J. W. Schmidt und H. Schwetlick: Ableitungsfreie Verfahren mit hoherer Konvergenz-

geschwindigkeit. Computing, 3:215–226, 1968.

• H. Schwetlick: Asymptotische Einschließungen beim Newton-Verfahren. Z. Angew.

Math. Mech., 50:426–427, 1970.

• H. Schwetlick: Algorithmus 12: Ein ableitungsfreies Verfahren zur Losung endlichdi-

mensionaler nichtlinearer Gleichungssysteme. Computing, 5:82–88, 1970.

• H. Schwetlick: Uber die Realisierung und Konvergenz von Mehrschrittverfahren zur

iterativen Losung nichtlinearer Gleichungen. Z. Angew. Math. Mech., 54:479–493,

1974.

• H. Schwetlick: Uber n2-Schritt-Verfahren zur Losung nichtlinearer Gleichungen. Z.

Angew. Math. Mech., 54:822–825, 1974.

NMEhrenkolloquium aus Anlass des 60. Geburtstages von Hubert Schwetlick 6

Page 8: NM - math.tu-dresden.de · 1.3.1 Berechnung von R uckkehrpunkten G. P onisch and H. Schwetlick : Computing turning points of curves implicitly de ned by nonlinear equations depending

1.2 Blockstrukturen

• A. Hoy and H. Schwetlick: Modified matrix factorizations for solvingsystems of nonlinear equations. Z. Angew. Math. Mech., 66:257–264,1986.

• H. Schwetlick, G. Timmermann, and R. Losche: Path following for lar-ge nonlinear equations by implicit block elimination based on recursiveprojections. In J. Renegar, M. Shub, and S. Smale, editors, The Mathe-matics of Numerical Analysis. Proc. AMS-SIAM Summer Seminar ParkCity/Utah 1996, volume 32 of Lectures in Applied Mathematics, pages715–732. American Mathematical Society, Providence, RI, 1996.

NMEhrenkolloquium aus Anlass des 60. Geburtstages von Hubert Schwetlick 7

Page 9: NM - math.tu-dresden.de · 1.3.1 Berechnung von R uckkehrpunkten G. P onisch and H. Schwetlick : Computing turning points of curves implicitly de ned by nonlinear equations depending

1.3 Parameterabhangige nichtlineare Gleichungen

F(x, p) = 0 , F: Rn×R`→ Rn `=1−−−−→ F(x, t) = 0

x

t

(x0; t0)

(x�; t�)

L

L = {(x, t) : x = x(t)} ,

∂1F (x, t) regular

x

t

R1(�x1; �t1)

R2(�x2; �t2)

L

R1, R2 : Ruckkehrpunkte,

∂1F (x, t) singular und

rang(∂1F (x, t)|∂2F (x, t)) = n

H. Schwetlick: Zur numerischen Behandlung nichtlinearer parameterabhangiger Gleichun-

gen. Nova acta Leopoldina, Neue Folge 61, Nr. 267:107–136, 1989.

Ehrenkolloquium aus Anlass des 60. Geburtstages von Hubert Schwetlick 8

Page 10: NM - math.tu-dresden.de · 1.3.1 Berechnung von R uckkehrpunkten G. P onisch and H. Schwetlick : Computing turning points of curves implicitly de ned by nonlinear equations depending

1.3.1 Berechnung von Ruckkehrpunkten

• G. Ponisch and H. Schwetlick: Computing turning points of curves implicitly defined by

nonlinear equations depending on a parameter. Computing, 26:107–121, 1981.

• G. Ponisch und H. Schwetlick: Ein lokal uberlinear konvergentes Verfahren zur Bestim-

mung von Ruckkehrpunkten implizit definierter Raumkurven. Numer. Math., 38:455–

466, 1982.

• H. Schwetlick: Effective methods for computing turning points of curves implicitly

defined by nonlinear equations. In A. Wakulicz, editor, Computational Mathematics,

volume 13 of Banach Center Publications, pages 623–645. Warsaw, 1984.

• H. Schwetlick: Algorithms for finite-dimensional turning point problems from viewpoint

to relationships with constrained optimization methods. In: Numerical Methods for

Bifurcation Problems, volume 70 of ISNM, pages 459–479. Birkhauser, Basel, 1984.

• G. Ponisch, U. Schnabel, H. Schwetlick: Computing multiple turning points by using

simple extended systems and computational differentiation. OMS, 10:639–668, 1999.

F (x, t) = 0 , F : Rn × R→ Rn

u := (x, t), H(u) = F(x, t) , H : Rn+1 → Rn

Ruckkehrpunkt u ist Losung des unterbestimmten Systems H(u) = 0.Charakterisierung von u durch eine zusatzliche skalare Bedingung.

Ehrenkolloquium aus Anlass des 60. Geburtstages von Hubert Schwetlick 9

Page 11: NM - math.tu-dresden.de · 1.3.1 Berechnung von R uckkehrpunkten G. P onisch and H. Schwetlick : Computing turning points of curves implicitly de ned by nonlinear equations depending

Parametrisierung der Losungskurve

Voraussetzungen:

H(u) = 0, rang(H ′(u)) = n,

H ′(u)v = 0, ‖v‖ = 1, eTn+1v = 0

eTn+1

(

H ′(u)vT

)−1(H ′′(u)vv

0

)

6= 0

Seien uk ≈ u, r ∈ Rn+1, ‖r‖ = 1,

vk ≈ v : H ′(uk)vk = 0 ,

rTvk = 1

r

ru

vv(uk, r)

uk

{u : H(u) = 0}{u : H(u) = H(uk)}

Definition:

B(u, r) :=

(

H ′(u)rT

)

, v(u, r) := B(u, r)−1en+1

NMEhrenkolloquium aus Anlass des 60. Geburtstages von Hubert Schwetlick 10

Page 12: NM - math.tu-dresden.de · 1.3.1 Berechnung von R uckkehrpunkten G. P onisch and H. Schwetlick : Computing turning points of curves implicitly de ned by nonlinear equations depending

Fur den Ruckkehrpunkt u gilt:

B(u, r)v :=

(

0rTv

)

, B(u, r)v(u, r) = en+1 ⇒ v(u, r) =v

rTv(i)

eTn+1v = 0 =⇒ eT

n+1v(u, r) =eTn+1v

rTv= 0(ii)

Charakterisierung des Ruckkehrpunktes u als Losung der skalaren Gleichung

ϕ(u, r) := eTn+1v(u, r) = eT

n+1B(u, r)−1en+1 = 0 .

Ein Ruckkehrpunkt u ist also eine Losung des erweiterten Systems

[

H(u)ϕ(u, r)

]

= 0 .

NMEhrenkolloquium aus Anlass des 60. Geburtstages von Hubert Schwetlick 11

Page 13: NM - math.tu-dresden.de · 1.3.1 Berechnung von R uckkehrpunkten G. P onisch and H. Schwetlick : Computing turning points of curves implicitly de ned by nonlinear equations depending

Losung von[

H(u)ϕ(u, r)

]

= 0 .

mittels Newton-Verfahrens:

H(uk) +H ′(uk)(uk+1 − uk) = 0

ϕ(uk, rk) + ∂1ϕ(uk, rk)(uk+1 − uk) = 0

Diskretisierung der Richtungsableitungen H ′′(u)pv in ∂1ϕ(u, r)p gemaß:

H ′′(u)pv≈ 1λ2[H(u+λp)−H(u+λp−λv)+H(u−λv)−H(u)]

Unter geeigneten Voraussetzungen (insbesondere an die Diskretisierungspa-rameter λ) ist das Verfahren lokal Q-uberlinear (Q-quadratisch) konvergent.

NMEhrenkolloquium aus Anlass des 60. Geburtstages von Hubert Schwetlick 12

Page 14: NM - math.tu-dresden.de · 1.3.1 Berechnung von R uckkehrpunkten G. P onisch and H. Schwetlick : Computing turning points of curves implicitly de ned by nonlinear equations depending

1.3.2 Berechnung weiterer singularer Punkte

• R. Menzel und H. Schwetlick: Zur Losung parameterabhangiger nicht-linearer Gleichungen mit singularen Jacobi-Matrizen. Numer. Math.,30:65–79, 1978.

• A. Hoy and H. Schwetlick: Some superlinearly convergent methods forsolving singular nonlinear equations. In E. L. Allgower and K. Georg,editors, Computational Solution of Nonlinear Systems of Equations.Proc. SIAM-AMS Summer Seminar Ft. Collins/CO 1988, volume 26 ofLectures in Applied Mathematics, pages 285–300, 1990.

• S. Schleiff and H. Schwetlick: Characterization and computation of perioddoubling points by minimally extended systems. OMS, 8:1–24, 1997.

• G. Ponisch, U. Schnabel, and H. Schwetlick: Computing multiple pitch-fork bifurcation points. Computing, 59:209–222, 1997.

• E. L. Allgower and H. Schwetlick: A general view of minimally extendedsystems for simple bifurcation points. Z. Angew. Math. Mech., 77:83–97,1997.

NMEhrenkolloquium aus Anlass des 60. Geburtstages von Hubert Schwetlick 13

Page 15: NM - math.tu-dresden.de · 1.3.1 Berechnung von R uckkehrpunkten G. P onisch and H. Schwetlick : Computing turning points of curves implicitly de ned by nonlinear equations depending

1.3.3 Kurvenverfolgungsalgorithmen

• H. Schwetlick: On the choice of steplength in path following methods.Z. Angew. Math. Mech., 64:391–396, 1984.

• R. Menzel and H. Schwetlick: Parametrization via secant length andapplication to path following. Numer. Math., 47:401–412, 1985.

• H. Schwetlick and J. Cleve: Higher order predictors and adaptive stepsizecontrol in path following algorithms. SIAM J. Numer. Anal., 24:1382–1393, 1987.

NMEhrenkolloquium aus Anlass des 60. Geburtstages von Hubert Schwetlick 14

Page 16: NM - math.tu-dresden.de · 1.3.1 Berechnung von R uckkehrpunkten G. P onisch and H. Schwetlick : Computing turning points of curves implicitly de ned by nonlinear equations depending

1.3.4 Einbettungsverfahren

F (x) = 0 , F : Rn→ Rn

H(x, t) := F (x)− (1− t)F (x0) , x0 ∈ Rn

Regulare Einbettung: rang∂1H(x, t) = n ∀ (x, t) ∈ Rn × [0, 1]

=⇒ x(0) = x0, x(1) = x∗

Fortsetzungsverfahren: 0 = t0 < t1 < · · · < t` = 1

Naherungen: xk ≈ x(tk) fur x∗

• H. Schwetlick: Ein neues Prinzip zur Konstruktion implementierbarer, global konver-

genter Einbettungsalgorithmen. Beitrage Numer. Math., 4:215–228, 1975.

• H. Schwetlick: Ein neues Prinzip zur Konstruktion implementierbarer, global konvergen-

ter Einbettungsalgorithmen (Testbeispiele). Beitrage Numer. Math., 5:201–206, 1976.

• R. Menzel und H. Schwetlick: Uber einen Ordnungsbegriff bei Einbettungsalgorithmen

zur Losung nichtlinearer Gleichungen. Computing, 16:187–199, 1976.

NMEhrenkolloquium aus Anlass des 60. Geburtstages von Hubert Schwetlick 15

Page 17: NM - math.tu-dresden.de · 1.3.1 Berechnung von R uckkehrpunkten G. P onisch and H. Schwetlick : Computing turning points of curves implicitly de ned by nonlinear equations depending

2. Minimierungs- und Quadratmittelprobleme

(a) min{f(x) : x ∈ Rn}, f : Rn→ R

(b) min{12‖F (x)‖2

2 : x ∈ Rn}, F : Rn→ Rm, n ≤ m,

also speziell f(x) = 12‖F (x)‖2

2 = 12F (x)TF (x) = 1

2

m∑

i=1[fi(x)]2

(z. B. Losung eines uberbestimmten nichtlinearen Gleichungssystems)

NMEhrenkolloquium aus Anlass des 60. Geburtstages von Hubert Schwetlick 16

Page 18: NM - math.tu-dresden.de · 1.3.1 Berechnung von R uckkehrpunkten G. P onisch and H. Schwetlick : Computing turning points of curves implicitly de ned by nonlinear equations depending

2.1 Abstiegsverfahren

xk+1 := xk + αk dk,

dk Abstiegsrichtung: (gk)Tdk < 0, gk := ∇f(xk),

αk Schrittweite, z. B. nach Goldstein-Armijo:

f(xk + αk dk) ≤ f(xk) + αk δ (gk)Tdk, δ ∈ (0, 1)

• S. Dietze und H. Schwetlick: Uber die Schrittweitenwahl bei Abstiegsverfahren zur

Minimierung konvexer Funktionen. Z. Angew. Math. Mech., 51:451–454, 1971.

• H. Schwetlick: Zur Minimierung von Funktionen mehrerer Veranderlicher mittels ab-

leitungsfreier Verfahren vom Newton-Typ. Zh. Vychisl. Mat. i Mat. Fiz., 14:278–291,

1974. English translation: Minimization of functions of several variables by derivative-

free methods of Newton type, U.S.S.R. Comput. Math. and Math. Phys. 14 (1974),

No. 2, 3–16 (1975).

• H. Schwetlick: Minimizing nonlinear functions by descent methods. In J. Rosenfeld, edi-

tor, Information Processing 1974. Proceedings of the IFIP Congress 1974 at Stockholm,

pages 562–568. North-Holland, Amsterdam, 1974.

NMEhrenkolloquium aus Anlass des 60. Geburtstages von Hubert Schwetlick 17

Page 19: NM - math.tu-dresden.de · 1.3.1 Berechnung von R uckkehrpunkten G. P onisch and H. Schwetlick : Computing turning points of curves implicitly de ned by nonlinear equations depending

2.2 Trust Region Verfahren

• H. Schwetlick and V. Tiller: Nonstandard scaling matrices for trust region Gauss-Newton

methods. SIAM J. Sci. Statist. Comput., 10:654–670, 1989.

• H. Schwetlick: Nonstandard scaling matrices in trust region methods. In E. L. Allgower

and K. Georg, editors, Computational Solution of Nonlinear Systems of Equations.

Proc. SIAM-AMS Summer Seminar Ft. Collins/CO 1988, volume 26 of Lectures in

Applied Mathematics, pages 587–604, 1990.

min{f(x) : x ∈ Rn}, f : Rn→ R

g := ∇f(x), B ≈ ∇2f(x), B = BT ∈ Rn×n

=⇒ m(d) := f(x) + gTd+ 12 d

TB d

Neue Naherung x+ := x+ d+, wobei d+ Losung von

min{m(d) : ‖Dd‖2 ≤ r}

mit D ∈ Rn×n nichtsingulare Skalierungsmatrix,r ∈ R Trust Region Radius

NMEhrenkolloquium aus Anlass des 60. Geburtstages von Hubert Schwetlick 18

Page 20: NM - math.tu-dresden.de · 1.3.1 Berechnung von R uckkehrpunkten G. P onisch and H. Schwetlick : Computing turning points of curves implicitly de ned by nonlinear equations depending

Akzeptanzbedingung fur eine Losung d+ von min{m(d) : ‖Dd‖2 ≤ r} :

f(x+ d+)− f(x) ≤ δ [m(d+)−m(0)] < 0 , δ ∈ (0, 1)

(a) B positiv definit: d+ mit B d+ = −g akzeptiert, wenn

‖Dd+‖2 ≤ r und f(x+ d+)− f(x) ≤ −δ

2(d+)TB d+ .

(b) B nicht positiv definit:

1) Wahle λ mit B + λDTD positiv definit.

2) d+ mit[

B + λDTD]

d+ = −g akzeptiert, wenn ‖Dd+‖2 = r,

f(x+ d+)− f(x) ≤ −δ

2

(

(d+)T[

B + λDTD]

d+ + λ r2) .

Probleme: Numerischer Aufwand, Wahl von λ, Wahl von D

Skalierungsmatrix D:

• Standard: D = diag (d1, . . . , dn) , di > 0

• Nichtstandard:→ unvollstandige Cholesky Faktorisierung von B

NMEhrenkolloquium aus Anlass des 60. Geburtstages von Hubert Schwetlick 19

Page 21: NM - math.tu-dresden.de · 1.3.1 Berechnung von R uckkehrpunkten G. P onisch and H. Schwetlick : Computing turning points of curves implicitly de ned by nonlinear equations depending

2.3 Gauß-Newton-Verfahren

• H. Schwetlick: Zur Konvergenz regularisierter Gauß-Newton-Verfahren.Zh. Vychisl. Mat. i Mat. Fiz., 13:1371–1382, 1973. English translation:Convergence of a regularized Gauss-Newton method, U.S.S.R. Comput.Math. and Math. Phys. 13 (1973), No. 6, 1–15 ( 1975).

• G.-P. Ehle and H. Schwetlick: Rapidly convergent methods for minimizinga sum of squares. Beitrage Numer. Math., 6:49–59, 1977.

min{f(x) : x ∈ R}

f(x) = 12 F (x)TF (x) , F : Rn→ Rm, n ≤ m

∇f(x) = F ′(x)TF (x)

∇2f(x) = F ′(x)TF ′(x) + F ′′(x)◦F (x)

=m∑

j=1

[

∇fj(x)∇fj(x)T +∇2fj(x)fj(x)]

NMEhrenkolloquium aus Anlass des 60. Geburtstages von Hubert Schwetlick 20

Page 22: NM - math.tu-dresden.de · 1.3.1 Berechnung von R uckkehrpunkten G. P onisch and H. Schwetlick : Computing turning points of curves implicitly de ned by nonlinear equations depending

Gauß-Newton-Verfahren [ rang(F ′(xk)) = n ]:

xk+1 := xk − [F ′(xk)TF ′(xk)]−1F ′(xk)TF (xk)

Regularisiertes Gauß-Newton-Verfahren [ rang(F ′(xk)) < n ]:

xk+1 := xk − [%kI + F ′(xk)TF ′(xk)]−1F ′(xk)TF (xk) , %k > 0

Transformation: % =1− λλ

, λ ∈ (0, 1)

xk+1 := xk − λk[(1− λk)I + λkF′(xk)TF ′(xk)]−1F ′(xk)TF (xk)

NMEhrenkolloquium aus Anlass des 60. Geburtstages von Hubert Schwetlick 21

Page 23: NM - math.tu-dresden.de · 1.3.1 Berechnung von R uckkehrpunkten G. P onisch and H. Schwetlick : Computing turning points of curves implicitly de ned by nonlinear equations depending

Schritt k des regularisierten Gauß-Newton-Verfahrens:

xk+1 := xk + λk d(λk, xk)

mit der Abstiegsrichtung d = d(λk, xk) als Losung von

[

(1− λk)I + λk F′(xk)TF (xk)

]

d = −F ′(xk)TF (xk)(

= −∇f(xk))

und dem Parameter λk z. B. nach Goldstein-Armijo gemaß

f(xk + λk d(λk, xk)) ≤ f(xk) + λk δ∇f(xk)Td(λk, xk) ,

wobei

δ ∈ (0, 1/2) , µ ∈ (0, 1) , λk = λk µj , λk = min

{

1 ,λk−1

µ

}

.

Es gilt: a) limk→∞

∇f(xk) = 0

b) Falls limxk = x∗ und F (x∗) = 0 , rang (F ′(x∗)) = n ,

dann existiert ein Index k1 : λk = 1 fur k ≥ k1 und

{xk} konvergiert quadratisch gegen x∗.

NMEhrenkolloquium aus Anlass des 60. Geburtstages von Hubert Schwetlick 22

Page 24: NM - math.tu-dresden.de · 1.3.1 Berechnung von R uckkehrpunkten G. P onisch and H. Schwetlick : Computing turning points of curves implicitly de ned by nonlinear equations depending

3. Nichtlineare Parameterschatzung

Modellgleichung fur einen realen Prozess: f(u, c, t, p) = 0t : Zeitu : Vektor der Zustandsgroßenc : Vektor der Steuerungenp : Parametervektor, spezifisch fur den betrachteten Prozess

• A. Kirsten, H. Schwetlick, und G. Liebmann: Ein Regressionsmodell zur Beschreibung

von Sattigungskonzentrationen. Chemische Technik, 35:636–639, 1983.

• H. Schwetlick and V. Tiller: Numerical methods for estimating parameters in nonlinear

models with errors in the variables. Technometrics, 27:17–24, 1985.

• H. Schwetlick, W. Schellong, and V. Tiller: Gauss-Newton-like methods for nonlinear

least squares with equality constraints – local convergence and applications to parameter

estimation in implicit models. Statistics, 16:167–178, 1985.

• R. Wolke and H. Schwetlick: Iteratively reweighted least squares: Algorithms, conver-

gence, and numerical comparisons. SIAM J. Sci. Statist. Comput., 9:907–921, 1988.

• H. Schwetlick: Nichtlineare Parameterschatzung: Modelle, Schatzkriterien und numeri-

sche Algorithmen. Mitteil. der GAMM, 2/91:13–51, 1991.

• H. Schwetlick: Nonlinear parameter estimation: Models, criteria and algorithms. In:

Proceedings of the 14th Dundee Conference on Numerical Analysis, pages 164–193.

Longman Scientific & Technical, Harlow, Essex, 1992.

Ehrenkolloquium aus Anlass des 60. Geburtstages von Hubert Schwetlick 23

Page 25: NM - math.tu-dresden.de · 1.3.1 Berechnung von R uckkehrpunkten G. P onisch and H. Schwetlick : Computing turning points of curves implicitly de ned by nonlinear equations depending

Modellgleichung: f(z, p) = 0 (z :=(u, c, t) Vektor aller Prozessvariablen)

Zustandsmannigfaltigkeit: Sp := {z : f(z, p) = 0} fur festes p

Prozess-Simulation: Berechnung von Sp fur gegebenes p

(Voraussage moglicher Zustande bei bekanntem p)

Parameterschatzprobleme (Inverse Probleme):

Geg.: Naherungen zi fur die exakten Zustande z∗i zu unbekanntem p∗,

d. h. zi = z∗i + δzi mit f(z∗i, p∗) = 0 (i = 1, . . . ,m)

Ges.: Schatzungen p fur p∗ und zi fur z∗i sodass ‖zi − zi‖”klein“

und f(zi, p) = 0 (i = 1, . . . ,m)

Bezeichnungen:

Z :=

−(z1)T−···

−(zm)T−

, Z :=

−(z1)T−···

−(zm)T−

, G(Z, p) :=

f(z1, p)···

f(zm, p)

Ehrenkolloquium aus Anlass des 60. Geburtstages von Hubert Schwetlick 24

Page 26: NM - math.tu-dresden.de · 1.3.1 Berechnung von R uckkehrpunkten G. P onisch and H. Schwetlick : Computing turning points of curves implicitly de ned by nonlinear equations depending

min{ψ(Z) := 12‖Z − Z‖

2F : (Z, p) bei G(Z, p) = 0} (∗)

oder

min{ψ(p) := 12

m∑

i=1‖f(zi, p)‖2

2 : p}

Implizite Modelle: f(z, p) = 0 , dim z > dim f

Explizite Modelle: z=(x, y), dim y=dim f :f(z, p)=0⇔ y=r(x, p)

Wegen ‖zi − zi‖22 = ‖xi − xi‖2

2 + ‖yi − yi‖22 wird (∗) zu

min{ψ(x, p) : (x, p)}mit

ψ(x, p) := 12{‖X

i −X‖2F + ‖Y −R(x, p)‖2

F} .

Fur fehlerfrei beobachtbares x gilt das Regressionsmodell:

min{

ψ(p) := 12

∥Y −R(X, p)∥

2

F: p}

Ehrenkolloquium aus Anlass des 60. Geburtstages von Hubert Schwetlick 25

Page 27: NM - math.tu-dresden.de · 1.3.1 Berechnung von R uckkehrpunkten G. P onisch and H. Schwetlick : Computing turning points of curves implicitly de ned by nonlinear equations depending

4. Spline-Glattung

Geg.: Daten {xi, yi} (i = 1, . . . ,m) : a ≤ x1 < x2 < · · · < xm ≤ b

Ges.: Spline s ∈ Sk,t mitϕ(s) := 12

m∑

i=1[yi − s(xi)]2 → min (m� n)

Bezeichnung:

Sk,t = {Polynom-Splines der Ordnung k≥1 mit Knotenmenge t :={tj}}mit t1 = · · · = tk = a < tk+1 ≤ · · · ≤ tn < b = tn+1 = · · · = tn+k

• H. Schwetlick and V. Kunert: Spline smoothing under constraints onderivatives. BIT, 33:512–528, 1993.

• H. Schwetlick and T. Schutze: Least squares approximation by splineswith free knots. BIT, 35:361–384, 1995.

• T. Schutze and H. Schwetlick: Constrained approximation by splines withfree knots. BIT, 37:105–137, 1997.

• T. Schutze and H. Schwetlick: Bivariate free knot splines. Preprint MATH-

NM-13-01, Techn. Univ. Dresden, 2001.

NMEhrenkolloquium aus Anlass des 60. Geburtstages von Hubert Schwetlick 26

Page 28: NM - math.tu-dresden.de · 1.3.1 Berechnung von R uckkehrpunkten G. P onisch and H. Schwetlick : Computing turning points of curves implicitly de ned by nonlinear equations depending

Darstellung von s ∈ Sk,t in der Form s(x) =n∑

j=1Bkj(x)αj

Bezeichnung:

{Bkj} Folge der normalisierten B-Splines der Ordnungk zur Knotenmenge t

B = (Bkj(xi)) ∈ Rm×n (i = 1, . . . ,m; j = 1, . . . , n)

α = (α1, . . . , αn)T ∈ Rn , y = (y1, . . . , ym)T ∈ Rm

Splines mit vorgegebener Knotenmenge t:

• rangB = n: min{ϕ(α) := 12‖y −Bα‖

22 : α ∈ Rn} eindeutig losbar

• rangB < n ( Regularisierung ): min{ϕ(α) + µ%(α) : α ∈ Rn}

mit z. B. %(α) :=1

2

∫ b

a

s(r)(x) dx , r ∈ {0, 1, . . . , k − 1} fest

Splines mit freier Knotenmenge t:

• min{ψ(t, α) := 12‖y−B(t)α‖2

2 : C t ≥ h, t ∈ R`, α ∈ Rn}

• min{ψ(t, α) := 12‖y−B(t)α‖2

2+µ2‖S(t)α‖2

2 : Ct≥h, t∈R`, α∈Rn}

Ehrenkolloquium aus Anlass des 60. Geburtstages von Hubert Schwetlick 27

Page 29: NM - math.tu-dresden.de · 1.3.1 Berechnung von R uckkehrpunkten G. P onisch and H. Schwetlick : Computing turning points of curves implicitly de ned by nonlinear equations depending

5. Eigenwertberechnung• R. Losche, H. Schwetlick, and G. Timmermann: A modified block Newton iteration

for approximating an invariant subspace of a symmetric matrix. Linear Algebra Appl.,

275/276:381–400, 1998.

• H. Schwetlick and R. Losche: A generalized Rayleigh quotient iteration for computing

simple eigenvalues of nonnormal matrices. Z. Angew. Math. Mech., 80:9–25, 2000.

• H. Schwetlick and U. Schnabel: Iterative computation of the smallest singular value

and the corresponding singular vectors of a matrix. Preprint IOKOMO-06-97, 1997.

A ∈ Rn×n symmetrisch:

Spektraldarst.: A U = U Λ , U ∈Rn×n orthogonal, Λ=diag(λ1,..., λn)

Splitting: U = [U1 |U2 ] , U1 ∈ Rn×p, U2 ∈ Rn×q, p+ q = n

Λ =(

Λ1 00 Λ2

)

=⇒ AU1 = U1 Λ1 , AU2 = U2 Λ2

Sei W ∈ Rn×q mit rang(W ) = q fest gewahlt.

Bestimme Z∗ ∈ Rn×q und M∗ ∈ Rq×q als Losung von

F (Z,M) :=(

AZ − ZMW TZ − I

)

=(

00

)

Ehrenkolloquium aus Anlass des 60. Geburtstages von Hubert Schwetlick 28

Page 30: NM - math.tu-dresden.de · 1.3.1 Berechnung von R uckkehrpunkten G. P onisch and H. Schwetlick : Computing turning points of curves implicitly de ned by nonlinear equations depending

Unger (1950): F (z, λ) =(

Az − λzzTz − 1

)

=(

00

)

−→ λ ∈ R , z ∈ Rn

Newton-Verfahren zur Losung von: F (Z,M) :=(

AZ − ZMW TZ − I

)

=(

00

)

Z(k+1) :=Z(k)−∆Z(k),M (k+1) :=M (k)−∆M (k) mit ∆Z(k), ∆M (k)

aus:

A∆Z(k) −∆Z(k)M (k) − Z(k) ∆M (k) = AZ(k) − Z(k)M (k)

W T ∆Z(k) = W TZk − I

Modifizierte Block Newton Methode:

M (k) = diag(m(k)1 , . . . ,m(k)

q ) , Z(k) orthogonal, W = W (k) = Z(k)

→ Gram-Schmidt Orthogonalisierung und Rayleigh-Ritz-Verfahren:

(

A−m(k)i I Z(k)

Z(k)T 0

)(

∆z(k)i

−∆m(k)i

)

=

(

AZ(k) − Z(k)M (k)

0

)

ei

(i = 1, . . . , q)

Ehrenkolloquium aus Anlass des 60. Geburtstages von Hubert Schwetlick 29

Page 31: NM - math.tu-dresden.de · 1.3.1 Berechnung von R uckkehrpunkten G. P onisch and H. Schwetlick : Computing turning points of curves implicitly de ned by nonlinear equations depending

Entwicklung von Software (Programmpakete)

• H. Schwetlick: Einige Folgerungen fur den Aufbau von Algorithmenim Zusammenhang mit der Herstellung von Programmpaketen. Schrif-tenreihe des WBZ Math. Kybernetik und Rechentechnik, Techn. Univ.Dresden, 8:129–133, 1974.

• D. Leder, C. Schmidt, H. Schwetlick: Programmpaket Nichtlineare Glei-chungen. Schriftenreihe des WBZ Math. Kybernetik und Rechentechnik,Techn. Univ. Dresden, 20:17–23, 1976.

• R. Menzel, G. Ponisch, H. Schwetlick: Zur numerischen Losung pa-rameterabhangiger nichtlinearer Gleichungssysteme. Nachrichtentechnik-Elektronik, 28:19–20, 1978.

• R. Menzel, G. Ponisch, H. Schwetlick: Programmpaket zur Losung nicht-linearer Probleme. rechentechnik/datenverarbeitung, 16:28–29, 1979.

• R. Menzel, G. Ponisch, H. Schwetlick: PARSYS – Programmpaket furparameterabhangige nichtlineare Gleichungssysteme großer Dimension.Anwenderdokumentation, Techn. Univ. Dresden, 1980.

• H. Schwetlick, L. Knauff, V. Tiller: Ein Programmpaket zur Parame-terschatzung in nichtlinearen Modellen. Wiss. Beitrage Martin-Luther-Univ. Halle-Wittenberg, 1982/33 (M28):102–111, 1982.

NMEhrenkolloquium aus Anlass des 60. Geburtstages von Hubert Schwetlick 30

Page 32: NM - math.tu-dresden.de · 1.3.1 Berechnung von R uckkehrpunkten G. P onisch and H. Schwetlick : Computing turning points of curves implicitly de ned by nonlinear equations depending

Betreute Promotionen

1. Jeromin, Bernd: Glattung mittels Spline-Funktionen. 1972

2. Leder, Dieter: Zur Losung nichtlinearer Gleichungssysteme mittels dis-kreter Einbettungsmethoden. 1975

3. Schmidt, Christian: Ableitungsfreie Verfahren zur Minimierung einerFunktion mehrerer Veranderlicher ohne Nebenbedingungen. 1977

4. Ehle, Gerd-Peter: Mit zweiten Ableitungen arbeitende iterative Verfahrenzur Losung nichtlinearer Gleichungen und zur Quadratmittelapproximati-on. 1977

5. Espig, Gunter: Untersuchungen uber global konvergente Abstiegsverfah-ren zur Losung nichtlinearer Gleichungssysteme. 1977

6. Menzel, Reinhard: Uber die Losung nichtlinearer Gleichungssysteme beiregularer und schwach singularer Einbettung. 1978

7. Ponisch, Gerd: Verfahren zur numerischen Bestimmung von Ruckkehr-punkten implizit definierter Raumkurven. 1980

NMEhrenkolloquium aus Anlass des 60. Geburtstages von Hubert Schwetlick 31

Page 33: NM - math.tu-dresden.de · 1.3.1 Berechnung von R uckkehrpunkten G. P onisch and H. Schwetlick : Computing turning points of curves implicitly de ned by nonlinear equations depending

Betreute Promotionen

8. Schellong, Wolfgang: Parameterschatzung in impliziten Modellen derchemischen Reaktionskinetik. 1983

9. Knoth, Oswald: Markquardt-ahnliche Verfahren zur Minimierung nichtli-nearer Funktionen. 1983

10. Tiller, Volker: Numerische Methoden zur Parameterschatzung in explizi-ten und impliziten nichtlinearen Modellen mit Fehlern in den Variablen.1983

11. Bockmann, Christine: Ein ableitungsfreies Verfahren vom Gauß-Newton-Typ zur Losung von nichtlinearen Quadratmittelproblemen mit separier-ten Variablen. 1984

12. Kirsten, Annegret: Modifizierte Matrixfaktorisierungen zur Losung nicht-linearer Gleichungssysteme. 1985

13. Wolke, Ralf: Iterative Verfahren zur numerischen Berechnung von M -Schatzungen. 1986

NMEhrenkolloquium aus Anlass des 60. Geburtstages von Hubert Schwetlick 32

Page 34: NM - math.tu-dresden.de · 1.3.1 Berechnung von R uckkehrpunkten G. P onisch and H. Schwetlick : Computing turning points of curves implicitly de ned by nonlinear equations depending

Betreute Promotionen

14. Cleve, Jurgen: Pradiktoren hoherer Ordnung und Schrittweitensteuerungbei Kurvenverfolgungsalgorithmen. 1986

15. Liebert, Michael: Zur numerischen Berechnung von Parametern in parti-ellen Differentialgleichungen. 1987

16. Gersonde, Jorg: Effektiv implementierbare Modifikationen von Trust-Region-Verfahren. 1990

17. Schleiff, Stefan: Parameterabschatzung in nichtlinearen Modellen unterbesonderer Berucksichtigung kritischer Punkte. 1995

18. Schutze, Torsten: Diskrete Quadratmittelapproximation durch Splinesmit freien Knoten. 1998

19. Timmermann, Gisela: Cascadic Algorithms for Two Classes of NonlinearElliptic Boundary Value Problems. 1999

20. Schnabel, Uwe: Berechnung singularer Punkte nichtlinearer Gleichungs-systeme. 2000

NMEhrenkolloquium aus Anlass des 60. Geburtstages von Hubert Schwetlick 33

Page 35: NM - math.tu-dresden.de · 1.3.1 Berechnung von R uckkehrpunkten G. P onisch and H. Schwetlick : Computing turning points of curves implicitly de ned by nonlinear equations depending

Rostock, Februar 1968

NMEhrenkolloquium aus Anlass des 60. Geburtstages von Hubert Schwetlick 34