optimiz ri · 2008. 9. 5. · optimiz ări 5 prefa ŢĂ În prezent tehnicile de optimizare sunt...

Mădălina Roxana Buneci

Optimizări

Editura Academica Brâncuşi

Târgu-Jiu, 2008


2

ISBN 978-973-144-187-0

Optimizări

3

CUPRINS

Prefaţă...........................................................................................................................5

I. Modelul matematic al problemelor de optimizare...................................................7

II. Optimizări pe mulţimi deschise.............................................................................17

III. Optimizări cu restricţii egalităţi...........................................................................21

IV. Elemente de analiză convexă................................................................................31

IV.1. Mulţimi convexe...................................................................................31

IV.2. Problema celei mai bune aproximări.....................................................38

IV.3. Separarea mulţimilor convexe prin hiperplane......................................42

IV.4. Hiperplan de sprijin...............................................................................48

IV.5.Conuri convexe.......................................................................................51

IV.6. Conuri duale şi inegalităţi generalizate..................................................61

IV.7. Funcţii convexe......................................................................................70

V. Condiţii de optimalitate – cazul problemelor de optimizare cu restricţii

inegalităţi................................................................................................................87

V.1. Condiţii suficiente de optimalitate de tip punct şa..................................88

V.2. Condiţii de optimalitate pentru funcţii convexe.....................................90

V.3. Condiţia necesară de optimalitate Fritz-John..........................................92

V.4. Condiţia de regularitate Slater.................................................................95

V.5. Condiţii necesare şi suficiente de optimalitate – cazul problemelor de

optimizare convexă..............................................................................102

V.6. Restricţii active.....................................................................................104

V.7. Condiţii necesare de optimalitate – cazul funcţiilor diferenţiabile.......105

V.8. Minim în sensul pantei maxime. Minim în sensul lui Lagrange..........108

V.9. Condiţii de optimalitate – cazul funcţiilor convexe diferenţiabile........110

VI. Dualitate în optimizarea convexă.......................................................................115

VI.1. Dualitate în sens Wolfe........................................................................118


4

VI.2. Dualitate în sens Lagrange..................................................................123

VII. Metode numerice de rezolvare a problemelor de optimizare fără restricţii......129

VII.1. Proceduri de alegere optimală a pasului.............................................132

VII.1.1. Metoda secţiunii de aur.......................................................137

VII.1.2. Metoda bisecţiei..................................................................140

VII.1.3. Metoda tangentei (metoda lui Newton)..............................142

VII.2. Proceduri de alegere suboptimală a pasului.......................................147

VII.3. Proceduri de alegere a direcţiei..........................................................157

VII.3.1. Metoda gradientului (metoda celei mai rapide descreşteri)......

.............................................................................................158

VII.3.2. Direcţii cvasi-Newton..........................................................170

VII.3.3. Metoda Newton clasică.......................................................174

VII.3.4. Metoda Newton cu pas variabil...........................................184

VII.3.5. Metode Newton modificate.................................................190

VII.3.6. Metoda direcţiilor conjugate. Metoda gradientului

conjugat..............................................................................197

VII.3.7. Metode cvasi-Newton (Metode de metrică variabilă).........215

Anexă (noţiuni de analiză matematică şi algebră liniară).........................................227

A1. Spaţii topologice. Spaţii metrice. Spaţii normate. Spaţii Hilbert ...........227

A2. Elemente de analiză matriceală..............................................................241

Bibliografie...............................................................................................................247

Index ........................................................................................................................249

Optimizări

5

PREFAŢĂ

În prezent tehnicile de optimizare sunt utilizate în inginerie, finanţe, statistică

şi în multe alte domenii.

Această carte reprezintă o introducere în studiu metodelor moderne de

rezolvare a problemelor de optimizare neliniară.

În cele şapte capitole ale acestei lucrări sunt prezentate rezultate privind

optimizările pe mulţimi deschise (optimizări fără restricţii), optimizările cu restricţii

egalităţi şi optimizări cu restricţii inegalităţi. Un capitol al cărţii este destinat

prezentării unor noţiuni fundamentale ale analizei convexe. În ultimul capitol sunt

prezentate metode numerice de rezolvare a problemelor de optimizare fără restricţii.

Sunt evidenţiate atât aspectele teoretice cât şi practice. Algoritmii sunt însoţiţi de

implementarea lor în MAPLE.

Cartea se adresează celor interesaţi de optimizări, care au relativ puţine

cunoştinţe prealabile în domeniul. Noţiunile de analiză matematică şi algebră liniară

necesare pentru înţelegerea materialului prezentat în această carte sunt recapitulate

într-o anexă. Notaţiile utilizate, precum şi câteva rezultate necesare ce ţin calculul

diferenţial (difereţiale, formula Taylor, teorema funcţiilor implicite) sunt prezentate

pe scurt la sfârşitul capitolului I.

Manualul de faţă corespunde programei analitice a cursului de Optimizări /

Metode de Optimizare (de la Ingineria Sistemelor, Automatică). În afară de destinaţia

ei directă de manual pentru studenţii facultăţilor tehnice, cartea poate servi, pentru

cei interesaţi, ca punct de plecare în studiul mai aprofundat al metodelor de

optimizare.


6

Optimization

Abstract. The purpose of this book is to describe modern methods for

solving optimization problems. The seven chapters of the book contain results

concerning optimization over an open set (unconstrained optimization), optimization

with equality constraints and inequality constrained problems. Chapter IV provides a

concise introduction to Convex Analysis (basic properties of convex sets and convex

functions, separating and supporting hyperplanes, convex hulls and extremal sets,

convex cones, dual cones and generalized inequalities). Numerical methods for

unconstrained optimization are considered in the last chapter. Theoretical as well as

practical aspects are emphasized. The algorithms are implemented in MAPLE.

The chapters are: I. The mathematical model of optimization problems; II.

Optimization over an open set; III Optimization with equality constraints; IV.

Elements of convex analysis; V. Optimality condition – the case of inequality

constrained problems; VI. Duality in convex optimization; VII. Numerical methods

for unconstrained optimization. The mathematical background needed to

understanding this material is recalled in an annex.

These lecture notes were developed for a fourteen-week course the author has

taught for the students at System Engineering.

Optimizări

7

I. Modelul matematic al problemelor de optimizare

Prin optimizare se înţelege un ansamblu de metode şi tehnici care determină

găsirea soluţiei celei mai bune (soluţie optimă) pentru o problemă dată.

Modelul matematic al oricărei probleme de optimizare presupune

minimizarea sau maximizarea unei funcţii f: X → R, numită funcţie obiectiv. Adică

rezolvarea problemei ( )x Xinf f x∈

sau problemei ( )x Xsup f x∈

.

Un punct x0∈X cu proprietatea că f(x0) ≤ f(x) (respectiv, f(x0) ≥ f(x)) pentru

orice x∈X se numeşte punct de minim global (respectiv, punct de maxim global) al

lui f pe X. Un punct x0∈X cu proprietatea că există V o vecinătate a lui x0

(presupunând că X este spaţiu topologic) astfel încât f(x0) ≤ f(x) (respectiv, f(x0) ≥

f(x)) pentru orice x∈X∩V se numeşte punct de minim local (respectiv, punct de

maxim local) al lui f. Deoarece

( )x Xsup f x∈

= ( )( )x X- inf - f x

∈,

nu se restrânge generalitatea dacă vom trata doar problemele de forma:

( )x Xinf f x∈

(P)

Vom numi soluţie optimă a problemei (P) un punct de minim global al lui f

pe X. Vom numi soluţie optimă locală a problemei (P) un punct de minim local al

lui f.

Există un număr important de subclase de probleme de optimizare. Cele mai

simple sunt aşa numitele optimizări fără restricţii. În cazul optimizărilor fără

restricţii urmărim să rezolvăm probleme de forma:

( )nx

inf f x∈R


8

unde funcţia obiectiv este f: Rn → R. Un alt tip de probleme de optimizare sunt

optimizările cu restricţii egalităţi. În cazul acestora urmărim să rezolvăm probleme

de forma:

( )x Xinf f x∈

unde

X = {x∈Rn : ϕ(x) = 0}

cu ϕ: Rn → Rm (ϕ desemnează restricţiile). Pentru consistenţă se presupune că m≤n,

altfel existând probabilitatea să nu existe nici un vector x∈Rn care să îndeplinească

condiţia ϕ(x) = 0 (ţinând cont că ϕ(x) este un vector din Rm condiţia ϕ(x) = 0 trebuie

înţeleasă în sensul că fiecare dintre cele m componente ale lui ϕ(x) să fie nulă, adică

ϕ(x) să fie vectorul nul din Rm). Un alt tip important de probleme de optimizare sunt

optimizările cu restricţii inegalităţii. În cazul acestora urmărim să rezolvăm

probleme de forma:

( )x Xinf f x∈

unde

X = {x∈Rn : ϕ(x) ≥ 0}

cu ϕ: Rn → Rm (ϕ desemnează restricţiile). Ţinând cont că ϕ(x) este un vector din

Rm condiţia ϕ(x) ≥ 0 trebuie înţeleasă în sensul că fiecare dintre cele m componente

ale lui ϕ(x) să fie nenegativă). Cele mai generale probleme de optimizări implică atât

restricţii egalităţi cât şi restricţii inegalităţi (iar inegalităţile pot fi exprimate şi sub

forma : ϕ(x) ≤ 0 ⇔ - ϕ(x) ≥ 0). De asemenea există subclasificări ce ţin cont de

funcţia obiectiv (liniară sau neliniară) şi de restricţii (liniare sau neliniare).

Notaţii

Prezentăm notaţiile care vor fi folosite şi reamintim câteva rezultate legate de

funcţiile diferenţiabile.

Spaţiul Rn

Considerăm spaţiul vectorial real V = Rn, n∈N*. Facem convenţia ca vectorii

din Rn să fie consideraţi vectori coloană. Vom folosi indicii inferiori pentru a

desemna componentele unui vector din Rn şi indicii superiori pentru a desemna

Optimizări

9

diverşi vectori. Vom nota cu ||⋅|| (sau cu ||⋅||2 când vom dori să o distingem de alta)

următoarea normă pe Rn:

||x|| =2/1

n

1j

2

jx

∑

=

pentru orice x = (x1, x2, …, xn)t ∈ Rn.

Norma ||⋅|| se numeşte normă euclidiană şi provine din produsul scalar

= ∑=

n

1jjjyx = x

t y pentru x = (x1, x2, …, xn)t şi y = (y1, y2, …, yn)

t.

(în sensul că ||x|| = ). Este cunoscut că:

Rn este spaţiu Hilbert (în raport cu produsul scalar de mai sus) ⇒ Rn este

spaţiu Banach (în raport cu norma ||⋅|| indusă de produsul scalar)⇒ Rn este spaţiu

metric complet (în raport cu distanţa euclidiană indusă de norma ||⋅||)⇒ Rn este

spaţiu topologic (în raport cu topologia indusă de distanţa euclidiană).

În raport cu această topologie Rn este spaţiu local compact. O submulţime A

lui Rn este compactă dacă şi numai dacă este închisă (echivalent, conţine limita

fiecărui şir convergent cu termeni din A) şi mărginită (echivalent, există M>0 astfel

încât ||x||≤M pentru orice x∈A).

Diferenţiabilitate

Fie X o submulţime deschisă a lui Rn şi x0 ∈ X, x0=( 0 0 01 2 nx , x , ..., x ). Fie f: X

→ R o funcţie şi fie 1≤i≤n. Dacă există şi este finită următoarea limită

0 0 0 0 0 0 0 0 0 01 2 i i+1 n 1 2 i-1 i i+1 n

00x x i ii i

f(x , x , ..., , x , x , ..., x ) - f(x ,x ,..., x , x , x , ...,x )lim

x - x→

atunci ea se notează cu ( )0i

fx

x

∂∂

şi se numeşte derivata parţială de ordinul 1 a lui f

în x0 în raport cu xi (a i-a variabilă), iar f se spune derivabilă parţial (de ordinul 1)

în x0. Se poate arăta că dacă f este derivabilă parţial, atunci f este continuă. Dacă f

admite derivate parţiale de ordinul 1 într-o vecinătate a lui x0 şi dacă funcţiile

x → ( )i

fx

x

∂∂


10

sunt derivabile parţial de ordinul 1 în x0, atunci f derivabilă parţial de ordinul al 2-

lea în x0. Se utilizează notaţiile

( )2

i j

fx

x x

∂∂ ∂

= ( )i j

fx

x x

∂ ∂ ∂ ∂

şi ( )2

2i

fx

x

∂

∂= ( )

i i

fx

x x

∂ ∂ ∂ ∂

, 1≤ i, j ≤n

Funcţia f : X → Rm se numeşte diferenţiabilă în x0 dacă şi numai dacă există

o aplicaţie liniară T : Rn → Rm astfel încât

( ) ( ) ( )0 000x x

f x f x T x xlim

x x→

− − −

− = 0

În această situaţie T se numeşte diferenţiala lui f în x0. Funcţia f se numeşte

diferenţiabilă pe X dacă este diferenţiabilă în fiecare punct din X.

Notăm cu f1, f2, ..., fm : X → R, componentele scalare ale funcţiei f (avem

f(x)= (f1(x), f2(x), ..., fm(x))t pentru orice x∈X). Se poate arăta că

• Dacă f este diferenţiabilă în x0, atunci toate componentele scalare ale

lui f admit derivate parţiale de ordinul 1 în x0. Reciproca nu este

adevărată

• Dacă toate componentele scalare ale lui f admit derivate parţiale de

ordinul 1, continue în x0, atunci f este diferenţiabilă în x0.

Presupunem că f : X → Rm este diferenţiabilă. Se arătă că matricea asociată

aplicaţiei liniare T (diferenţiala lui f în x0) este matricea jacobiană a funcţiei f

calculată în punctul x0:

( )

0 0 01 1 1

1 2 n

0 0 02 2 20

1 2 n

0 0 0m m m

1 2 n

f f f(x ) (x ) ... (x )

x x x

f f f(x ) (x ) ... (x )

x x xJf x

...............................................

f f f(x ) (x ) ... (x )

x x x

∂ ∂ ∂ ∂ ∂ ∂ ∂ ∂ ∂ ∂ ∂ ∂=

∂ ∂ ∂ ∂ ∂ ∂

unde f1, f2, ..., fm sunt componentele scalare ale funcţiei f . Avem

Optimizări

11

T(x)=Jf(x0) x=

0 0 01 1 1

1 2 n

0 0 02 2 2

1 2 n

0 0 0m m m

1 2 n

f f f(x ) (x ) ... (x )

x x x

f f f(x ) (x ) ... (x )

x x x

...............................................

f f f(x ) (x ) ... (x )

x x x

∂ ∂ ∂ ∂ ∂ ∂ ∂ ∂ ∂ ∂ ∂ ∂

∂ ∂ ∂ ∂ ∂ ∂

1

2

n

x

x

...

x

Dacă m = n, determinantul matricei jacobiene det(Jf(x0)) se numeşte

jacobianul sau (determinatul funcţional) al funcţiilor f1, f2, ..., fn în raport cu

variabilele x1, x2, ..., xn calculat în punctul x0.

În cazul particular m=1 (f: X→ R) avem

T(x) = Jf(x0) x= ( ) ( ) ( )0 0 01 2 n

f f fx , x , . . . , x

x x x

∂ ∂ ∂ ∂ ∂ ∂

1

2

n

x

x

...

x

= ( )n

0i

ii= 1

fx x

x

∂∂∑

.

Notăm ( )0f x∇ = ( ) ( ) ( )t

0 0 0

1 2 n

f f fx , x , . . . , x

x x x

∂ ∂ ∂ ∂ ∂ ∂

gradientul funcţiei

f. Atunci avem T(x) = ( )t0f x∇ x = < ( )0f x∇ , x> . În cazul n=m=1, avem T(x) = f ′ (x0)x pentru orice x∈R. În general, vom nota T cu f ′ (x0) sau f(1)(x0) (prin

analogie cu cazul funcţiilor reale de o variabilă reală).

Notăm cu L(Rn, Rm) mulţimea aplicaţiilor liniare de la Rn la Rm. Este bine

cunoscut că L(Rn, Rm) este spaţiu normat: pentru orice A∈ L(Rn, Rm),

|| A|| = 1x

sup≤

||A(x)||.

Teorema creşterilor finite. Fie G o submulţime deschisă a lui Rn şi f:G→R

o funcţie diferenţiabilă. Fie a, b∈ G astfel încât

I(a, b) = {ta+(1-t)b, t ∈[0, 1]} ⊂ G.

Atunci are loc inegalitatea


12

||f(b) – f(a)|| ≤ ||b-a|| ( )z I a,b

sup∈

|| ( )f z′ ||.

Dacă funcţia f : X → Rm este diferenţială în fiecare punct dintr-o vecinătate

V a lui x0 şi dacă funcţia

x → f ′ (x) [: V → L(Rn, Rm)]

este diferenţiabilă în x0, atunci f se numeşte de două ori diferenţiabilă în x0 şi în

acest caz se notează cu f ′′ (x0) = ( )f ′′ (x0) şi se numeşte diferenţiala de ordinul 2 a

lui f. Inductiv se definesc diferenţialele de ordin superior:

f(k) = ( )( )k 1f − ′ , unde f(0) = f, iar f(k) reprezintă diferenţiala de ordinul k a lui f. Se poate arăta că

• Dacă f este de două ori diferenţiabilă în x0, atunci toate componentele

scalare ale lui f admit derivate parţiale de ordinul 2 în x0. Reciproca nu este

adevărată.

• Dacă toate componentele scalare ale lui f admit derivate parţiale de ordinul

2, continue în x0, atunci f este de două ori diferenţiabilă în x0.

• Dacă 2

k

i j

f

x x

∂∂ ∂

şi 2

k

j i

f

x x

∂

∂ ∂ sunt continue în punctul x0, atunci ( )

20k

i j

f

x xx

∂∂ ∂

=

( )2

0k

j i

f

x xx

∂∂ ∂

(criteriul de comutativitate al lui Schwarz)

• Dacă f este de două ori diferenţiabilă în x0, atunci ( )2

0k

i j

f

x xx

∂∂ ∂

=

( )2

0k

j i

f

x xx

∂∂ ∂

(criteriul de comutativitate al lui Young)

Dacă f : X → Rm este de două ori diferenţiabilă, atunci diferenţiala de

ordinul 2, ( )0 n n mf x : ( , )′′ →R L R R , are proprietatea

( ) ( )( ) ( )0 n n m n n mf x , , ; ′′ ∈ ≈ 2L R L R R L R , R R deci f ′′ (x0) poate fi privită ca o aplicaţie 2-liniară (biliniară).

Optimizări

13

În cazul m=1, se arată că matricea asociată formei biliniare f ′′ (x0) din

( )n n2L , ; R R R este hessiana lui f. Vom nota hessiana lui f cu Hf(x0). Avem

Hf(x0) = ( )2

0

i j 1 i, j n

fx

x x≤ ≤

∂ ∂ ∂

Criteriul lui Young implică faptul că f ′′ (x0) este formă biliniară simetrică, sau

echivalent hessiana este matrice simetrică: Hf(x0) = Hf(x0)t.

Diferenţiala de ordinul al 2-lea a lui f în x0 este dată de

( )( ) ( ) ( ) ( )2n

0 0 t 0 0i j

i ji, j 1

ff x u,v ==u Hf x v= x u v

x x=

∂′′∂ ∂∑

unde u = (u1, u2, ...., un)t, v = (v1, v2, ...., vn)

t ∈Rn.

Funcţia f : X → Rm se numeşte de clasă Ck (k≥1) dacă toate componentele

scalare ale lui f admit derivate parţiale de ordinul k continue pe X. Orice funcţie de

clasă Ck este de k-ori diferenţiabilă.

Formula lui Taylor

Începem cu o observaţie. Fie X o submulţime deschisă a lui Rn şi x0∈X

fixate. Deoarece X este deschisă şi x0∈X, există δ0 > 0 astfel încât B(x0, δ0) ⊂ X.

Vom arăta că un vector x∈ Rn este în B(x0, δ0) dacă şi numai dacă x se scrie sub

forma x = x0 + δh cu 0 ≤ δ < δ0 şi h∈ Rn cu ||h|| = 1. Într-adevăr, putem lua

δ = ||x-x0|| şi h = 1

δ(x-x0)

pentru x ≠x0 şi δ=0 pentru x = x0.

Teoremă (formula lui Taylor). Fie X o submulţime deschisă a lui Rn, k∈N

şi f: X → R o funcţie de k ori diferenţiabilă într-un punct x0∈X. Fie δ0 > 0 astfel

încât B(x0, δ0) ⊂ X. Atunci pentru orice h∈ Rn cu ||h|| = 1 şi pentru orice δ∈R cu

δ< δ0, avem

f(x0 + δh)= f(x0)+1

1!δf(1)(x0)(h)+

1

2!δ2 f(2)(x0)(h,h) +

1

k!δk f(k)(x0)(h,h, ..., h) + o(δk),

unde ( )k

kδ 0

o δlim

δ→=0.


14

Dacă f este de k+1 ori diferenţiabilă pe B(x0, δ0) ⊂ X, atunci pentru orice h

din Rn cu ||h|| = 1 şi pentru orice δ∈R cu δ< δ0 există θ∈(0, 1) astfel încât

f(x0 + δh)= f(x0)+ 1

1!δf(1)(x0)(h)+

1

2!δ2 f(2)(x0)(h,h) + ....

.... + 1

k!δk f(k)(x0)(h,h, ..., h) +

( )1

k+1 !δk+1 f(k+1)(x0 + θδh)(h,h,...,h).

Vom utiliza în special formulele lui Taylor de ordinul 1 şi 2:

• Dacă X o submulţime deschisă a lui Rn şi f:X → R o funcţie diferenţiabilă în

x0 ∈ X, atunci există δ0>0 astfel încât pentru orice h∈ Rn cu ||h|| = 1 şi pentru

orice δ∈R cu δ< δ0 avem

f(x0 + δh) = f(x0) + δ + o(δ), unde ( )

δ 0

o δlim

δ→=0

• Dacă X o submulţime deschisă a lui Rn şi f:X → R o funcţie de două ori

diferenţiabilă în x0∈X, atunci există δ0>0 astfel încât pentru orice h∈Rn cu

||h|| = 1 şi pentru orice δ∈R cu δ< δ0 avem

f(x0 + δh) = f(x0) + δ + 1

2δ2 + o(δ2),

unde ( )2

2δ 0

o δlim

δ→=0.

Derivata după direcţie

Fie X o submulţime deschisă a lui Rn, f: X → R o funcţie, x0 ∈ X şi h∈Rn cu

h ≠0. Dacă există şi este finită următoarea limită

( ) ( )0 0δ 0

f x +δh - f xlim

δ→

atunci ea se notează cu ( )0f xh

∂∂

şi se numeşte derivată după direcţia h a funcţiei f în

punctul x0.

Să presupunem că funcţia f: X → R este diferenţiabilă pe X să luăm δ0>0

astfel încât x0 + δh ∈X pentru orice δ∈R cu δ< δ0 (există un astfel de δ0 deoarece

X fiind deschisă există r > 0 astfel încât B(x0, r) ⊂ X şi atunci δ0 = r

h are

proprietatea cerută)

Optimizări

15

Considerăm funcţia ϕ: (-δ0, δ0) → R definită prin

( ) ( ) ( )0 0δ =f x +δh - f xϕ , δ∈(-δ0, δ0) Pe de o parte avem

( ) ( ) ( )( ) ( ) ( )

0 00

δ 0 δ 0

f x h - f x - 0 f0 = lim = lim = x

0 h→ →

+ δϕ δ ϕ ∂′ϕδ − δ ∂

(*)

iar pe de altă parte, deoarece ( ) ( ) ( ) ( )( ) ( )0 0 0δ =f x +δh - f x f u δ - f xϕ = , unde u(δ) = x0 + δh = ( 01x + δh1,

02x + δh2, ....,

0nx + δhn)

t , avem

( ) ( ) ( )n

0 0i

ii 1

fx h h f x h ,h

x=

∂′ϕ δ = + δ = ∇ + δ∂∑

şi deci ( ) ( )00 f x ,h′ϕ =< ∇ > . (**) Din (*) şi (**) rezultă că dacă f: X → R este diferenţiabilă pe X atunci

( )0f xh

∂∂

= ( )0f x ,h< ∇ >

Funcţii implicite

Teorema funcţiilor implicite. Fie U o submulţime deschisă a lui Rn×Rm ,

(x0, y0) ∈ U şi f = (f1, f2, ..., fm) : U → Rm o funcţie de clasă C1 într-o vecinătate a

punctului (x0, y0) astfel încât f(x0, y0) = 0 şi

( )( )

0 0 0 0 0 01 1 1

1 2 n

0 0 0 0 0 02 2 20 0

1 2 ny

0 0 0 0 0 0m m m

1 2 n

f f f(x , y ) (x , y ) ... (x , y )

f f f(x , y ) (x , y ) ... (x , y )

det J f x ,

...............................................................

f f f(x , y ) (x , y ) ... (x , y

∂ ∂ ∂∂ ∂ ∂∂ ∂ ∂∂ ∂ ∂=

∂ ∂ ∂∂ ∂ ∂

y y y

y y yy

y y y

0

)

≠

Atunci există o vecinătate deschisă V0 a lui x0, o vecinătate W0 a lui y

0 şi o aplicaţie

ϕ : V0 → W0 (local unică) cu următoarele proprietăţi:

1. ϕ este clasă C1

2. ϕ(x0) = y0

3. x ∈V0 => f(x, ϕ(x)) = 0


16

4. x∈V0, y ∈ W0, f(x, y) = 0 => y =ϕ(x)

Dacă în plus, f este de clasă Ck (k ≥ 1) atunci ϕ este de clasă Ck.

Optimizări

17

II. Optimizări pe mulţimi deschise

Teorema 1. (condiţii necesare de ordinul 1) Fie X o submulţime deschisă a

lui Rn şi f: X → R o funcţie diferenţiabilă pe X. Dacă x0 este o soluţie optimă a

problemei

( )x Xinf f x∈

atunci

∇f(x0) = 0.

Demonstraţie. Deoarece X este deschisă şi x0∈X, există δ0 > 0 astfel încât

B(x0, δ0) ⊂ X. Orice vector x∈ B(x0, δ0) se scrie sub forma x = x0 + δh cu 0 ≤ δ < δ0

şi h∈ Rn cu ||h|| = 1. Deoarece x0 este o soluţie optimă a problemei ( )x Xinf f x∈

, rezultă

că

f(x0 + δh) ≥ f(x0) pentru orice 0 ≤ δ < δ0. (1.1)

Aplicând formula lui Taylor obţinem

f(x0 + δh) = f(x0) + δ + o(δ),

unde ( )

δ 0

o δlim

δ→=0. Înlocuind în relaţia (1.1) obţinem,

f(x0) + δ + o(δ) ≥ f(x0) ⇔

δ + o(δ) ≥ 0 pentru orice 0 ≤ δ < δ0

Împărţind cu δ > 0, rezultă

+ ( )o δδ

≥ 0

Trecând la limită δ → 0, δ >0 şi ţinând cont că ( )

δ 0

o δlim

δ→= 0, obţinem

≥ 0 pentru orice h = (h1, h2, ..., hn)t ∈ Rn.


18

Fie 1 ≤ i ≤ n. Dacă luăm hi = 1 şi hj = 0 pentru j ≠ i, atunci ||h|| =1 şi inegalitatea de

mai sus devine

( )0i

fx

x

∂∂

≥ 0.

Dacă luăm hi = -1 şi hj = 0 pentru j ≠ i, atunci ||h|| =1 şi inegalitatea devine

- ( )0i

fx

x

∂∂

≥ 0.

În consecinţă ( )0i

fx

x

∂∂

= 0 pentru orice 1 ≤ i ≤ n, sau echivalent ∇f(x0) = 0.

■

Teorema 2. (condiţii necesare de ordinul 2) Fie X o submulţime deschisă a

lui Rn şi f: X → R o funcţie de două ori diferenţiabilă pe X. Dacă x0 este o soluţie

optimă a problemei

( )x Xinf f x∈

atunci

∇f(x0) = 0 şi Hf(x0) este pozitiv semidefinită.

Demonstraţie. Din teorema 1 rezultă că ∇f(x0) = 0.

Deoarece X este deschisă şi x0∈X, există δ0 > 0 astfel încât B(x0, δ0) ⊂ X.

Orice vector x∈ B(x0, δ0) se scrie sub forma x = x0 + δh cu 0 ≤ δ < δ0 şi h∈ Rn cu

||h|| = 1. Aplicând formula lui Taylor obţinem

f(x0 + δh) = f(x0) + δ + 1

2δ2 + o(δ2),

= f(x0) + 1

2δ2 + o(δ2) (2.1)

unde ( )2

2δ 0

o δlim

δ→=0. Deoarece x0 este o soluţie optimă a problemei ( )

x Xinf f x∈

, rezultă

că

f(x0 + δh) ≥ f(x0) pentru orice 0 ≤ δ < δ0.

Ţinând cont de relaţia (2.1) obţinem,

f(x0) + 1

2δ2 + o(δ2) ≥ f(x0) ⇔

Optimizări

19

1

2δ2 + o(δ2) ≥ 0 pentru orice 0 ≤ δ < δ0

Împărţind cu δ2 > 0, rezultă

1

2 +

( )22

o δ

δ≥ 0

Trecând la limită δ → 0, δ >0 şi ţinând cont că ( )2

2δ 0

o δlim

δ→= 0, obţinem

≥ 0 pentru orice h ∈ Rn cu ||h|| = 1.

Fie v ∈ Rn, v≠0 şi fie h = 1

vv. Atunci

2

1

v ≥ 0 ⇔ ≥ 0

sau echivalent şi Hf(x0) este pozitiv semidefinită.

■

Observaţia 3. Condiţiile necesare stabilite în teoremele 1 şi 2 sunt valabile şi

pentru soluţiile optime locale. Într-adevăr dacă x0 este o soluţie optimă locală (punct

de minim local al lui f) atunci există o mulţime deschisă V ⊂ X astfel încât x0 ∈ V şi

x0 este punct de minim global pentru restricţia lui f la V, adică x0 este o soluţie

optimă a problemei

( )x Vinf f x∈

,

şi deci ∇f(x0) = 0 iar în cazul în care f este de două ori diferenţiabilă Hf(x0) este

pozitiv semidefinită.

Teorema 4. (condiţii suficiente de ordinul 2) Fie X o submulţime deschisă a

lui Rn şi f: X → R o funcţie de două ori diferenţiabilă pe X. Fie x0 ∈ X astfel încât

∇f(x0) = 0 şi Hf(x0) este pozitiv definită.

Atunci x0 este soluţie optimă locală a problemei ( )x Xinf f x∈

.

Demonstraţie. Deoarece funcţia h → este continuă pe Rn,

rezultă că restricţia ei la mulţimea compactă S(0, 1) = {x∈ Rn: ||x|| = 1} este

mărginită şi îşi atinge extremele (în particular, minimul). Deci există u∈ Rn astfel

încât ||u|| = 1 şi


20

≤ pentru orice v ∈ cu ||v||=1 (4.1).

Fie h ≠0 oarecare din Rn. Dacă în relaţia (4.1) luăm v = 1

hh, obţinem

≤ 2

1

h ⇔ ||h||2 ≤

Această ultimă inegalitate este verificată şi de h = 0. Cum u ≠0 (deoarece ||u|| = 1) şi

cum Hf(x0) este pozitiv definită, rezultă că 0. Notând α =

> 0, avem ||h||2 α ≤ pentru orice h ∈ Rn .

Deoarece X este deschisă şi x0∈X, există δ0 > 0 astfel încât B(x0, δ0) ⊂ X.

Orice vector x∈ B(x0, δ0) se scrie sub forma x = x0 + δh cu 0 ≤ δ < δ0 şi h∈ Rn cu

||h|| = 1. Aplicând formula lui Taylor obţinem

f(x0 + δh) = f(x0) + δ + 1

2δ2 + o(δ2),

= f(x0) + 1

2δ2 + o(δ2)

= f(x0) + δ2 (1

2 +

( )22

o δ

δ)

≥ f(x0) + δ2 (1

2α+

( )22

o δ

δ) (4.2)

Ţinând cont că ( )2

2δ 0

o δlim

δ→= 0, rezultă că există δ1 > 0 astfel încât pentru orice δ cu

0< δ < δ1 să avem ( )2

2

o δ

δ > -

1

2α, şi ca urmare

1

2α+

( )22

o δ

δ>0. Deci ţinând cont de

(4.2) rezultă

f(x0 + δh) ≥ f(x0) pentru orice h cu ||h|| = 1 şi δ cu 0 ≤ δ < min(δ0, δ1).

Dacă notăm r = min(δ0, δ1). Atunci orice x ∈ B(x0, r) , x ≠ x0 poate fi scris sub forma

x = x0 + δh cu ||h|| = 1 şi |δ| < r (luăm h = 0

1x x−

(x-x0), δ = ||(x-x0)||). Ca urmare

pentru orice x ∈ B(x0, r), avem f(x) ≥ f(x0). Deci x0 este soluţie optimă locală (punct

de minim local al lui f).

■

Optimizări

21

III. Optimizări cu restricţii egalităţi

Teorema 1. (condiţii necesare de ordinul 1) Fie X0 o submulţime deschisă a

lui Rn, f: X0 → R o funcţie de clasă C1 pe X0 şi m un număr întreg pozitiv, m ≤ n.

Fie ϕ1, ϕ2, ...,ϕm : X0 → R m funcţii de clasă C1 pe X0 şi fie

X = {x∈X0: ϕ1(x) =0, ϕ2(x) =0, ..., ϕm(x) = 0}.

Fie x0 ∈ X astfel încât ( )01 x∇ϕ , ( )02 x∇ϕ , ..., ( )0m x∇ϕ sunt liniar independenţi, sau echivalent rangul matricei

0 0 01 1 1

1 2 n

0 0 02 2 2

1 2 n

0 0 0m m m

1 2 n

(x ) (x ) ... (x )x x x

(x ) (x ) ... (x )x x x

...............................................

(x ) (x ) ... (x )x x x

∂ϕ ∂ϕ ∂ϕ ∂ ∂ ∂ ∂ϕ ∂ϕ ∂ϕ ∂ ∂ ∂

∂ϕ ∂ϕ ∂ϕ ∂ ∂ ∂

este m. Dacă x0 este o soluţie optimă a problemei

( )x Xinf f x∈

atunci există λ0 =( 01λ , 02λ , ...,

0mλ )

t∈Rm unic astfel încât

∇f(x0) = 01λ ( )01 x∇ϕ + 02λ ( )02 x∇ϕ + ... + 0mλ ( )0m x∇ϕ . Demonstraţie. Deoarece rangul matricei rangul matricei


22

0 0 01 1 1

1 2 n

0 0 02 2 2

1 2 n

0 0 0m m m

1 2 n

(x ) (x ) ... (x )x x x

(x ) (x ) ... (x )x x x

...............................................

(x ) (x ) ... (x )x x x

∂ϕ ∂ϕ ∂ϕ ∂ ∂ ∂ ∂ϕ ∂ϕ ∂ϕ ∂ ∂ ∂

∂ϕ ∂ϕ ∂ϕ ∂ ∂ ∂

este m, eventual renumerotând putem presupune că matricea i

j 1 i, j mx

≤ ≤

∂ϕ ∂

este

nesingulară (inversabilă). Notăm ϕ(x) = (ϕ1(x) , ϕ2(x), ..., ϕm(x))t pentru x∈X0, w0

= ( 01x , 02x , ...,

0mx )

t iar u0 = ( 0m 1x + , 0m 2x + , ...,

0nx )

t. Fie U şi V două mulţimi

deschise cu proprietatea că u0 ∈ U ⊂ Rn-m, v0∈V⊂ Rm şi V × U ⊂ X0. Aplicând

teorema funcţiilor implicite pentru sistemul de ecuaţii

ϕ(w, u) = 0,

în vecinătatea punctului (w0, u0) cu ϕ(w0, u0) = 0, rezultă că există două numere strict

pozitive r şi s astfel încât B(u0, r) ⊂ U şi B(w0, s) ⊂ V, precum şi o funcţie de clasă

C1, local unică, ψ : B(u0, r) → B(w0, s), cu proprietăţile că ψ(u0) = w0 şi ϕ(ψ(u), u) =

0 pentru orice u∈ B(u0, r). Ca urmare u0 este soluţie optimă a problemei

( )( )( )

0u B u ,rinf f u ,u

∈ψ

(problemă de optimizare pe o mulţime deschisă – fără restricţii). În consecinţă

∇g(x0) = 0, unde g(u) = f(ψ(u), u) pentru orice u ∈ B(u0, r). Deci

( )( )0 0wf u ,u′ ψ ( )0u′ψ + ( )( )0 0uf u , u′ ψ = 0 ( )0 0wf w ,u′ ( )0u′ψ + ( )0 0uf w ,u′ = 0 ( )0wf x′ ( )0u′ψ + ( )0uf x′ = 0 (1.1)

Deoarece ϕ(ψ(u), u) = 0 pentru orice u∈ B(u0, r), rezultă că

( )( )w u ,u′ϕ ψ ( )u′ψ + ( )( )u u ,u′ϕ ψ = 0

pentru orice u∈ B(u0, r). Deci ( )u′ψ = - ( )( ) 1w u , u −′ϕ ψ ( )( )u u ,u′ϕ ψ şi

Optimizări

23

( )0u′ψ = - ( ) 10 0w w ,u −′ϕ ( )0 0u w ,u′ϕ = - ( ) 10w x −′ϕ ( )0u x′ϕ (1.2). Ţinând cont de (1.1) şi de (1. 2) obţinem

- ( )0wf x′ ( ) 10w x −′ϕ ( )0u x′ϕ + ( )0uf x′ = 0

( )0uf x′ = ( )0wf x′ ( ) 10w x −′ϕ ( )0u x′ϕ Cum şi

( )0wf x′ = ( )0wf x′ ( ) 10w x −′ϕ ( )0w x′ϕ , dacă notăm

t0λ = ( )0wf x′ ( ) 10w x −′ϕ

obţinem

( ) ( )( )0 0w uf x , f x′ ′ = t0λ ( ) ( )( )0 0w ux , x′ ′ϕ ϕ sau echivalent

∇f(x0) = 01λ ( )01 x∇ϕ + 02λ ( )02 x∇ϕ + ... + 0mλ ( )0m x∇ϕ . ■

Observaţie 2. Fie X0 o submulţime deschisă a lui Rn, f: X0 → R o funcţie de

clasă C1 pe X0 şi m un număr întreg pozitiv, m ≤ n. Fie ϕ1, ϕ2, ...,ϕm : X0 → R m

funcţii de clasă C1 pe X0 şi fie

X = {x∈X0: ϕ1(x) =0, ϕ2(x) =0, ..., ϕm(x) = 0}.

Se defineşte funcţia Lagrange asociată problemei de optimizare cu restricţii

egalităţi L: X0 ×Rm → R prin

L(x, λ) = f(x) - ( )m

i ii 1

x=

λ ϕ∑ , λ = (λ1, λ2, ..., λm)t.

Teorema 1 poate fi reformulată: Dacă x0 este o soluţie optimă a problemei

( )x Xinf f x∈


24

şi dacă ( )01 x∇ϕ , ( )02 x∇ϕ , ..., ( )0m x∇ϕ sunt liniar independenţi, atunci există λ0 ∈Rm astfel încât (x0, λ0) să fie punct staţionar al funcţiei Lagrange L, adică

∇xL(x0,λ0) = 0 şi ∇λL(x0, λ0) = 0, unde

∇xL(x0, λ0) = ( ) ( ) ( )t

0 0 0 0 0 0

1 2 n

L L Lx , , x , ,..., x ,

x x x

∂ ∂ ∂λ λ λ ∂ ∂ ∂

=∇f(x0) - ( )m

0 0i i

i 1

x=

λ ∇ϕ∑

∇λL(x0, λ0) = ( ) ( ) ( )t

0 0 0 0 0 0

1 2 m

L L Lx , , x , ,..., x ,

∂ ∂ ∂λ λ λ ∂λ ∂λ ∂λ

= (ϕ1(x0), ϕ2(x0), ..., ϕm(x0)

Condiţia ∇λL(x0, λ0) = 0 este echivalentă cu condiţia x0∈X.

Teorema 3. (condiţii necesare de ordinul 2) Fie X0 o submulţime deschisă a

lui Rn, f: X0 → R o funcţie de clasă C2 pe X0 şi m un număr întreg pozitiv, m ≤ n.


X = {x∈X0: ϕ1(x) =0, ϕ2(x) =0, ..., ϕm(x) = 0}.

Fie x0 ∈ X astfel încât ( )01 x∇ϕ , ( )02 x∇ϕ , ..., ( )0m x∇ϕ sunt liniar independenţi. Dacă x0 este o soluţie optimă a problemei

( )x Xinf f x∈

atunci există λ0 =( 01λ , 02λ , ...,

0mλ )

t∈Rm unic astfel încât

∇f(x0) = 01λ ( )01 x∇ϕ + 02λ ( )02 x∇ϕ + ... + 0mλ ( )0m x∇ϕ . şi

( ) ( )m

0 0 0i i

i 1

Hf x H x v, v=

< − λ ϕ >

∑ ≥ 0

pentru orice v∈S(x0), unde

S(x0) ={x∈Rn:< ( )01 x∇ϕ , x> = 0, < ( )02 x∇ϕ , x> = 0, ...,< ( )0m x∇ϕ , x> = 0}. Demonstraţie. Din teorema 1 rezultă că există λ0 =( 01λ ,

02λ , ...,

0mλ )

t∈Rm

unic astfel încât

Optimizări

25

∇f(x0) = 01λ ( )01 x∇ϕ + 02λ ( )02 x∇ϕ + ... + 0mλ ( )0m x∇ϕ . Notăm ϕ(x) = (ϕ1(x) , ϕ2(x), ..., ϕm(x))t pentru x∈X0. Fie

v∈S(x0) = {x ∈Rn: ( )( )0x x′ϕ =’}, v≠0. Arătăm că există ε >0 şi o curbă c = (c1, c2, ..., cn): (-ε, ε) → Rn, de clasă C2 astfel

încât c(0) = x0, c� (0) = v şi ϕ(c(t)) = 0 pentru orice t ∈ (-ε, ε), unde

c� (t) = ( 1c ′ (t), 2c ′ (t),... nc ′ (t))t, t∈(-ε,ε).

Construim curba c de forma c(t) = x0 + tv + ( ) ( )m

0i i

i 1

t x=

ψ ∇ϕ∑ , unde

ψ = (ψ1, ψ2, ..ψm) : (-ε, ε) → Rm

este o funcţie ce urmează să fie determinată astfel încât să avem ϕ(c(t)) = 0 pentru

orice t ∈(-ε, ε) (ε > 0 convenabil ales). Deoarece X0 este deschisă şi x0∈X0 există r>0

astfel încât B(x0, r) ⊂ X0. Luăm δ =

( )m

0 2i

i 1

r

v x=

+ ∇ϕ

∑

. Avem

x0 + tv + ( )m

0i i

i 1

u x=

∇ϕ∑ ∈ B(x0, r) ⊂ X.

pentru orice (t,u ) ∈W = (-δ, δ) × B(0, δ) ⊂ Rm+1. Considerăm funcţia

F : W → Rm, F(t,u) = ( )m

0 0i i

i 1

x tv u x=

ϕ + + ∇ϕ

∑ , u = (u1, u2, ...,un)t

Avem det(JuF(0,0)) = det(Jϕ(x0)Jϕ(x0)t) ≠ 0, deoarece rangul matricei

Jϕ(x0) =

0 0 01 1 1

1 2 n

0 0 02 2 2

1 2 n

0 0 0m m m

1 2 n

(x ) (x ) ... (x )x x x

(x ) (x ) ... (x )x x x

...............................................

(x ) (x ) ... (x )x x x

∂ϕ ∂ϕ ∂ϕ ∂ ∂ ∂ ∂ϕ ∂ϕ ∂ϕ ∂ ∂ ∂

∂ϕ ∂ϕ ∂ϕ ∂ ∂ ∂


26

este m. În plus, F(0,0) = ϕ(x0) = 0. În consecinţa, aplicând teorema funcţiilor

implicite rezultă că există ε > 0 , V o vecinătate a punctului 0 ∈ Rm şi o funcţie de

clasă C2, ψ = (ψ1, ψ2, ..ψm) : (-ε, ε) → V astfel încât ψ(0) = 0 şi

( ) ( )m

0 0i i

i 1

x tv t x=

ϕ + + ψ ∇ϕ

∑ pentru orice t ∈ (-ε, ε).

Ca urmare c(t) = x0 + tv + ( ) ( )m

0i i

i 1

t x=

ψ ∇ϕ∑ îndeplineşte condiţiile: ϕ(c(t)) = 0

pentru orice t ∈(-ε, ε) şi c(0) = x0. Diferenţiind în raport cu t în

( ) ( )m

0 0i i

i 1

x tv t x=

ϕ + + ψ ∇ϕ

∑ = 0

obţinem ( )( ) ( ) ( )m 0i ii 1

c t v t x=

′′ϕ + ψ ∇ϕ∑

=0. Pentru t = 0, se obţine

( )( )0x v′ϕ + Jϕ(x0)Jϕ(x0)t ( )t′ψ = 0 de unde ţinând cont că v∈ S(x0) şi că det(Jϕ(x0)Jϕ(x0)t) ≠ 0, rezultă ( )t′ψ =0. În

consecinţă c� (0) = v. Deoarece F este de clasă C2, ψ este de clasă C2 şi ca urmare c

este de clasă C2. Notăm

c�� (t) = ( 1c ′′ (t), 2c ′′ (t),... nc ′′ (t))t

Atunci punctul t = 0 este soluţie optimă a problemei

( )( )t [0, )inf f c t

∈ ε

Ca urmare G′′ (0) ≥ 0, unde G(t) = f(c(t)), t ∈[0, ε). Avem

G′ (t) = f ′ (c(t)) c� (t) = f ′ (c(t)) c� (t) – ( )( )m

0i i

i 1

c t=

′ λ ϕ

∑

= f ′ (c(t)) c� (t) – ( )( ) ( )m

0i i

i 1

c t c t=

′λ ϕ∑ � ,

şi în consecinţă

0≤ G′′ (0) = f ′′ (c(0))( c� (0), c� (0)) + f ′ (c(0)) c�� (0) -

- ( )( ) ( ) ( )( )m

0i i

i 1

c 0 c 0 ,c 0=

′′λ ϕ∑ � � - ( )( ) ( )( )m

0i i

i 1

c 0 c 0=

′λ ϕ∑ ��

Optimizări

27

= f ′′ (c(0))( c� (0), c� (0)) - ( )( ) ( ) ( )( )m

0i i

i 1

c 0 c 0 ,c 0=

′′λ ϕ∑ � �

= f ′′ (x0)(v, v) - ( )( )m

0 0i i

i 1

x v, v=

′′λ ϕ∑

= ( ) ( )m

0 0 0i i

i 1

Hf x H x v, v=

< − λ ϕ >

∑

■

Teorema 4. (condiţii suficiente de ordinul 2) Fie X0 o submulţime deschisă

a lui Rn, f: X0 → R o funcţie de clasă C2 pe X0 şi m un număr întreg pozitiv, m ≤ n.


X = {x∈X0: ϕ1(x) =0, ϕ2(x) =0, ..., ϕm(x) = 0}.

Fie x0 ∈ X astfel încât ( )01 x∇ϕ , ( )02 x∇ϕ , ..., ( )0m x∇ϕ să fie liniar independenţi. Presupunem că există λ0 =( 01λ ,

02λ , ...,

0mλ )

t∈Rm astfel încât

∇f(x0) = 01λ ( )01 x∇ϕ + 02λ ( )02 x∇ϕ + ... + 0mλ ( )0m x∇ϕ . şi

( ) ( )m

0 0 0i i

i 1

Hf x H x v, v=

< − λ ϕ >

∑ > 0

pentru orice v∈S(x0), v≠0 unde

S(x0) ={x∈Rn:< ( )01 x∇ϕ , x> = 0, < ( )02 x∇ϕ , x> = 0, ...,< ( )0m x∇ϕ , x> = 0}. Atunci x0 este o soluţie optimă locală a problemei

( )x Xinf f x∈

.

Demonstraţie. Presupunem prin absurd că x0 nu este soluţie optimă locală.

Atunci există un şir (xk)k în X astfel încât k

klim x→∞

= x0 şi f(xk) < f(x0) pentru orice k.

Fiecare xk poate fi reprezentat ca xk = x0 + δkhk cu δk>0, ||hk|| = 1 (luăm δk =

0 kx x− şi hk = k

1

δ( xk - x0)). Deoarece hk∈ {x∈Rn, ||x||=1} care este o mulţime

compactă, rezultă că, eventual trecând la un subşir, (hk)k este convergent. Fie


28

h0= kklim h→∞

. Evident h0 ≠0. Din faptul că ϕi(x0 + δkhk) -ϕi(x0) = 0 pentru orice k,

rezultă că

0 =( ) ( )0 k 0i k i

k k

x h xlim→∞

ϕ + δ − ϕ

δ=

( ) ( )0 kk i kk k

x ,h olim→∞

δ < ∇ϕ > + δ

δ

= ( )0 kiklim x , h→∞

< ∇ϕ > +( )k

k k

olim→∞

δδ

= ,

deci h0 ∈ S(x0) .

Aplicând formula lui Taylor pentru f obţinem

f(x0 + δkhK) = f(x0) + δk + 1

22kδ + o( 2kδ )

f(x0 + δkhk) - f(x0) = δk + 1

22kδ + o( 2kδ )

0 > δk + 1

22kδ + o( 2kδ ) (4.1)

Aplicând formula lui Taylor pentru ϕi obţinem

ϕi(x0 + δkhk) = ϕi (x0) + δk + 1

22kδ + o( 2kδ ),

de unde,

0 = δk+ 1

22kδ + o( 2kδ ),

şi înmulţind cu 0iλ şi sumând rezultă

0 = δk ( )m

0 0 ki i

i 1

x , h=

λ < ∇ϕ >∑ + 1

22kδ ( )

m0 k 0 ki i

i 1

h ,H x h=

λ < ϕ >∑ + o( 2kδ ) (4.2)

Din (4.1) şi (4.2) rezultă că

0 > δk - δk ( )m

0 0 ki i

i 1

x , h=

λ < ∇ϕ >∑ +

+ 1

22kδ - 1

22kδ ( )

m0 k 0 ki i

i 1

h ,H x h=

λ < ϕ >∑ + o( 2kδ )

Optimizări

29

unde ( )

k

2k

2δ 0 k

o δlim

δ→= 0. Ţinând cont că - ( )

m0 0 ki i

i 1

x , h=

λ < ∇ϕ >∑ =0,

împărţind la 2kδ şi trecând la limită după k, obţinem

0 ≥ - ( )m

0 0 0 0i i

i 1

h , H x h=

λ < ϕ >∑ ,

ceea ce contrazice ipoteza. Deci atunci x0 este o soluţie optimă locală.

■

Observaţie 5. Fie X0 o submulţime deschisă a lui Rn, f: X0 → R o funcţie de

clasă C2 pe X0 şi m un număr întreg pozitiv, m ≤ n. Fie ϕ1, ϕ2, ...,ϕm : X0 → R m

funcţii de clasă C2 pe X0 şi fie

X = {x∈X0: ϕ1(x) =0, ϕ2(x) =0, ..., ϕm(x) = 0}.

Fie L: X0 ×Rm → R funcţia Lagrange:

L(x, λ) = f(x) - ( )m

i ii 1

x=

λ ϕ∑ , λ = (λ1, λ2, ..., λm)t.

Notăm

∇xL(x, λ) = ( ) ( ) ( )t

1 2 n

L L Lx, , x, ,..., x,

x x x

∂ ∂ ∂λ λ λ ∂ ∂ ∂

=∇f(x) - ( )m

i ii 1

x=

λ ∇ϕ∑

HxL(x, λ) = ( )2

i j 1 i, j n

Lx,

x x≤ ≤

∂λ

∂ ∂ =Hf(x) - ( )

m

k kk 1

H x=

λ ϕ∑ .

Teorema 8 poate fi reformulată: Dacă x0 este o soluţie optimă a problemei

( )x Xinf f x∈

şi dacă ( )01 x∇ϕ , ( )02 x∇ϕ , ..., ( )0m x∇ϕ sunt liniar independenţi, atunci există λ0∈Rm astfel încât

1. ∇xL(x0, λ0)=0

2. ≥ 0 pentru orice v ∈ S(x0), unde

S(x0) = {x∈Rn:< ( )01 x∇ϕ ,x> = 0, < ( )02 x∇ϕ ,x> = 0, ...,< ( )0m x∇ϕ ,x> = 0}


30

Teorema 9 poate fi reformulată: Dacă x0 ∈ X astfel încât ( )01 x∇ϕ , ( )02 x∇ϕ , ..., ( )0m x∇ϕ să fie liniar independenţi şi dacă există λ0∈Rm astfel încât

1. ∇xL(x0, λ0)=0

2. pentru orice v ∈ S(x0), v ≠0, unde

S(x0) = {x∈Rn:< ( )01 x∇ϕ , x> = 0, < ( )02 x∇ϕ , x> = 0, ...,< ( )0m x∇ϕ , x > = 0} atunci x0 este o soluţie optimă locală a problemei

( )x Xinf f x∈

.

Optimizări

31

IV. Elemente de analiză convexă

IV. 1. Mulţimi convexe

Definiţie 1. Fie V un spaţiu liniar peste K (K= R sau K= C). O submulţime

X ⊂ V se numeşte convexă dacă pentru orice x1, x2 ∈ X şi orice λ∈(0,1) avem λx1 +

(1-λ)x2 ∈ X.

Deoarece 1x1 + (1-)x2 = x1 şi 0x1 + (1-0)x2 = x2, rezultă că X ⊂ V este

convexă dacă pentru orice x1, x2 ∈ X şi orice λ∈[0,1] avem λx1 + (1-λ)x2 ∈ X.

Pentru orice x1, x2 ∈ V, mulţimea

{λx1 + (1-λ)x2, λ∈(0,1)}

se numeşte segment deschis de capete x1 şi x2. Mulţimea

{λx1 + (1-λ)x2, λ∈[0,1]}

se numeşte segment închis de capete x1 şi x2.

Interpretare geometrică. V = R2, K=R , x1 = (a1, b1)t, x2 = (a2, b2)

t.

Mulţime convexă Mulţime care nu e convexă

b2 b1

a1 a2

Segmentul de capete x1 şi x2


32

Propoziţia 2. Fie V un spaţiu liniar peste K (K= R sau K= C) şi fie X ⊂ V.

Atunci următoarele afirmaţii sunt echivalente:

1. X este mulţime convexă

2. λX + (1-λ)X = X pentru orice λ ∈ (0,1)

3. αX + βX = (α+β)X pentru orice α, β ∈ [0, ∞)

Demonstraţie. 1 =>>>> 2. Fie λ ∈ (0,1) şi fie y∈λX + (1-λ)X. Atunci există x1,

x2 ∈ X astfel încât y = λx1 + (1-λ)x2 ∈ X, deoarece X este convexă. Deci

λX + (1-λ)X ⊂ X

De asemenea pentru orice x ∈ X, avem x = λx + (1-λ)x ∈λX + (1-λ)X. Ca urmare X

⊂ λX + (1-λ)X.

2 =>>>> 3. Dacă unul dintre α şi β este 0 atunci egalitatea este evidentă. Fie α,

β ∈ (0, ∞). Este uşor de observat că

(α+β)X ⊂ αX + βX

(deoarece pentru orice y ∈ (α+β)X, există x ∈ X astfel încât y = (α+β)x = αx + βx ∈

αX + βX). Fie y ∈ αX + βX. Atunci există x1∈ X şi x2 ∈ X astfel încât y = αx1 +

βx2. Notăm λ = α

α + β∈(0, 1). Avem 1 - λ =

βα + β

şi

y = (α + β) (α

α + βx1 +

βα + β

x2)

= (α + β)(λx1 + (1-λ)x2)∈ (α + β)(λX +(1-λ)X)= (α + β)X

Ca urmare αX + βX ⊂ (α + β)X.

3 =>>>>1. Fie x1, x2 ∈ X şi λ ∈ (0,1). Atunci 1 - λ > 0 şi avem conform 3

λx1 + (1-λ)x2 ∈ λX + (1-λ)X = (λ + 1-λ)X = 1X = X.

Deci X este convexă.

■

Propoziţia 3. Fie V un spaţiu liniar peste K (K= R sau K= C) şi fie {Xi}i∈I o

familie de submulţimi convexe ale lui V. Atunci

X = ii I

X∈∩

este mulţime convexă.

Optimizări

33

Demonstraţie. Fie x1, x2 ∈ X şi λ ∈ (0,1). Deoarece Fie x1, x2 ∈ X =

ii I

X∈∩ rezultă că oricare ar fi i ∈I, avem x

1, x2 ∈ Xi. Cum Xi este convexă, rezultă că

λx1 + (1-λ)x2 ∈ Xi pentru orice i ∈ I. În consecinţă λx1 + (1-λ)x2 ∈ ii I

X∈∩ , de unde

rezultă că ii I

X∈∩ este convexă.

■

Propoziţia 4. Fie V1 şi V2 două spaţii liniare peste K (K= R sau K= C) şi fie

A : V1 → V2 o aplicaţie liniară. Fie b∈V2 şi fie f: V1→V2, f(x) = A(x) +b. Atunci

1. Dacă X ⊂ V1 este o mulţime convexă, atunci f(X) este convexă.

2. Dacă Y ⊂ V2 este o mulţime convexă, atunci f-1(Y) este convexă

Demonstraţie. 1. Fie y1, y2 ∈ f(X) şi λ ∈ (0,1). Deoarece Fie y1, y2 ∈ f(X)

rezultă că există x1, x2 ∈ X astfel încât y1 = f(x1) şi y2 = f(x2). Avem

λy1 + (1-λ)y2 = λf(x1) + (1-λ)f(x2) = λA(x1) + λb + (1-λ)A(x2) + (1-λ)b

= λA(x1) + (1-λ)A(x2) +b

= A(λx1 + (1-λ)x2) +b

= f(λx1 + (1-λ)x2)

Cum X este convexă λx1 + (1-λ)x2 ∈ X, şi deci λy1 + (1-λ)y2 ∈ f(X), ceea ce implică

f(X) convexă.

2. Fie x1, x2 ∈ f-1(Y) şi λ ∈ (0,1). Deoarece x1, x2 ∈ f-1(Y) rezultă că f(x1)∈Y

şi f(x2) ∈Y. Cum Y este convexă, f(x1), f(x2) ∈Y şi λ∈ (0,1), rezultă că

λf(x1) + (1-λ)f(x2)∈Y. Pe de altă parte avem

f(λx1 + (1-λ)x2) = A(λx1 + (1-λ)x2) +b

= λA(x1) + (1-λ)A(x2) +b

= λA(x1) + (1-λ)A(x2) + (λ + 1-λ)b

= λA(x1) + λb + (1-λ)A(x2) + (1-λ)b

= λf(x1) + (1-λ)f(x2) ∈Y,

de unde rezultă că λx1 + (1-λ)x2 ∈ f-1(Y), ceea ce implică f-1(Y) convexă.

■


34

Exemple. Fie V un spaţiu pre-Hilbert peste R, a∈ R şi c ∈ V. Următoarele

mulţimile sunt convexe:

1. H = {x∈V: = a }

2. S> = {x∈V: > a }

3. S≥ = {x∈V: ≥ a }.

Lema 5. Fie V un spaţiu normat peste K (K= R sau K= C) şi fie X o

submulţime convexă a lui V. Dacă x1∈int(X) şi x2∈X, atunci

λx1 + (1-λ)x2 ∈ int(X)

pentru orice λ ∈ (0,1).

Demonstraţie. Fie λ ∈ (0,1). Deoarece x1∈int(X), există r > 0 astfel încât

B(x1, r) ⊂ int(X). Din faptul că x2∈X rezultă că B(x2, λr) ∩ X ≠ ∅. Fie

y∈B(x2,λr)∩X. Avem x2 = x2 – y + y ∈B(0, λr) + y ⊂ B(0, λr) + X. Pe de altă parte

λx1 + (1-λ)x2 + λB(0, λr) ⊂ λx1 + (1-λ) B(0, λr)+ (1-λ)X+ λB(0, λr) =

= λx1 + B(0, λr)+ (1-λ)X = λB(x1, r) + (1-λ)X ⊂ λX + (1-λ)X = X.

În consecinţă λx1 + (1-λ)x2 + λB(0, λr) ⊂ X, ceea ce conduce la

B(λx1 + (1-λ)x2, λ2r) ⊂ X.

Deci λx1 + (1-λ)x2 ∈ int(X).

■

Propoziţie 6. Fie V un spaţiu liniar peste K (K= R sau K= C) şi fie X o

submulţime convexă a lui V. Atunci int(X) şi X sunt mulţimi convexe.

Demonstraţie. Faptul că int(X) este mulţime convexă rezultă din lema 5. Fie

x, y ∈ X şi fie λ∈(0,1). Deoarece x ∈ X, există un şir (xk)k de elemente din X astfel

încât kklim x→∞

= x. Analog, există un şir (yk)k de elemente din X astfel încât k

klim y→∞

=

y. Din faptul că X este convexă rezultă că λxk + (1-λ) yk∈X. Ţinând cont că

λx + (1-λ) y = λ kklim x→∞

+(1-λ) kklim y→∞

= ( )( )k kklim x 1 y→∞

λ + − λ ∈X,

deducem că X este mulţime convexă.

■

Optimizări

35

Definiţia 7. Fie V un spaţiu liniar peste K (K= R sau K= C) şi fie X o

submulţime a lui V. Se numeşte acoperire convexă (sau înfăşurătoare convexă) a

lui X şi se notează cu co(X) cea mai mică (în sensul relaţiei de incluziune) mulţime

convexă în care este inclusă X.

Se numeşte combinaţie liniară convexă a m vectori x1, x2, ...., xm din V orice

vector x = m

ii

i 1

x=

λ∑ cu λi ≥ 0 pentru orice i = 1..m şi m

ii 1=

λ∑ = 1.

Conform definiţiei co(X) este determinată de următoarele proprietăţi:

1. co(X) este convexă

2. X ⊂ co(X)

3. Dacă Y este o mulţime convexă cu X ⊂ Y, atunci co(X) ⊂ Y.

Lema 8. Fie V un spaţiu liniar peste K (K= R sau K= C) şi fie X o

submulţime lui V. Atunci co(X) este intersecţia tuturor mulţimilor convexe ce includ

pe X.

Demonstraţie. Notăm C intersecţia tuturor mulţimilor convexe ce includ pe

X. Conform propoziţiei 3, C este mulţime convexă. Evident X ⊂ C şi în plus, dacă Y

este o mulţime convexă cu X ⊂ Y, atunci Y este din familia a cărei intersecţie este C,

deci C ⊂ Y. Ca urmare co(X) = Y.

■


submulţime lui V. Atunci X este convexă dacă şi numai dacă X=co(X).

Demonstraţie. Evident.

■


submulţime convexă a lui V. Atunci X conţine orice combinaţie liniară convexă de

vectori din X.

Demonstraţie. Fie m vectori x1, x2, ...., xm din V şi fie λ1, λ2, ..., λm ∈ R, cu

λi ≥ 0 pentru orice i = 1..m şi m

ii 1=

λ∑ = 1. Demonstrăm prin inducţie după m că x =


36

mi

ii 1

x=

λ∑ ∈ X. Dacă m = 1, atunci 1x = x ∈X. Presupunem afirmaţia adevărată pentru

m şi o demonstrăm pentru m+1. Fie x1, x2, ...., xm+1 din V şi fie λ1, λ2, ..., λm+1 ∈ K,

cu λi ≥ 0 pentru orice i = 1..m+1 şi m 1

ii 1

+

=λ∑ = 1. Dacă λm+1=1, atunci fie λ1= λ2 =...=

λm = 0 şi m 1

ii

i 1

x+

=λ∑ = xm+1 ∈X. Dacă λm+1=0, atunci conform ipotezei de inducţie

m 1i

ii 1

x+

=λ∑ =

mi

ii 1

x=

λ∑ ∈X. Presupunem că λm+1∉{0,1} şi notăm

λ = m

ii 1=

λ∑ ∈ (0,1).

Avem iλλ

≥0 pentru orice i = 1..m şi m

i

i 1=

λλ∑

= 1. Aplicând ipoteza de inducţie rezultă

că m

ii

i 1

x=

λλ∑

∈ X. Ţinând cont că

m 1i

ii 1

x+

=λ∑ = λ

mii

i 1

x=

λλ∑

+ (1-λ) xm+1

şi că X este o mulţime convexă, deducem că m 1

ii

i 1

x+

=λ∑ . Am arătat astfel că dacă

afirmaţia este adevărată pentru m este adevărată şi pentru m+1.

■

Propoziţia 11. Fie Fie V un spaţiu liniar peste K (K= R sau K= C) şi fie X o

submulţime lui V. Atunci co(X) este mulţimea tuturor combinaţiilor liniare convexe

de vectori din X.

Demonstraţie. Notăm cu C mulţimea tuturor combinaţiilor liniare convexe de

vectori din X. Pentru orice x ∈ X avem x = 1x ∈C, deci X ⊂ C. Arătăm că C este

mulţime convexă. Fie z1, z2 ∈ C. Atunci există m ∈ N, λ1, λ2, ..., λm ∈ R, cu λi ≥ 0

Optimizări

37

pentru orice i = 1..m şi m

ii 1=

λ∑ = 1, şi există x1, x2, ...., xm ∈X astfel încât z1 = m

ii

i 1

x=

λ∑ .

De asemenea există p ∈ N, µ1, µ2, ..., µp ∈ R, cu µi ≥ 0 pentru orice i = 1..p şi

p

ii 1=

µ∑ = 1, şi există y1, y2, ...., yp ∈ X astfel încât z2 = p

ii

i 1

y=

µ∑ . Pentru orice λ∈ (0, 1)

avem

λz1 + (1-λ)z2 = λm

ii

i 1

x=

λ∑ +(1-λ)p

ii

i 1

y=

µ∑

= m

ii

i 1

x=

λλ∑ + ( )p

ii

i 1

1 y=

− λ µ∑

Ţinând cont căm

ii 1=

λλ∑ + ( )p

ii 1

1=

− λ µ∑ = λm

ii 1=

λ∑ +(1-λ)p

ii 1=

µ∑ = λ + (1-λ) =1, rezultă că

λz1 + (1-λ)z2 este o combinaţie liniară convexă de vectori din X, deci λz1 + (1-λ)z2

∈C, de unde rezultă că C este convexă.

Faptul că C este convexă şi conţine pe X, are drept consecinţă co(X) ⊂ C.

Pentru orice x ∈ C, există m ∈ N, λ1, λ2, ..., λm ∈ K, cu λi ≥ 0 pentru orice i = 1..m

şi m

ii 1=

λ∑ = 1, şi există x1, x2, ...., xm ∈X astfel încât x = m

ii

i 1

x=

λ∑ . Deoarece x1, x2, ....,

xm ∈X ⊂ co(X) şi deoarece co(X) este convexă, aplicând lema 10 obţinem m

ii

i 1

x=

λ∑ ∈

co(X), adică C ⊂ co(X). Astfel C = co(X).

■


submulţime deschisă a lui V. Atunci co(X) este deschisă.

Demonstraţie. Din faptul că X ⊂ co(X), rezultă că int(X) ⊂ int(co(X)). Cum

X este deschisă, int(X) = X, şi deci X ⊂ int(co(X)). Conform propoziţiei 6,

int(co(X)) este convexă. Cum X ⊂ int(co(X)) convexă, rezultă co(X) ⊂ int(co(X)), de

unde se obţine co(X) este deschisă.

■


38

Definiţie 13. Fie V un spaţiu liniar peste K (K= R sau K= C) şi fie X o

submulţime convexă a lui V. Un vector x0 ∈ X se numeşte punct extremal sau vârf

al lui X dacă şi numai dacă nu există două puncte distincte x1, x2 ∈ X astfel încât x să

se scrie sub forma x0 = λx1 + (1-λ)x2 cu λ∈(0,1). O submulţime convexă A ⊂ X se

numeşte submulţime extremală a lui X dacă pentru orice λ∈(0,1) şi x1, x2∈X cu λx1

+ (1-λ)x2 ∈A rezultă x1 şi x2 ∈A.


submulţime convexă a lui V. Următoarele afirmaţii sunt echivalente

1. x este punct extremal al lui X

2. Mulţimea X - {x0} este convexă

Demonstraţie. Evident.

■

IV.2. Problema celei mai bune aproximări

Definiţie 15. Fie (S, d) un spaţiu metric şi X o submulţime a sa. Fie x0 un

element al lui S. Se numeşte element de cea mai bună aproximare a lui x0 pe X un

element p0∈X astfel încât

d(p0, x0) = x Xinf∈

d(x, x0)

Teoremă 16. Fie H un spaţiu Hilbert (real sau complex), X o submulţime

nevidă convexă închisă a lui H şi x0 ∈ H. Atunci există şi este unic este element p0 de

cea mai bună aproximare a lui x0 pe X.

Demonstraţie. Deoarece pentru orice x ∈ X avem ||x – x0|| ≥ 0, rezultă că

0

0

x Xinf x x∈

− ≥ 0 şi că există un şir (xn)n≥1 în X astfel încât:

n 0

nlim || x x ||→∞

− =0

0

x Xinf || x x ||∈

− .

Optimizări

39

Pentru orice m, n∈N*, avem 1

2xn +

1

2xm ∈X deoarece X este convexă. Ca

urmare

||1

2xn +

1

2xm – x0 || ≥

0

0

x Xinf || x x ||∈

− ⇔

1

2||xn + xm – 2x0 || ≥

0

0

x Xinf || x x ||∈

− ⇔

1

4||xn – x0+ xm – x0 ||2 ≥ (

0

0

x Xinf || x x ||∈

− )2.

Fie ε>0 fixat . Atunci deoarece n 0nlim || x x ||→∞

− =0

0

x Xinf || x x ||∈

− , există nε ∈ N

astfel încât pentru orice n ≥ nε avem

|| xn – x0 ||2 < (0

0

x Xinf || x x ||∈

− )2 + ε/4.

Pentru orice m, n ≥ nε avem

||xn – xm ||2 = ||xn – x0- (xm – x0) ||2

= 2||xn – x0||2 + 2||xm – x0||2 - ||xn – x0+ xm – x0 ||2

≤ 2||xn – x0||2 + 2||xm – x0||2 - 4(0

0

x Xinf || x x ||∈

− )2

< 4(0

0

x Xinf || x x ||∈

− )2 + ε - 4(0

0

x Xinf || x x ||∈

− )2

= ε.

Deci şirul (xn)n este şir Cauchy şi în consecinţă convergent (fiindcă H este complet).

Fie p0 = nnlim x→∞

. Din faptul că X este închisă şi xn ∈ X pentru orice n ≥1, rezultă că

p0 ∈ X. Pe de altă parte avem

||p0 – x0|| = || nnlim x→∞

- x0 || = n 0nlim || x x ||→∞

− =0

0

x Xinf || x x ||∈

−

şi deci p0 este element de cea mai bună aproximare a lui x0 pe X.

Să demonstrăm unicitatea elementului de cea mai bună aproximare.

Presupunem prin absurd că există p1 ≠ p2 elemente de cea mai bună aproximare a lui

x0 pe X. Deoarece X este o mulţime convexă, p =2

1 p1 + 2

1 p2∈ X. Avem


40

||p-x0||2 = ||2

1 p1 + 2

1 p2-x0||2 =4

1 || p1 – x0 + p2 – x0||2 <

<4

1 || p1 – x0 + p2 – x0||2 +4

1 || p1 – x0 – (p2 – x0)||2

=2

1 (|| p1 – x0 ||2 + || p2 – x0||2)

≤|| p1 – x0 ||2.

Deci p ∈ X şi ||p-x0|| < || p1 – x0 ||, contradicţie cu faptul că p1 este element de cea mai

bună aproximare a lui x0 pe X. Rezultă că presupunerea este falsă, şi în consecinţă

elementul de cea mai bună aproximare este unic.

■

Teoremă 17. Fie H un spaţiu pre-Hilbert real, X o submulţime convexă a lui

H şi x0 ∈ H. Un element p0 ∈ X este element de cea mai bună aproximare a lui x0 pe

X dacă şi numai dacă

≤ 0

pentru orice x∈X.

Demonstraţie. Presupunem că p0 ∈ X este element de cea mai bună

aproximare a lui x0 pe X şi demonstrăm că ≤ 0 pentru orice x∈X.

Presupunem prin absurd că există y0∈X astfel încât

> 0.

Evident y0 ≠ p0. Fie α astfel încât

0< α <

−

−−200

0000

yp

yp,xp2,1min .

Deoarece X este o mulţime convexă şi α∈(0, 1), αy0 + (1-α)p0∈ X. Avem

||αy0 + (1-α)p0 – x0||2 =

=

= + 2 +< p0 – x0, p0 – x0>

= α2|| y0 – p0 ||2 - 2α + || p0 – x0||2

=α(α|| y0 – p0 ||2 - 2) + || p0 – x0||2

Optimizări

41

≤ 0

pentru orice x∈X.

Reciproc, presupunem că ≤ 0 pentru orice x∈X şi demonstrăm

că p0 ∈ X este element de cea mai bună aproximare a lui x0 pe X. Dacă p0 = x0,

atunci este evident că p0 este element de cea mai bună aproximare a lui x0 pe X.

Presupunem p0 ≠ x0 şi considerăm un x∈X oarecare. Avem

||p0-x0||2 = < p0-x0, p0 -x0> = < p0 -x0, p0 - x + x - x0>

= < p0-x0, p0 - x> + < p0 -x0, x- x0>

≤ < p0-x0, x- x0> ≤ || p0-x0|| || x- x0||.

Deci ||p0-x0||2 ≤ || p0-x0|| || x- x0|| pentru orice x∈X. Împărţind inegalitatea cu

|| p0 -x0|| > 0,

obţinem

||p0-x0|| ≤ || x- x0|| pentru orice x∈X,

adică p0 ∈ X este element de cea mai bună aproximare a lui x0 pe X.

■

Teoremă 18. Fie H un spaţiu pre-Hilbert real, H0 un subspaţiu liniar al lui H

şi x0 ∈ H. Un element p0 ∈ H0 este element de cea mai bună aproximare a lui x0 pe

H0 dacă şi numai dacă

p0-x0 ⊥ H0 (sau echivalent, < p0-x0, x> = 0 pentru orice x∈H0).

Demonstraţie. Dacă H0 un subspaţiu liniar al lui H, atunci H0 este în

particular, o mulţime convexă. Dacă < p0-x0, x> = 0 pentru orice x∈H0, atunci în

particular, = 0 şi < p0-x0, p0 - x> = 0 ≤ 0 pentru orice x∈H0. Conform

teoremei precedente rezultă că p0 ∈ H0 este element de cea mai bună aproximare a

lui x0 pe H0.

Reciproc, să presupunem că p0 ∈ H0 este element de cea mai bună

aproximare a lui x0 pe H0, şi să demonstrăm că < p0-x0, x> = 0 pentru orice x∈H0.

Conform teoremei precedente avem

≤ 0 pentru orice x∈ H0,

sau echivalent

≤ pentru orice x∈ H0. (18.1)


42

Fie x∈H0 fixat şi fie α > 0. Pentru orice x ∈ H0, αx şi -αx ∈H0. Înlocuind în relaţia

(18.1) cu αx, respectiv cu -αx, obţinem:

≤ (sau echivalent, ≤α)

≤ (sau echivalent, ≤-α).

De unde rezultă că,

α1 ≤ ≤ -

α1 , pentru orice α>0.

Trecând la limită, α → ∞, obţinem

0 ≤ ≤ 0.

În consecinţă, = 0 pentru orice x∈H0.

■

IV.3. Separarea mulţimilor convexe prin hiperplane

Definiţie 19. Fie H un spaţiu pre-Hilbert real, a∈H\{0} şi b ∈R. Se numeşte

hiperplan determinat de a şi b mulţimea:

Ha,b = {x∈H: = b}.

Spunem că hiperplanul Ha,b separă mulţimile X, Y ⊂ H dacă şi numai dacă

x Xsup a, x∈

< > ≤ b ≤ y Yinf a, y∈

< > .

Se spunem că mulţimile X, Y ⊂ H sunt separabile printr-un hiperplan, dacă există

un hiperplan Ha,b care le separă.

Propoziţie 20. Fie H un spaţiu pre-Hilbert real. Mulţimile X, Y ⊂ H nevide

sunt separabile printr-un hiperplan dacă şi numai dacă mulţimile {0} şi Y-X sunt

separabile printr-un hiperplan.

Demonstraţie. Presupunem că Ha,b separă mulţimile X şi Y. Atunci

x Xsup a, x∈

< > ≤ b ≤ y Yinf a, y∈

< >

de unde rezultă că

0 ≤ y Yinf a, y∈

< > -x Xsup a, x∈

< > = y Yinf a, y∈

< > +x Xinf a, x∈

− < >

Optimizări

43

= y Yinf a, y∈

< > +x Xinf a, x∈

< − >

= y Yinf a, y∈

< > +x Xinf a, x∈−

< >

≤ z Y X

inf a, z∈ −

< > .

Deci Ha,0 separă mulţimile {0} şi Y – X.

Reciproc dacă Ha,b separă mulţimile {0} şi Y – X, atunci

0 ≤ b ≤ z Y X

inf a, z∈ −

< > ,

şi ca urmare ≤ pentru orice x∈X şi y ∈Y, de unde rezultă că

x Xsup a, x∈

< > ≤ y Yinf a, y∈

< > .

Notăm b1 = x Xsup a, x∈

< > , b2 = y Yinf a, y∈

< > şi c = 1 2b b

2

+. Avem b1 ≤ c ≤ b2 şi în

consecinţă:

x Xsup a, x∈

< > ≤ c ≤ y Yinf a, y∈

< > ,

ceea ce este echivalent cu Ha,c separă mulţimile X şi Y.

■

Lema 21. Fie H un spaţiu Hilbert real şi X ⊂ H o mulţime nevidă convexă

închisă. Atunci există p ∈ X astfel încât pentru orice x∈ X avem

≤ 0.

Demonstraţie. Conform teoremei 16 există p∈X element de cea mai bună

aproximarea a lui 0 pe X. Conform teoremei 17 pentru orice x∈ X avem

≤ 0.

■

Propoziţie 22. Fie H un spaţiu Hilbert real şi fie x0∈H. Fie X ⊂ H o mulţime

convexă nevidă închisă astfel încât x0 ∉ X. Atunci există a∈H\{0} şi b∈R astfel

încât

< b ≤ ,

pentru orice x ∈X.


44

Demonstraţie. Aplicând lema 21 mulţimii convexe închise X - {x0} rezultă că

există a∈X-{x0} astfel încât pentru orice x∈ X avem

≤ 0 ⇔

≤

Notăm b = . Deoarece a∈X-{x0}, a≠0 (altfel x0∈X). Deci pentru orice x∈

X avem

b ≤

şi pe de altă parte

b = = + > .

■

Teoremă 23. Fie H un spaţiu Hilbert real finit dimensional. Fie X ⊂ H o

mulţime convexă. Atunci mulţimile {0} şi X sunt separabile printr-un hiperplan dacă

şi numai dacă 0 ∉ int(X).

Demonstraţie. Presupunem că hiperplanul Ha,b separă mulţimile {0} şi X .

Atunci

0 ≤ b ≤ x Xinf a, x∈

< > ,

şi ca urmare 0 ≤ pentru orice x∈X. Pentru orice n ∈ N*, avem

< a, - 1

na> = -

1

n 0 astfel

încât B(0, δ) ⊂ X. Pe de altă parte, din faptul că n

1lim a

n→∞− = 0, rezultă că

există nδ ∈ N, astfel încât -1

na ∈ B(0, δ) ⊂ X pentru orice n ≥ nδ , ceea ce contrazice

faptul că -1

nδa ∉ X.

Reciproc, să presupunem că dacă 0 ∉ int(X). Dacă 0 ∉X, atunci aplicând

propoziţia 22, rezultă că există un hiperplan ce separă {0} şi X, şi în consecinţă {0}

şi X. Dacă 0 ∈X, cum 0 ∉int(X), rezultă 0 ∈ Fr(X). Atunci există un şir (xn)n în H-

Optimizări

45

X astfel încât nnlim x→∞

=0. Pentru fiecare n, xn ∉X. Aplicând propoziţia 22, rezultă

că există an∈H-{0} şi bn ∈ R, astfel încât

≤ bn ≤ (23.1)

pentru orice z ∈ X. Fără a reduce generalitatea putem lua bn = . Împărţind în

(23.1) cu ||an||, obţinem:

≤ ||an||-1 bn ≤ (23.2)

pentru orice x ∈X ⊂X.

Cum pentru orice n, ||an||-1 an ∈S(0,1) = {x∈H : ||x|| = 1} şi S(0,1) este

compactă, eventual trecând la un subşir, rezultă că (||an||-1 an)n este convergent la un a

∈S(0,1). Ca urmare (||an||-1 bn)n este convergent la 0 (ţinând cont că bn = şi

n

nlim x→∞

=0). Trecând la limită în (23.2) cu n → ∞, obţinem

0 ≤

pentru orice x ∈ X. În consecinţă, Ha,0 separă mulţimile {0} şi X.

■

Corolar 24. Fie H un spaţiu Hilbert real finit dimensional. Fie X, Y ⊂ H

două mulţimi convexe nevide. Atunci mulţimile X şi Y sunt separabile printr-un

hiperplan dacă şi numai dacă 0 ∉ int(Y-X).

Demonstraţie. Conform propoziţiei 20, mulţimile X, Y ⊂ H nevide sunt

separabile printr-un hiperplan dacă şi numai dacă mulţimile {0} şi Y-X sunt

separabile printr-un hiperplan. Din teorema 23 rezultă că {0} şi Y-X sunt separabile

printr-un hiperplan dacă şi numai dacă 0 ∉ int(Y-X).

■


două mulţimi convexe nevide cu proprietatea că X ∩ Y = ∅. Atunci mulţimile X şi

Y sunt separabile printr-un hiperplan.

Demonstraţie. Dacă X ∩ Y = ∅, atunci 0∉Y-X şi în particular,

0 ∉ int(Y-X) .

Conform corolarului 24, mulţimile X, Y sunt separabile printr-un hiperplan.


46

■


două mulţimi convexe nevide cu proprietatea că int(X) ≠ ∅ şi int(X) ∩ Y = ∅.

Atunci mulţimile X şi Y sunt separabile printr-un hiperplan care nu conţine nici un

punct din int(X).

Demonstraţie. Dacă int(X) ∩ Y = ∅, atunci conform corolarului 25 există

un hiperplan Ha,b care separă int(X) de Y. Deci există a∈H\{0} şi b∈R astfel încât

≤ b ≤ (26.1)

pentru orice x ∈ int(X) şi orice y ∈Y. Deoarece int(X)≠ ∅, există x0 ∈ int(X). Fie

x∈X oarecare şi fie λ ∈(0,1). Atunci λx + (1-λ)x0 ∈ int(X) (conform lemei 5) şi

ţinând cont de (26.1) rezultă că pentru orice y ∈Y avem

≤ b ≤ (26.2)

Trecând la limită în (26.2) cu λ → 1 (λ 0 astfel încât B(x, ε) ⊂ int(X). Deoarece

> 0, există k ∈ N astfel încât

= k > b

Fie δ = 1

2

1

|| ka x ||−ε. Atunci x + δ(ka-x) ∈B(x, ε) ⊂ int(X) şi ca urmare

< a, x + δ(ka-x)> ≤ b. (26.3)

Pe de altă parte

=

= (1-δ) + δ

= (1-δ)b + δ

Optimizări

47

> (1-δ)b + δb = b. (26.4)

Astfel din (26.3) şi din (26.4) se obţine o contradicţie (b < b). În consecinţă

presupunerea că Ha,b ∩ int(X) ≠ ∅ este falsă.

■

Teoremă 27. Fie H un spaţiu Hilbert real. Fie X ⊂ H o mulţime convexă

compactă şi Y ⊂ H o mulţime convexă închisă cu proprietatea că X ∩Y= ∅. Atunci

există a∈H\{0} şi b∈R astfel încât

< b <

pentru orice x ∈ X şi orice y ∈Y.

Demonstraţie. Este uşor de observat că mulţimea

X-Y ={x-y: y∈Y şi x∈X>

este o mulţime închisă. Deoarece X∩Y= ∅, rezultă că 0∉X-Y. Conform propoziţie

22 există a∈H\{0} şi c∈R astfel încât

0 < c ≤ ,

pentru orice z ∈X-Y. Ca urmare,

c + ≤ , (27.1.)

pentru orice x ∈ X şi orice y ∈Y. Deoarece funcţia

x →

este continuă, rezultă că îşi atinge extremele pe mulţimea compactă X. În particular,

există x0 ∈ X astfel încât ≤ pentru orice x ∈ X. Pe de altă parte,

ţinând cont de (27.1) şi de faptul că x0 ∈ X, obţinem

c + ≤ ,

pentru orice y ∈Y, şi deci

< c + ≤ y Yinf a, y∈

< >

Luând

b = 1

2(

y Yinf a, y∈

< > +),


48

avem

≤ < b < y Yinf a, y∈

< > ≤

pentru orice x ∈ X şi orice y ∈ Y.

■

IV.4. Hiperplan de sprijin

Definiţie 28. Fie H un spaţiu pre-Hilbert real şi fie X ⊂ H, spunem că

hiperplanul

Ha,b = {x∈H: = b}.

(a∈H \ {0} şi b ∈R) este hiperplan de sprijin al lui X dacă

x Xsup a, x∈

< > = b.

Un hiperplan de sprijin Ha,b al lui X ce conţine un punct x0 ∈ H, se spune hiperplan

de sprijin al lui X în x0. Un hiperplan de sprijin Ha,b al lui X în x0∈X se spune

hiperplan de sprijin strict dacă Ha,b ∩ X = {x0} (x0 este unicul punct de intersecţie al

hiperplanului de sprijin Ha,b cu X).

Teoremă 29. Fie H un spaţiu Hilbert real finit dimensional. Fie X ⊂ H o

mulţime convexă şi fie x0∈X. Condiţia necesară şi suficientă de existenţă a unui

hiperplan de sprijin al lui X care să conţină x0 este ca x0∈Fr(X).

Demonstraţie. Fie Ha,b un hiperplan de sprijin al lui X care conţine pe x0.

Arătăm că Ha,b ∩ int(X) = ∅. Presupunem prin absurd că Ha,b ∩ int(X) ≠ ∅. Fie x ∈

Ha,b ∩ int(X). Avem = b, iar din faptul că x∈int(X) rezultă căexistă ε > 0 astfel

încât B(x, ε) ⊂ int(X). Deoarece > 0, există k ∈ N astfel încât

= k > b

Fie δ = 1

2

1

|| ka x ||−ε. Atunci x + δ(ka-x) ∈B(x, ε) ⊂ int(X) ⊂ X şi ca urmare

< a, x + δ(ka-x)> ≤ b. (29. 1)

Optimizări

49

Pe de altă parte

=

= (1-δ) + δ

= (1-δ)b + δ

> (1-δ)b + δb = b (29.2).

Astfel din (29.1) şi din (29.2) se obţine o contradicţie (b < b). În consecinţă

presupunerea că Ha,b ∩ int(X) ≠ ∅ este falsă. În consecinţă, cum x0 ∈ Ha,b, rezultă că

x0∉int(X). Deci x0 ∈ X-int(X) = Fr(X).

Reciproc, fie x0 ∈ Fr(X). Atunci 0 ∉int(X-x0) şi aplicând corolarul 24 rezultă

că există un hiperplan Ha,b care separă X de {x0}, sau echivalent există a ∈ H\{0} şi

b ∈ R astfel încât:

≤ b ≤

pentru orice x ∈X. Deoarece x0 ∈X rezultă că există un şir (xn)n în X astfel încât

n

nlim x→∞

= x0. Avem

≤ b ≤

şi trecând la limită cu n → ∞, obţinem

≤ b ≤ ,

adică b = sau echivalent x0 ∈ Ha,b. Avem pe de o parte

x Xsup a, x∈

< > ≤ b (29.3)

şi pe de altă parte

x Xsup a, x∈

< > ≥

şi trecând la limită cu n → ∞, obţinem

x Xsup a, x∈

< > ≥ , (29.4)


50

Din (29.3) şi (29.4) ţinând cont că b = , rezultă că x Xsup a, x∈

< > = b, deci

Ha,b este hiperplan de sprijin al lui X ce trece prin x0.

■

Teoremă 30 (teorema Krein-Milman). Fie H un spaţiu Hilbert real. Fie X ⊂

H o mulţime convexă nevidă compactă. Atunci închiderea acoperii liniare convexe a

mulţimii punctelor extremale ale lui X este egală cu X.

Demonstraţie. Pasul 1: Arătăm că mulţimea punctelor extremale ale lui X

este nevidă.

Fie A ={A ⊂ X, A submulţime închisă extremală a lui X}. Arătăm A că este

inductiv ordonată relativ la relaţia de ordine definită prin

A < B ⇔ B ⊂ A.

Fie F = {Ai}i∈I o familie total ordonată de elemente din A. Atunci ii I

A∈∩ este nevidă

deoarece {Ai}i∈I este o familie de submulţimi închise ale lui X cu proprietatea

intersecţiei finite iar X este compactă. Se observă vă că ii I

A∈∩ este majorant al lui F.

Deci conform lemei lui Zorn A are un element maximal. Fie A0 un astfel de element

maximal. Arătăm că A0 are un singur element. Presupunem prin absurd că există x0

şi x1∈A0 cu x0 ≠ x1. Atunci există a∈H-{0} astfel încât ≠ . Fie A1 =

{x∈A0, =inf{, y∈A0}}. Atunci A1 este o submulţime extremală a lui X ce

este inclusă strict în A0, ceea ce contrazice maximalitatea lui A0. Deci A0 are un

singur element şi în consecinţă, mulţimea punctelor extremale ale lui X este nevidă.

Pasul 2: Notăm cu L închiderea acoperii liniare convexe a mulţimii punctelor

extremale ale lui X. Arătăm că L = X. Presupunem prin absurd că există x0 ∈ X

astfel încât x∉ L. Atunci conform propoziţiei 22 există a ∈ H-{0} şi b∈ R astfel

încât

< b ≤ (30.1)

pentru orice z ∈ L. Fie B = {x∈X, =inf{, y∈K}}. Atunci B este o

submulţime extremală a lui X. Conform pasului 1 mulţimea punctelor extremale ale

lui B este nevidă. Fie z0 un punct extremal al lui B. Deoarece z0 este punct extremal

Optimizări

51

şi pentru K (B fiind extremală în K), rezultă că z0 ∈ L. Pe de o parte conform (30.1)

avem

< , (30.2)

iar pe de altă parte, z0∈B deci

= inf{, y∈K} ≤ (30.3).

Din (30.2) şi (30.3) se obţine o contradicţie ( < ≤ ), în

consecinţă presupunerea că L ≠ X este falsă.

■

Observaţie 31. Dacă H un spaţiu Hilbert real de dimensiune finită n şi X o

submulţime convexă nevidă compactă a lui H, atunci orice x∈X poate fi scris ca o

combinaţie liniară convexă de puncte extremale ale lui X (demonstraţia se face prin

inducţie după n). Mai mult, se poate arăta că orice x∈X poate fi scris ca o

combinaţie liniară convexă de cel mult n+1 puncte extremale ale lui X.

IV.5.Conuri convexe

Definiţie 32. Fie H un spaţiu liniar (real sau complex). Mulţimea K ⊂ H se

numeşte con convex dacă şi numai dacă satisface condiţiile:

1. K este mulţime convexă

2. αx∈K pentru orice x ∈K şi orice α∈R cu α > 0.

O mulţime K ⊂ H se numeşte con convex închis dacă

1. K este închisă

2. K este con convex.

Observaţie 33. 1. Dacă mulţimea K este con convex, atunci pentru orice x,

y∈K, avem x + y ∈ K (într-adevăr, din condiţia 2 din definiţia conului convex avem

1

2x ∈K şi

1

2y ∈K; deoarece K este convexă avem

1

2x +

1

2y ∈K, şi ţinând cont din

nou de condiţia 2, rezultă că 2 (1

2x +

1

2y) ∈ K, adică x +y ∈ K).

2. Dacă H este spaţiu normat şi dacă mulţimea nevidă K ⊂ H este con convex

atunci 0∈K (într-adevăr, fie x ∈K; pentru orice n ≥1, conform condiţiei 2 din


52

definiţia conului convex avem 1

nx∈K şi ca urmare

n

1lim x

n→∞∈K, deci 0∈K). În

particular, dacă mulţimea nevidă K este con convex închis atunci 0∈ K.

Propoziţie 34. Fie H un spaţiu normat şi fie K ⊂ H un con convex. Atunci

K şi int(K) sunt conuri convexe.

Demonstraţie. Mulţimea K ⊂ H fiind con convex, K este mulţime convexă,

ceea ce implică K şi int(K) mulţimi convexe (conform propoziţiei 6). Rămâne să

arătăm că int(K) şi K satisfac şi condiţia 2 din definiţia 32 (a conului convex). Fie

x ∈ K şi fie α>0. Deoarece x ∈ X, există un şir (xn)n de elemente din K astfel încât

n

nlim x→∞

= x. Din faptul că mulţimea K este con, rezultă că αxn ∈K şi deci

n

nlim x→∞

α ∈K, ceea ce implică αx = α nnlim x→∞

= nnlim x→∞

α ∈K.

Fie x ∈ int(K) şi fie α>0. Dacă α < 1, atunci ţinând cont de faptul că 0∈K şi de

lema 5, rezultă că αx = αx + (1-α)0 ∈int(K). Pentru α ≥1, fie {α} partea fracţională

a lui α şi fie [α] >0 partea întreagă a lui α. Atunci deoarece K este con convex

[α]{ }1

1− αx∈K şi conform lemei 5,

αx = ({α} + [α])x = {α}x + [α]x = {α}x + (1-{α}) [α]{ }1

1− αx ∈int(K).

■

Exemple 35. (de conuri convexe)

1. K= n+R ={x∈Rn, x≥0}, x=(x1, x2, ..., xn)t≥0 ⇔ xj ≥ 0 pentru orice 1≤j≤n)

2. K= n++R ={x∈Rn, x≥0}, x=(x1, x2, ..., xn)t>0 ⇔ xj > 0 pentru orice 1≤j≤n)

3. K= nS+ este mulţimea matricelor simetrice pozitiv semidefinite cu n linii şi

n coloane.

4. K= nS++ este mulţimea matricelor simetrice pozitiv definite cu n linii şi n

coloane.

5. K={(x,t)∈Rn × R: p(x) ≤ t } unde p este o normă oarecare pe Rn.

Optimizări

53

Definiţie 36. Fie H un spaţiu pre-Hilbert real şi fie K o submulţime a lui H.

Se numeşte con dual al lui K mulţimea

K* = {y∈H: ≥ 0 pentru orice x ∈ K}

Propoziţie 37. Fie H este un spaţiu pre-Hilbert real. Atunci:

1. Pentru orice K ⊂ H, K* (conul dual al lui K) este con convex închis.

2. Dacă L ⊂ K, atunci K*⊂L*.

3. Pentru orice K ⊂ H,( K )* = K*.

Demonstraţie. 1. Fie y1, y2 ∈ K* şi fie λ ∈ (0,1). Atunci pentru orice x∈K

avem

= λ + (1-λ) ≥ 0,

deci λy1 + (1-λ)y2 ∈ K*, şi ca urmare K* este mulţime convexă. Fie α > 0 şi fie y∈

K*. Atunci pentru orice x ∈ K,

= α ≥ 0,

deci αy ∈ K*. Am arătat că mulţimea K* este convexă şi că pentru orice α > 0 şi

orice y∈ K*, αy ∈ K*. Deci K* este con convex. Fie (yn)n un şir de elemente din K*

convergent la un element z ∈ H. Pentru orice n ∈ N şi pentru orice x∈K, avem

≥ 0, şi trecând la limită cu n → ∞, obţinem

≥0,

adică ≥ 0, de unde rezultă z ∈ K*. În consecinţă, K* este mulţime închisă.

2. Dacă y ∈K*, atunci ≥ 0 pentru orice x ∈ K, şi în particular ≥0

pentru orice x ∈ L (deoarece L ⊂ K), şi deci y ∈L*.

3. Conform 2 ( K )*⊂ K*. Fie y ∈ K*. Fie x ∈K şi fie (xn)n un şir de

elemente din K convergent la un element x. Pentru orice n ∈ N avem ≥ 0, şi

trecând la limită cu n → ∞, obţinem

< nnlim x→∞

, y> ≥0,

adică ≥ 0, de unde rezultă y ∈( K )*

■

Teoremă 38. Fie H un spaţiu Hilbert real şi fie K ⊂ H un con convex. Atunci

K**= K, unde K** este conul dual al lui K* (conul dual al lui K).


54

Demonstraţie. „⊃⊃⊃⊃”. Fie x0 ∈K. Atunci există un şir (xn)n≥1 astfel încât

n

nlim x→∞

= x0. Din faptul că pentru orice n≥1 şi orice y∈K*, avem

≥ 0,

prin trecere la limită după n → ∞, obţinem

< nnlim x→∞

, y> ≥ 0,

de unde x0 = nnlim x→∞

∈K**.

„⊂⊂⊂⊂” Fie x0∈K**. Presupunem prin absurd că x0 ∉ K. Deoarece K este

convexă şi închisă, rezultă că există p0∈K element de cea mai bună aproximare a lui

x0 pe K. Cum x0 ∉ K, rezultă că p0≠x0. Conform teoremei 16 (caracterizarea

elementului de cea mai bună aproximare), avem

optimiz ri · 2008. 9. 5. · optimiz ări 5 prefa ŢĂ În prezent tehnicile de optimizare sunt...

Documents