Pren

om N

om

Lexiques

Cette annexe est un petit dictionnaire français-anglais et anglais-français donnantla traduction de quelques mots courants de l’optimisation. Nous avons étiqueté cer-tains mots anglais par (US) lorsque l’orthographe américaine différait de l’anglaise.Comme de coutume, les commentaires (entre parenthèses et en italique) du lexiqueA-B s’adressent au lecteur de langue A.

Lexique français-anglais

Signification des indicateurs utilisés.

adj : adjectif,nf : nom féminin,nm : nom masculin,

prép : préposition,vt : catégorie transitive d’un verbe.

actif adj active � contrainte active ac-tive constraint � ensemble ˜ (ensembled’indices) active set.

activation nf → méthode.admissible adj feasible � → ensemble,

point.algorithme nm algorithm � ˜ de BFGS

BFGS algorithm � ˜ de la sécante secantalgorithm � ˜ de points intérieurs inte-rior point algorithm � ˜ de quasi-Newtonquasi-Newton algorithm � ˜ de suivi dechemin path-following algorithm � ˜ dugradient, de la plus profonde descentegradient, steepest descent algorithm � ˜ dugradient avec projection gradient pro-jection algorithm � ˜ du gradient con-jugué conjugate gradient algorithm � ˜ deNewton Newton algorithm � ˜ de New-ton inexact inexact Newton algorithm �

˜ de Newton tronqué truncated Newtonalgorithm � ˜ du simplexe simplex algo-rithm � ˜ du simplexe révisé revised sim-plex algorithm � ˜ OQS (optimisationquadratique successive) SQP (sequen-

tial quadratic programming) algorithm �

→ méthode.arête nf (d’un polyèdre convexe) edge.autoconcordance nf self-concordancy, →

fonction.base nf basis � ˜ d’indices (en optimisa-

tion linéaire) basis.calcul différentiel nm adj calculus.cas difficile nm adj (dans les méthodes à ré-

gions de confiance) hard case.centre nm center � ˜ analytique analytic

center.combinaison nf combination � ˜ affine

affine combination � ˜ conique conicalcombination � ˜ convexe convex combi-nation.

commande optimale nf adj optimal con-trol.

commander vt (un système) to control.communication nf communication � ˜ di-

recte direct communication � ˜ inversereverse communication.

compact → ensemble.complémentarité nf complementarity � ˜

stricte strict complementarity � condi-

773

Pren

om N

om

774 D. Solutions des exercices N

tions de ˜ complementarity conditions/slackness.

complexité nf complexity � classe de ˜complexity class.

cône nm cone � ˜ asymptotique asymp-totic cone � ˜ critique critical cone � ˜de récession recession cone � ˜ dual dualcone � ˜ normal normal cone � ˜ polairepolar cone � ˜ tangent tangent cone.

conditionnement nm (le phénomène) con-ditioning � (la valeur qui estime le phéno-mène) condition number � mauvais ˜ ill-conditioning.

conjugué adj conjugate � → algorithme.contraction nm → fonction contractante.contrainte nf constraint � ˜ active ac-

tive constraint � ˜ d’égalité equality con-straint � ˜ de borne bound constraint �

˜ d’inégalité inequality constraint � ˜ in-active inactive constraint.

convexe nm, adj convex � → combinaison,enveloppe.

déplacement nm step, displacement.direction nf direction � ˜ à courbure

négative negative curvature direction �

˜ conjuguée conjugate direction � ˜ dedescente descent direction � ˜ de mon-tée ascent direction.

domaine nm (d’une fonction) domain.dualité nf duality � saut de ˜ duality gap.égalité nf equality.ensemble nm set � ˜ actif (ensemble d’in-

dices) active set � ˜ admissible feasibleset � ˜ compact compact set � ˜ ferméclosed set � ˜ de sous-niveau sublevel set.

enveloppe nf hull � ˜ affine (d’un ensem-ble) affine hull � ˜ convexe (d’un ensem-ble) convex hull � ˜ supérieure (de fonc-tions) pointwise supremum, max-function.

erreur nf error � ˜ amont backward error� ˜ aval forward error.

face nf (d’un ensemble convexe) face.facteur nm (d’un produit) factor � ˜ d’ine-

xactitude (dans les algorithmes de New-ton inexacts) forcing term.

famille de problèmes nf nm (en théorie dela complexité) problem � ˜ NP-completsNP-complete problem � ˜ NP-ardus NP-hard problem.

fermé → ensemble.

fonction nf function � ˜ auto-concordan-te self-concordant function � ˜ contrac-tante nonexpansive function � ˜ indica-trice indicator function � ˜ marginalemarginal function � ˜ strictement con-tractante contraction mapping.

gradient nm gradient.hessien nm Hessian (avec majuscule).inégalité nf inequality � ˜ matricielle li-

néaire (IML) linear matrix inequality(IML).

IML → inégalité matricielle linéaire.inf-convolution nf infimal convolution.intérieur nm (d’un ensemble) interior � ˜

relatif relative interior.lagrangien nm Lagrangian (avec majus-

cule) � ˜ augmenté augmented Lagran-gian.

matrice nf matrix � ˜ antisymétriqueskew symmetric matrix � ˜ creuse sparsematrix � ˜ symétrique symmetric matrix.

méthode nf method � ˜ d’activation (decontraintes) active set method � ˜ deBFGS BFGS method � ˜ de pivotagepivoting method � ˜ de faisceaux bundlemethod � → algorithme.

multiplicateur nm multiplier.négatif adj (pour un nombre réel) nonposi-

tive � strictement ˜ negative.optimalité nf optimality � condition d’˜

optimality condition.optimisation nf optimisation, (US) opti-

mization, programming � ˜ convexe con-vex programming � ˜ linéaire linear pro-gramming � ˜ multicritère multicriteriaoptimization � ˜ non linéaire nonlinearprogramming � ˜ quadratique quadraticprogramming � ˜ semi-définie positivesemi-definite programming.

pas nm (de recherche linéaire) step-size,stepsize, step-length, steplength.

pénalisation nf penalisation, (US) penal-ization.

pivotage nm → méthode.pli nm (d’une fonction convexe) kink.point nm point, (en optimisation linéaire)

solution � ˜ admissible feasible point, (enoptimisation linéaire) feasible solution.

point-selle nm saddle-point.polyèdre nm polyhedron.polyédrique adj polyhedral.

Pren

om N

om

D.2. Solutions 775

positif adj (pour un nombre réel) nonnega-tive � strictement ˜ positive.

produit nm (dans un réseau) commod-ity, (opération mathématique) product �

˜ cartésien Cartesian (avec majuscule)product � ˜ scalaire inner product � ˜scalaire euclidien Euclidean (avec majus-cule) inner product.

proximalité nf proximation.racine nf (d’un polynôme) root � ˜ carrée

(d’un nombre) square root.rebroussement nm (en recherche linéaire)

backtracking.recherche linéaire nf adj line-search, line-

search � → pas, rebroussement.région de confiance nf nf trust region.semi-continue adj (fonction) semi-contin-

uous � ˜ inférieurement lower semi-con-

tinuous � ˜ supérieurement upper semi-continuous.

semi-continuité nf (d’une fonction) semi-continuity.

sommet nm (d’un polyèdre convexe) vertex� (en optimisation linéaire) vertex, basicfeasible solution.

sous-différentiel nm subdifferential.sous-niveau → ensemble.suite nf sequence.terme nm (d’une somme) term.variable nf variable � ˜ basique (en op-

timisation linéaire) basic variable � ˜d’écart slack variable � ˜ non basique(en optimisation linéaire) nonbasic vari-able.

Lexique anglais-français

active → constraint, method, set.affine affine, → combination, hull.algorithm algorithme � BFGS ˜ algo-

rithme de BFGS � conjugate gradient ˜algorithme du gradient conjugué � gradi-ent, steepest descent ˜ algorithme dugradient, de la plus profonde descente �

gradient projection ˜ algorithme du gra-dient avec projection � inexact Newton

˜ algorithme de Newton inexact � interiorpoint ˜ algorithme de points intérieurs �

Newton ˜ algorithme de Newton � path-following ˜ algorithme de suivi de chemin� quasi-Newton ˜ algorithme de quasi-Newton � secant ˜ algorithme de la sé-cante � simplex ˜ algorithme du sim-plexe � SQP (sequential quadratic pro-gramming) ˜ algorithme OQS (optimisa-tion quadratique successive) � truncatedNewton ˜ algorithme de Newton tronqué� → method.

backtracking (in line-search) rebrousse-ment.

basis base, (in linear optimization) based’indices.

calculus calcul différentiel.center centre � analytic ˜ centre analy-

tique.closed → set.

combination combinaison � affine ˜ com-binaison affine � conical ˜ combinaisonconique � convex ˜ combinaison convexe.

commodity (in a network) produit.communication communication � direct ˜

communication directe � reverse ˜ com-munication inverse.

compact → set.complementarity complémentarité � ˜

conditions, slackness conditions de com-plémentarité � strict ˜ complémentaritéstricte.

complexity complexité � ˜ class classe decomplexité.

condition number conditionnement.conditioning conditionnement � ill-˜ mau-

vais conditionnement.conjugate conjugué � → algorithm.cone cône � asymptotic ˜ cône asympto-

tique � critical ˜ cône critique � dual ˜cône dual � normal ˜ cône normal � po-lar ˜ cône polaire � recession ˜ cône derécession � tangent ˜ cône tangent.

constraint contrainte � active ˜ contrainteactive � bound ˜ contrainte de borne �

equality ˜ contrainte d’égalité � inactive

˜ contrainte inactive � inequality ˜ con-trainte d’inégalité.

Pren

om N

om

776 D. Solutions des exercices N

contraction (mapping) fonction stricte-ment contractante.

control vt (a system) commander.convex convexe � → combination, hull.convolution convolution � infimal ˜

inf-convolution.direction direction � ascent ˜ direction de

montée � conjugate ˜ direction conjuguée� descent ˜ direction de descente � neg-ative curvature ˜ direction à courburenégative.

domain (of a function) domaine.duality dualité � ˜ gap saut de dualité.edge (of a convex polyhedron) arête.equality égalité.error erreur � backward ˜ erreur amont �

forward ˜ erreur aval.face (of a convex set) face.factor (of a product) facteur.feasible admissible � → point, set.function fonction � indicator ˜ fonction

indicatrice � marginal ˜ fonction margi-nale � nonexpansive ˜ fonction contrac-tante � self-concordant ˜ fonction auto-concordante.

gradient gradient.hard case (in trust region methods) cas dif-

ficile.Hessian hessien (no capital letter).hull enveloppe (literally coque) � convex ˜

(of a set) enveloppe convexe � affine ˜ (ofa set) enveloppe affine.

inequality inégalité � linear matrix ˜(LMI) inégalité matricielle linéaire (IML).

interior (of a set) intérieur � relative ˜ in-térieur relatif.

kink (of a convex function) pli.Lagrangian lagrangien (no capital letter) �

augmented ˜ lagrangien augmenté.LMI → inequality > linear matrix.line-search, linesearch recherche linéaire

� → backtracking, step-size.matrix matrice � skew symmetric ˜ ma-

trice antisymétrique � sparse ˜ matricecreuse � symmetric ˜ matrice symétrique.

method méthode � active set ˜ méthoded’activation (de contraintes) � BFGS ˜méthode de BFGS � bundle ˜ méthodede faisceaux � pivoting ˜ méthode de piv-otage � → algorithm.

multiplier multiplicateur.

negative (for a real number) strictement né-gatif � non˜ positif.

nonexpansive → function.optimal control commande optimale.optimality optimalité � ˜ condition con-

dition d’optimalité.optimisation, (US) optimization optimi-

sation � multicriteria ˜ optimisation mul-ticritère.

penalisation, (US) penalization pénali-sation.

pivoting → method.point point.pointwise supremum (of functions) en-

veloppe supérieure.polyhedral polyédrique.polyhedron polyèdre.positive (for a real number) strictement

positif � non˜ négatif.problem (in complexity theory) (famille de)

problème(s) � NP-complete ˜ (famille de)problème(s) NP-complet(s) � NP-hard ˜(famille de) problème(s) NP-ardu(s).

product (mathematical operation) produit� Cartesian ˜ produit cartésien (no capi-tal letter) � inner ˜ produit scalaire � Eu-clidean inner ˜ produit scalaire euclidien(no capital letter).

program (in optimisation) problème d’op-timisation.

programming (in optimisation) optimisa-tion � convex ˜ optimisation convexe �

linear ˜ optimisation linéaire � nonlinear

˜ optimisation non linéaire � quadratic ˜optimisation quadratique � semi-definite

˜ optimisation semi-définie positive.proximation proximalité.root (of a polynomial) racine � square ˜ (of

a number) racine carrée.saddle-point point-selle.self-concordancy autoconcordance, →

function.semi-continuity (of a function) semi-conti-

nuité.semi-continuous (function) semi-continue

� lower ˜ semi-continue inférieurement �

upper ˜ semi-continue supérieurement.set ensemble � active ˜ (an index set) en-

semble actif � closed ˜ ensemble fermé �

compact ˜ ensemble compact � feasible

Pren

om N

om

D.2. Solutions 777

˜ ensemble admissible � sublevel ˜ ensem-ble de sous-niveau.

sequence suite.solution solution, (in linear optimization)

point admissible � basic feasible ˜ (in lin-ear optimization) sommet.

step déplacement � step-size, stepsize,step-length, steplength (in linesearch)pas.

subdifferential sous-différentiel.

sublevel → set.term (of a sum) terme � forcing ˜ (in in-

exact Newton algorithms) facteur d’inexac-titude.

trust region région de confiance.variable variable � basic ˜ (in linear op-

timization) variable basique � nonbasic

˜ (in linear optimization) variable nonbasique � slack ˜ variable d’écart.

vertex (of a convex polyhedron) sommet.

Prenom Nom

Pren

om N

om

Notations

Notations générales

∀, ∃, ∃ ! quantificateurs signifiant respectivement « pour tout », « il existe », « ilexiste un(e) unique »

α+, α− (avec α ∈ R) α+ = max(α, 0), α− = max(−α, 0); donc α = α+ − α−

x > 0 pour un vecteur x ∈ Rn, signifie que toutes les composantes de x sontpositives (x1 > 0, . . . , xn > 0); de même, x 6 0 signifie que (−x) > 0

x > 0 pour un vecteur x ∈ Rn, signifie que toutes les composantes de x sontstrictement positives (x1 > 0, . . . , xn > 0); de même, x < 0 signifie que(−x) > 0

{xk} (avec xk dans un ensemble E) suite de E, c’est-à-dire application de Ndans E (ou son image)

xk → x la suite {xk} converge vers xαk ↓ α la suite de réels {αk} converge vers α, par des valeurs strictement su-

périeures (pour tout k : αk > α)αk ↑ α la suite de réels {αk} converge vers α, par des valeurs strictement infé-

rieures (pour tout k : αk < α)n! factorielle de l’entier n, n! = n(n−1)(n−2) · · · 2(nk

)combinaison sans répétition de n éléments pris k par k (n et k sontentiers et k 6 n),

(nk

)= n!/(k! (n−k)!)

Ensembles particuliers

AC(E) ensemble des fonctions autoconcordantes sur un espace vectoriel EBr boule ouverte de centre 0 et de rayon rBr boule fermée de centre 0 et de rayon rB(x, r) = x+Br boule ouverte de centre x et de rayon rB(x, r) = x+ Br boule fermée de centre x et de rayon rBAC(E) ensemble des (fonctions) barrières autoconcordantes sur un espace vec-

toriel EConv(E) ensemble des fonctions d’un espace vectoriel E dans R∪{+∞}, convexes,

non identiquement égales à +∞Conv(E) ensemble des fonctions d’un espace vectoriel E dans R∪{+∞}, convexes,

fermées, non identiquement égales à +∞∆n simplexe unité de Rn

[α, β], [α, β[, ]α, β], ]α, β[, avec α 6 β dans R intervalles de R (fermé, semi-ouvertà droite, semi-ouvert à gauche, ouvert)

779

Pren

om N

om

780 D. Solutions des exercices N

Jn1, n2K, avec n1 6 n2 dans N = [n1, n2] ∩ N, intervalle de N formé des entiers n1,. . . , n2

L(E,F) ensemble des applications linéaires continues d’un espace vectoriel Edans un autre espace vectoriel F

N ensemble des nombres entiers naturels, N := {0, 1, 2, . . .}N∗ ensemble des nombres entiers strictement positifs, N∗ := N \ {0} = {1,

2, 3, . . .}P(E) ensemble des parties d’un ensemble ER ensemble des nombres réelsR la « droite achevée », R ∪ {−∞,+∞}Rn ensemble des n-uplets (x1, . . . , xn) formés des nombres réels x1, . . . , xnRn

+ orthant positif de Rn, {x ∈ Rn : x > 0}Rn

++ intérieur de l’orthant positif de Rn, {x ∈ Rn : x > 0}Rn

6simplexe ordonné de Rn, {x ∈ Rn : x1 6 · · · 6 xn}

Rn▽ cône du second ordre de Rn, {x ∈ Rn : x21 + · · ·+ x2n−1 6 x2n, xn > 0}Sn ensemble des matrices d’ordre n symétriquesSn+ cône de Sn formé des matrices d’ordre n symétriques semi-définies po-

sitivesSn++ cône de Sn formé des matrices d’ordre n symétriques définies positivesSn− cône de Sn formé des matrices d’ordre n symétriques semi-définies né-

gatives, −Sn+

Opérations sur les ensembles

Ci-dessous, P désigne un ensemble quelconque et C désigne une partie convexe d’unespace vectoriel E.

∂P frontière d’un ensemble PP ◦, intP intérieur d’un ensemble PP−◦, intrP intérieur relatif d’un ensemble PP , adhP adhérence d’un ensemble PP+ cône dual d’un ensemble PP− cône polaire d’un ensemble P , ou dual négatif, P− := −P+

C∞ cône asymptotique d’un ensemble convexe fermé CC∞(x) cône asymptotique d’un ensemble convexe C en x ∈ CNxP , NP (x) cône normal à l’ensemble P en xTxP , TP (x) cône tangent à l’ensemble P en xaff P enveloppe affine d’un ensemble PconeP enveloppe conique d’un ensemble PcoP enveloppe convexe d’un ensemble PcoP enveloppe convexe fermée d’un ensemble PdP (x) distance du point x à l’ensemble P , dP (x) := inf{d(x, y) : y ∈ P}extC ensemble des points extrêmes d’un ensemble convexe C

Espaces vectoriels et calcul matriciel

Ci-dessous, A désigne une matrice.

Pren

om N

om

D.2. Solutions 781

‖ · ‖ norme‖ · ‖

Dnorme duale

〈·, ·〉 produit scalaireA∗ adjointe de A, définie par la relation 〈Au, v〉 = 〈u,A∗v〉 pour tout u, vA−∗ adjointe de l’opérateur A−1 (supposé exister) ou inverse de A∗ (ce sont

les mêmes opérateurs)AT transposée de A, qui est l’adjointe pour le produit scalaire euclidien :

(AT)ij = Aji

A−T transposée de la matrice A−1 (supposée exister) ou inverse de AT (cesont les mêmes matrices)

A < 0 la matrice A est symétrique semi-définie positive, c.-à-d., A ∈ Sn+A ≻ 0 la matrice A est symétrique définie positive, c.-à-d., A ∈ Sn++

Eij matrice de base de l’espace vectoriel des matrices d’un type donné : sonélément (i, j) vaut 1 et les autres valent zéro

N (A) noyau de A (ensemble des vecteurs x tels que Ax = 0)R(A) image de A (ensemble des vecteurs de la forme Ax)Sn ensemble des matrices d’ordre n symétriquesSn+ cône de Sn formé des matrices d’ordre n symétriques semi-définies po-

sitivesSn++ cône de Sn formé des matrices d’ordre n symétriques définies positivesdetA déterminant d’une matrice carrée AdimE dimension d’un espace vectoriel E (nombre maximal de vecteurs linéai-

rement indépendants dans E)ei vecteur de base de Rn : sa composante i vaut 1 et les autres valent zérotrA trace d’une matrice carrée A, trA =

∑iAii

vect{x1, . . . , xp} sous-espace vectoriel engendré par les vecteurs x1, . . . , xp

Fonctions particulières et opérations sur les fonctions

f : E→ F fonction entre deux ensembles E et Ff : E ⊸ F multifonction entre deux ensembles E et F (si x ∈ E, f(x) est un sous-

ensemble de F)IP indicatrice d’un ensemble Pf ′(x; d) dérivée directionnelle d’une fonction f en x dans la direction df ′+(x) dérivée à droite en x ∈ R d’une fonction f d’une variable réelle, f ′(x; 1)f ′−(x) dérivée à gauche en x ∈ R d’une fonction f d’une variable réelle,

f ′(x;−1)∂f(x) sous-différentiel en x d’une fonction f ∈ Conv(E)f ′(x) dérivée (de Fréchet ou de Gâteaux) d’une fonction f en xf ′(x) · d valeur dans la direction d de la dérivée (de Fréchet ou de Gâteaux)

d’une fonction f en x∇f(x) gradient en x d’une fonction f∇2f(x) hessien en x d’une fonction ff∞ fonction asymptotique d’une fonction f ∈ Conv(E)dom f domaine d’une fonction f : E→ RdomT domaine d’une multifonction T : E ⊸ Fepi f épigraphe d’une fonction f : E→ R

Pren

om N

om

782 D. Solutions des exercices N

epis f épigraphe stricte d’une fonction f : E→ RG(T ) graphe d’une multifonction T : E ⊸ FPf opérateur proximal associé à une fonction f ∈ Conv(E)g ◦ f fonction de E dans G, obtenue par composition de la fonction f : E→ F

et de la fonction g : F→ G (E, F et G sont des ensembles quelconques);(g ◦ f)(x) := g(f(x))

f ⊎ g inf-convolution de deux fonctions f et g : E → R ∪ {+∞} définies surle même espace vectoriel E

f ⊻ A inf-image de f : E → R sous l’application linéaire A : E → F (E et Fsont des espaces vectoriels)

Problèmes d’optimisation

I0(x), I0∗ ensemble des indices des contraintes d’inégalité actives en x et en x∗I00∗ ensemble des indices des contraintes d’inégalité faiblement actives en x∗I0+∗ ensemble des indices des contraintes d’inégalité fortement actives en x∗I+(x) ensemble des indices des contraintes d’inégalité strictement positives

en xΛ(x∗) = Λ∗ ensemble des multiplicateurs optimaux associés à un point station-

naire x∗S(P ) ensemble des solutions du problème (P )val(P ) valeur optimale du problème (P )

Pren

om N

om

Bibliographie

[1] M. Aganagić (1984). Newton’s method for linear complementarity problems. Mathe-matical Programming, 28, 349–362. [doi]. 648

[2] H. Akaike (1959). On a successive transformation of probability distribution and itsapplication to the analysis of the optimum gradient method. Ann. Inst. Statist. Math.Tokyo, 11, 1–16. 270

[3] F. Al-Kkayyal, J. Kiparisis (1990). Finite convergence of algorithms for nonlinear pro-grams and variational inequalities. Journal of Optimization Theory and Applications,70, 319–332. 397

[4] G.E. Alefeld, A. Frommer, G. Heindl, J. Mayer (2004). On the existence theorems ofKantorovich, Miranda and Borsuk. Electronic Transactions on Numerical Analysis,17, 102–111. 356

[5] G.E. Alefeld, F.A. Potra, Z. Shen (2001). On the existence theorems of Kantorovich,Moore and Miranda. Computing, 15, 21–28. 356

[6] V. Alexeev, V. Tikhomirov, S. Fomine (1982). Commande Optimale. Mir, Moscou.191

[7] F. Alizadeh (1995). Interior point methods in semidefinite programming with applica-tions to combinatorial optimization. SIAM Journal on Optimization, 5, 13–51. 637

[8] F. Alizadeh (2012). An introduction to formally real Jordan algebras and their appli-cations in optimization. In M.F. Anjos, J.-B. Lasserre, éditeurs, Handbook on Semidef-inite, Conic and Polynomial Optimization, International Series in Operations Researchand Management Science 166, pages 297–337. Springer. 635

[9] F. Alizadeh, J.-P.A. Haeberly, M.L. Overton (1998). Primal-dual interior-point meth-ods for semidefinite programming: convergence rates, stability and numerical results.SIAM Journal on Optimization, 8, 746–768. 635

[10] E.L. Allgower, K. Georg (1990). Numerical Continuation Methods – An Introduction.Springer Series in Computational Mathematics 13. Springer-Verlag. 355

[11] E.L. Allgower, K. Georg (1993). Continuation and path following. In Acta Numer-ica 1993, Tome 2, pages 1–64. Cambridge University Press. 355

[12] E.D. Andersen, K.D. Andersen (1999). The MOSEK interior-point optimizer for lin-ear programming: an implementation of the homogeneous algorithm. In S. Zhang,H. Frenk, C. Roos, T. Terlaky, éditeurs, High Performance Optimization Techniques,pages 197–232. Kluwer Academic Publishers, Dordrecht, The Netherlands. 611

[13] R. Andreani, E.G. Birgin, J.M. Martínez, M.L. Schuverdt (2007). On augmented La-grangian methods with general lower-level constraints. SIAM Journal on Optimization,18, 1286–1302. [doi]. 436

[14] P.L. De Angelis, G. Toraldo (1993). On the identification property of a projectedgradient method. SIAM Journal on Numerical Analysis, 30, 1483–1497. 397

[15] M.F. Anjos, J.-B. Lasserre (2012). Handbook on Semidefinite, Conic and PolynomialOptimization. Springer. 637

[16] K.M. Anstreicher, M.H. Wright (2000). A note on the augmented Hessian when thereduced Hessian is semidefinite. SIAM Journal on Optimization, 11, 243–253. 682

783

Pren

om N

om

784 Bibliographie

[17] A.S. Antipin (1992). Controlled proximal differential systems for solving saddle prob-lems. Differential Equations, 28, 1498–1510. 482

[18] I.K. Argyros (2008). Convergence and Applications of Newton-type Iterations. Springer.357

[19] I.K. Argyros, S. Hilout (2010). A Kantorovich-type convergence analysis of the Newton-Josephy method for solving variational inequalities. Numerical Algorithms, 55, 447–466. 501

[20] P. Armand, J.Ch. Gilbert, S. Jan-Jégou (2002). A BFGS-IP algorithm for solvingstrongly convex optimization problems with feasibility enforced by an exact penaltyapproach. Mathematical Programming, 92, 393–424. 531

[21] L. Armijo (1966). Minimization of functions having Lipschitz continuous first partialderivatives. Pacific Journal of Mathematics, 16, 1–3. [journal]. 251, 270

[22] K.J. Arnold, J.V. Beck (1977). Parameter Estimation in Engineering and Science.John Wiley & Sons, New York. 550

[23] K.J. Arrow, F.J. Gould, S.M. Howe (1973). A generalized saddle point result forconstrained optimization. Mathematical Programming, 5, 225–234. [doi]. 443, 482

[24] K.J. Arrow, R.M. Solow (1958). Gradient methods for constrained maxima with weak-ened assumptions. In K.J. Arrow, L. Hurwicz, H. Uzawa, éditeurs, Studies in Linearand Nonlinear Programming, pages 166–176. Stanford University Press, Standford,Calif. 443

[25] J.-P. Aubin, I. Ekeland (1984). Applied Nonlinear Analysis. John Wiley & Sons, NewYork. 127, 192

[26] A. Auger, O. Teytaud (2007). Continuous lunches are free plus the design of optimaloptimization algorithms. Algorithmica. 5

[27] A. Auslender, R. Cominetti, M. Haddou (1997). Asymptotic analysis for penaltyand barrier methods in convex and linear programming. Mathematics of OperationsResearch, 22, 43–62. 85

[28] A. Auslender, M. Teboulle (2000). Lagrangian duality and related multiplier methodsfor variational inequality problems. SIAM Journal on Optimization, 10, 1097–1115.483

[29] A. Auslender, M. Teboulle (2003). Asymptotic Cones and Functions in Optimizationand Variational Inequalitites. Springer Monographs in Mathematics. Springer, NewYork. 8, 13, 52, 127

[30] A. Auslender, M. Teboulle, S. Ben-Tiba (1999). A logarithmic-quadratic proximalmethod for variational inequalitites. Computational Optimization and Applications,12, 31–40. 443, 483

[31] A. Auslender, M. Teboulle, S. Ben-Tiba (1999). Interior proximal and multiplier meth-ods based on second order homogeneous functionals. Mathematics of Operations Re-search, 24, 645–668. 443

[32] J.B. Baillon (2002). Communication personnelle. 531[33] M.L. Balinski, A. Russakoff (1972). Some properties of the assignment polytope. Math-

ematical Programming, 3, 257–258. 558[34] V. Barbu, T. Precupanu (1975). Convexity and Optimization in Banach Spaces. Edi-

tura Academiei, Bucarest. 127, 192[35] Y. Bard (1974). Nonlinear Parameter Estimation. Academic. 550[36] J. Barzilai, J.M. Borwein (1988). Two-point step size gradient methods. IMA Journal

of Numerical Analysis, 8, 141–148. 270[37] J.-L. Beauvois, R.-V. Joule (1987). Petit traité de manipulation à l’usage des honnêtes

gens. Presses Universitaires de Grenoble. 411[38] R. Bellman, K. Fan (1963). On systems of linear inequalities in Hermitian matrix

variables. In Proceedings of Symposia in Pure Mathematics, Vol. 7. AMS. 636

Pren

om N

om

Bibliographie 785

[39] R.E. Bellman, R.R. Kalaba, J. Lockett (1966). Numerical Inversion of the LaplaceTransform. Elsevier. 270

[40] A. Ben-Tal, A. Nemirovski (2001). Lectures on Modern Convex Optimization – Analy-sis, Algorithms, and Engineering Applications. MPS-SIAM Series on Optimization 2.SIAM. 538, 612, 621, 625, 626, 680

[41] J.F. Benders (1962). Partitioning procedures for solving mixed-variables programmingproblems. Numerische Mathematik, 4, 238–252. 576

[42] J.M. Bennet (1965). Triangular factors of modified matrices. Numerische Mathematik,7, 217–221. 681

[43] Commandant Benoît (1924). Note sur une méthode de résolution des équations nor-males provenant de l’application de la méthode des moindres carrés à un systèmed’équations linéaires en nombre inférieur à celui des inconnues. Aplication de la méth-ode à la résolution d’un système défini d’équations linéaires (Procédé du CommandantCholesky). Bulletin Géodésique (Toulouse), 2, 67–77. 681

[44] M. Bergounioux, M. Haddou, M. Hintermüller, K. Kunisch (2000). A comparison ofa Moreau-Yosida-based active set strategy and interior point methods for constrainedoptimal control problems. SIAM Journal on Optimization, 11, 495–521. [doi]. 648

[45] M. Bergounioux, K. Ito, K. Kunisch (1999). Primal-dual strategy for constrainedoptimal control problems. SIAM Journal on Control and Optimization, 37, 1176–1194.[doi]. 648

[46] A. Berman, N. Shaked-Monderer (2003). Completely Positive Matrices. World Scien-tific, River Edge, NJ, USA. 176

[47] D.P. Bertsekas (1976). On the Goldstein-Levitin-Polyak gradient projection method.IEEE Transactions on Automatic Control, 21, 174–184. 396, 397, 408

[48] D.P. Bertsekas (1976). Multiplier methods: a survey. Automatica, 12, 133–145. 443[49] D.P. Bertsekas (1982). Projected Newton methods for optimization problems with

simple constraints. SIAM Journal on Control and Optimization, 20, 221–246. [doi].397

[50] D.P. Bertsekas (1982). Constrained Optimization and Lagrange Multiplier Methods.Academic Press. 436

[51] D.P. Bertsekas (1995). Nonlinear Programming. Athena Scientific. 13, 123, 483, 544[52] D.P. Bertsekas (1999). Nonlinear Programming (seconde édition). Athena Scientific.

436[53] D. Bertsimas, J.N. Tsitsiklis (1997). Introduction to linear optimization. Athena Sci-

entific, Belmont, Massachusetts. 556, 577[54] M.J. Best (1984). Equivalence of some quadratic programming algorithms. Mathemat-

ical Programming, 30, 71–87. 406[55] L.T. Biegler, O. Ghattas, M. Heinkenschloss, B. van Bloemen Waanders, éditeurs

(2003). Large-Scale PDE-Constrained Optimization. Springer, Berlin. 13[56] E.G. Birgin, R.A. Castillo, J.M. Martínez (2005). Numerical comparison of augmented

Lagrangian algorithms for nonconvex problems. Computational Optimization and Ap-plications, 31, 31–55. 443

[57] G. Birkhoff (1946). Tres observaciones sobre el algebra lineal. Universidad NacionaleTucamán Revista, 5, 147–151. 54

[58] Å. Björck (1996). Numerical Methods for Least Squares Problems. SIAM Publication,Philadelphia. 550

[59] Å. Björck (2004). The calculation of linear least squares problems. In Acta Numer-ica 2004, Tome 13, pages 1–53. Cambridge University Press. 550

[60] Å. Björck, T. Elfving, Z. Strakos (1998). Stability of conjugate gradient and Lanczosmethods for linear least squares problems. SIAM Journal on Matrix Analysis andApplications, 19, 720–736. 545, 546

Pren

om N

om

786 Bibliographie

[61] R.G. Bland (1977). New finite pivoting rules for the simplex method. Mathematics ofOperations Research, 2, 103–107. [doi]. 573

[62] L. Blum, F. Cucker, M. Shub, S. Smale (1988). Complexity and Real Computation.Springer Verlag. 235

[63] L. Blum, M. Shub, S. Smale (1988). On a theory of computations over the real numbers:NP-completeness, recursive functions and universal machines. In Proceedings of the29th Symp. Foundations of Computer Science, pages 387–397. 204

[64] I.M. Bomze (2010). Global optimization: a quadratic programming perspective. InG. Di Pillo, F. Schoen, éditeurs, Numerical Optimization, Lecture Notes in Mathemat-ics 1989, pages 1–53. Springer-Verlag. 648

[65] J.F. Bonnans (1989). Asymptotic admissibility of the unit stepsize in exact penaltymethods. SIAM Journal on Control and Optimization, 27, 631–641. 444

[66] J.F. Bonnans (1989). Local study of Newton type algorithms for constrained problems.In S. Dolecki, éditeur, Optimization, Lecture Notes in Mathematics 1405, pages 13–24.Springer-Verlag. 491

[67] J.F. Bonnans (1989). A variant of a projected variable metric method for boundconstrained optimization problems. Rapport de recherche, INRIA, BP 105, 78153 LeChesnay, France. 397

[68] J.F. Bonnans (1994). Local analysis of Newton-type methods for variational inequali-ties and nonlinear programming. Applied Mathematics and Optimization, 29, 161–186.[doi]. 491

[69] J.F. Bonnans, J.Ch. Gilbert, C. Lemaréchal, C. Sagastizábal (2006). Numerical Opti-mization – Theoretical and Practical Aspects (seconde édition). Universitext. SpringerVerlag, Berlin. [authors] [editor] [google books]. 13, 270, 491, 501, 576, 612

[70] J.F. Bonnans, A. Shapiro (2000). Perturbation Analysis of Optimization Problems.Springer Verlag, New York. 127, 192, 694

[71] K.-H. Borgwardt (1982). The average number of pivot steps required by the simplex-method is polynomial. Z. Oper. Res., (26), A157–A177. 554

[72] K.-H. Borgwardt (1987). The Simplex Method: A Probabilistic Analysis. Springer,Berlin. 554

[73] J.M. Borwein, A.S. Lewis (2000). Convex Analysis and Nonlinear Optimization.Springer, New York. 89, 127, 724

[74] J.M. Borwein, Q.J. Zhu (2010). Techniques of Variational Analysis. Société mathé-matique du Canada. Springer Science+Business Media, Inc., Berlin. 270

[75] A. Bouaricha, R.B. Schnabel (1998). Tensor methods for large sparse systems ofnonlinear equations. Mathematical Programming, 83, 377–400. 357

[76] G. Bouligand (1932). Introduction à la Géométrie Infinitésimale Directe. Gauthier-Villars, Paris. 139

[77] N. Bourbaki (1971). Éléments de Mathématiques – Topologie Générale. Hermann,Paris. Réédité par Springer-Verlag en 2007. 87

[78] S. Boyd, L. El Ghaoui, E. Feron, V. Balikrishnan (1994). Linear Matrix Inequalitiesin System and Control Theory. SIAM, Philadelphia, PA, USA. 621, 625

[79] S. Boyd, L. Vandenberghe (2004). Convex Optimization. Cambridge University Press.13

[80] C.B. Boyer (1968). A History of Mathematics. Princeton University Press, Princeton,New Jersey. 191

[81] C. Brezinski (2006). The life and work of André Cholesky. Numerical Algorithms, 43,279–288. 681

[82] H. Brézis (1973). Opérateurs Maximaux Monotones et semi-groupes de contractionsdans les espaces de Hilbert. Mathematical Studies 5. North-Holland, Amsterdam. 128,482

[83] H. Brézis (1983). Analyse Fonctionnelle Appliquée. Masson, Paris. 7, 13, 44, 128, 658

Pren

om N

om

Bibliographie 787

[84] K.W. Brodlie, A.R. Gourlay, J. Greenstadt (1973). Rank-one and rank-two correctionsto positive definite matrices expressed in product form. Journal of the Institute ofMathematics and its Applications, 11, 73–82. 366

[85] A. Brondsted (1964). Conjugate convex functions in topological vector spaces. Matem-atiskfysiske Meddelelser udgivet af det Kongelige Danske Videnskabernes Selskab, 34,1–26. 128

[86] P.N. Brown (1991). A theoretical comparison of the Arnoldi and GMRES algorithms.SIAM Journal on Scientific and Statistical Computing, 12, 58–78. 292

[87] P.N. Brown, Y. Saad (1990). Hybrid Krylov methods for nonlinear systems of equa-tions. SIAM Journal on Scientific and Statistical Computing, 11, 450–481. 352

[88] C.G. Broyden (1970). The convergence of a class of double rank minimization algo-rithms, part I. Journal of the Institute of Mathematics and its Applications, 6, 76–90.365

[89] R.E. Bruck, S. Reich (1977). Nonexpansive projections and resolvents of accretiveoperators in Banach spaces. Houston Journal of Mathematics, 3, 459–470. 436

[90] J.V. Burke (1989). A sequential quadratic programming method for potentially in-feasible mathematical programs. Journal of Mathematical Analysis and Applications,139, 319–351. [doi]. 484

[91] J.V. Burke (1991). An exact penalization viewpoint of constrained optimization. SIAMJournal on Control and Optimization, 29, 968–998. 443

[92] J.V. Burke, J.J. Moré (1988). On the identification of active constraints. SIAM Journalon Numerical Analysis, 25, 1197–1211. 397

[93] J.V. Burke, J.J. Moré (1994). Exposing constraints. SIAM Journal on Optimization,4, 573–595. 397

[94] J.D. Buys (1972). Dual algorithms for constrained optimization. Thèse de doctorat,Rijksuniversiteit te Leiden, Leiden, The Netherlands. 443

[95] R.H. Byrd, J.Ch. Gilbert, J. Nocedal (2000). A trust region method based on interiorpoint techniques for nonlinear programming. Mathematical Programming, 89, 149–185.[doi]. 612

[96] R.H. Byrd, P. Lu, J. Nocedal, C.Y. Zhu (1995). A limited memory algorithm for boundconstrained optimization. SIAM Journal on Scientific Computing, 16(6), 1190–1208.379

[97] R.H. Byrd, M. Marazzi, J. Nocedal (2001, avril). On the convergence of Newtoniterations to non-stationary points. Rapport de recherche, Department of ElectricalEngineering and Computer Science, Northwestern University, Evanston, Il 60208, USA.346

[98] R.H. Byrd, J. Nocedal, R.B. Schnabel (1994). Representations of quasi-Newton matri-ces and their use in limited memory methods. Mathematical Programming, 63, 129–156.379

[99] P.H. Calamai, J.J. Moré (1987). Projected gradient methods for linearly constrainedproblems. Mathematical Programming, 39, 93–116. 397

[100] C. Carathéodory (1911). Über den Variabilitätsbereich der Fourier’schen Konstan-ten von positiven harmonischen Funktionen. Rendiconti del Circolo Matematico dePalermo, 32, 193–217. 23

[101] C.W. Carroll (1961). The created response surface technique for optimizing nonlinearrestrained systems. Operations Research, 9, 169–184. 426

[102] J.L. Casti (1996). Great Theories of 20th-Century Mathematics–and Why They Matter.John Wiley & Sons, New York. 448

[103] A.L. Cauchy (1847). Méthode générale pour la résolution des systèmes d’équationssimultanées. Comptes Rendus de l’Académie des Sciences de Paris, t25, 536–538. 241

[104] Y. Censor, S. Zenios (1992). Proximal minimization algorithm with D-functions. Jour-nal of Optimization Theory and Applications, 73, 451–464. 443

Pren

om N

om

788 Bibliographie

[105] J.-L. Chabert, Évelyne Barbin, Michel Guillemot, Anne Michel-Pajus, JacquesBorowczyk, Ahmed Djebbar, J.-C. Martzloff (1994). Histoire d’Algorithmes – Du Cail-lou à la Puce. Regards sur la Science. Belin, Paris. 356, 541

[106] R. Chandrasekaran (1970). A special case of the complementary pivot problem.Opsearch, 7, 263–268. 648

[107] Y.-Y. Chang, R.W. Cottle (1980). Least-index resolution of degeneracy in quadraticprogramming. Mathematical Programming, 18, 127–137. 404

[108] B.W. Char, K.O. Geddes, G.H. Gonnet, M.B. Monagan, S.M. Watt (1988). Maplereference manuel. Symbolic Computation Group, Department of Computer Science,University of Waterloo, Ontario, Canada. 221

[109] G. Chavent (2003). Curvature steps and geodesics moves for nonlinear least squaresdescent algorithms. Inverse Problems in Engineering. 550

[110] X. Chen, M. Fukushima (1999). Proximal quasi-Newton methods for nondifferentiableconvex optimization. Mathematical Programming, 85, 313–334. 270

[111] E. Cheney, A. Goldstein (1959). Newton’s method for convex programming andTchebycheff approximations. Numerische Mathematik, 1, 253–268. 576

[112] A.L. Cholesky (1910). Sur la résolution numérique des systèmes d’équations linéaires.Manuscrit retrouvé par C. Brezinski dans les archives d’André Louis Cholesky qu’unepersonne de sa famille, M. Gross-Cholesky, a léguées à l’École Polytechnique. [bibnum].674, 681

[113] G. Choquet (1969). Cours d’Analyse – Tome II : Topologie. Masson, Paris. 659[114] V. Chvátal (1983). Linear Programming. W.H. Freeman, New York. 57, 577[115] P.G. Ciarlet (1982). Introduction à l’Analyse Numérique Matricielle et à l’Optimisa-

tion. Masson, Paris. 13, 274[116] P.G. Ciarlet (1988). Introduction à l’Analyse Numérique Matricielle et à l’Optimisation

(seconde édition). Masson, Paris. 577[117] F.H. Clarke (1983). Optimization and Nonsmooth Analysis. John Wiley & Sons, New

York. 195, 701[118] K.A. Cliffe, A. Spence, S.J. Tavener (2000). The numerical analysis of bifurcation

problems with application to fluid mechanics. In Acta Numerica 2000, pages 39–131.Cambridge University Press. 355

[119] A. Cobham (1965). The intrinsic computational difficulty of functions. In Y. Bar-Hillel,éditeur, Proc. 1964 International Congress for Lagic, Methodology and Philosophy ofScience, pages 20–30. North-Holland, Amsterdam. 235

[120] G. Cohen (2000). Convexité et Optimisation. École Nationale Supérieure des Ponts etChaussées et INRIA. 127, 270

[121] R. Cominetti (1999). Nonlinear averages and convergence of penalty trajectories in con-vex programming. In Michel Théra, Rainer Tichatschke, éditeurs, Ill-posed VariationalProblems and Regularization Techniques, Lecture Notes in Economics and Mathemat-ical System 477, pages 65–78. Springer Verlag, Berlin. 531

[122] A.R. Conn, N.I.M. Gould, A. Sartenaer, Ph.L. Toint (1996). Convergence propertiesof an augmented Lagrangian algorithm for optimization with a combination of generalequality and linear constraints. SIAM Journal on Optimization, 6, 674–703. 436

[123] A.R. Conn, N.I.M. Gould, Ph.L. Toint (1991). A globally convergent augmented La-grangian algorithm for optimization with general constraints and simple bounds. SIAMJournal on Numerical Analysis, 28, 545–572. 436

[124] A.R. Conn, N.I.M. Gould, Ph.L. Toint (1992). LANCELOT: A Fortran Package forLarge-Scale Nonlinear Optimization (Release A). Computational Mathematics 17.Springer Verlag, Berlin. 435

[125] A.R. Conn, N.I.M. Gould, Ph.L. Toint (2000). Trust-Region Methods. MPS-SIAMSeries on Optimization 1. SIAM and MPS, Philadelphia. [doi]. 13

Pren

om N

om

Bibliographie 789

[126] L. Contesse (1980). Une caractérisation complète des minima locaux en programmationquadratique. Numerische Mathematik, 34, 315–332. 648

[127] D. Coppersmith, S. Winograd (1982). On the asymptotic complexity of matrix multi-plications. SIAM Journal on Computing, 11, 472–492. 296

[128] R.W. Cottle, J.-S. Pang, R.E. Stone (1992). The Linear Complementarity Problem.Academic Press, Boston. 392

[129] P. Courtier, O. Talagrand (1987). Variational assimilation of meteorological observa-tions with the adjoint vorticity equation. I: Theory. Quaterly Journal of the RoyalMeteorological Society, 113, 1311–1328. 378

[130] P. Courtier, O. Talagrand (1987). Variational assimilation of meteorological observa-tions with the adjoint vorticity equation. II: Numerical results. Quaterly Journal ofthe Royal Meteorological Society, 113, 1329–1347. 378

[131] D.A. Cox, J.B. Little, D. O’Shea (2007). Ideals, Varieties, and Algorithms: An In-troduction to Computational Algebraic Geometry and Commutative Algebra (troisièmeédition). Undergraduate Texts in Mathematics. Springer, New York. 340

[132] J.Ch. Culioli (1994). Introduction à l’Optimisation. Ellipses, Paris. 13[133] H.B. Curry (1944). The method of steepest descent for non-linear minimization prob-

lems. Quaterly of Applied Mathematics, 2, 258–261. 270[134] J. Czyzyk, S. Mehrotra, M. Wagner, S.J. Wright (1999). PCx: an interior-point code

for linear programming. Optimization Methods and Software, 11-12, 397–430. 611[135] Y.H. Dai (2002). Convergence properties of the BFGS algorithm. SIAM Journal on

Optimization, 13, 693–701. 379[136] G.B. Dantzig (1951). Maximization of a linear function of variables subject to linear in-

equalities. In Tj.C. Koopmans, éditeur, Activity Analysis of Production and Allocation,pages 339–347. Wiley, New York. 554, 567

[137] G.B. Dantzig (1990). Origins of the simplex method. In G. Nash, éditeur, A Historyof Scientific Computing, ACM Press Hist. Ser., pages 141–151. ACM Press, Reading,MA, USA. 553, 567

[138] G.B. Dantzig, P. Wolfe (1961). The decomposition algorithm for linear programming.Econometrica, 29, 767–778. 576

[139] W.C. Davidon (1959). Variable metric methods for minimization. AEC Research andDevelopment Report ANL-5990, Argonne National Laboratory, Argonne, Illinois. 197

[140] W.C. Davidon (1991). Variable metric methods for minimization. SIAM Journal onOptimization, 1, 1–17. 197

[141] R. Dawkins (1996). Le Gène Égoïste. Odile Jacob, Paris. Traduction de The SelfishGene, Oxford University Press, 1976. 197

[142] E. de Klerk (2002). Aspects of Semidefinite Programming - Interior Point Algorithmsand Selected Applications. Kluwer Academic Publishers, Dordrecht. 637

[143] E. de Klerk, D.V. Pasechnik (2007). A linear programming reformulation of the stan-dard quadratic optimization problem. Journal of Global Optimization, 37, 75–84. 648

[144] E. de Klerk, C. Roos, T. Terlaky (1998). Infeasible-start semidefinite programmingalgorithms via self dual imbeddings. Fields Institute Communications, 18, 215–236.633

[145] E.J. Dean, R. Glowinski (2006). An augmented Lagrangian approach to the numer-ical solution of the Dirichlet problem for the elliptic Monge-Ampère equation in twodimensions. Electronic Transactions on Numerical Analysis, 22, 71–96. [pdf]. 436

[146] J.-P. Dedieu (2006). Points Fixes, Zéros et la Méthodes de Newton. Mathématiqueset Applications 54. Springer Verlag, Berlin. 357

[147] F. Delbos, J.Ch. Gilbert (2005). Global linear convergence of an augmented Lagrangianalgorithm for solving convex quadratic optimization problems. Journal of ConvexAnalysis, 12, 45–69. [preprint] [editor]. 433, 435, 436, 439, 443, 482, 647

Pren

om N

om

790 Bibliographie

[148] R.S. Dembo, S.C. Eisenstat, T. Steihaug (1982). Inexact Newton methods. SIAMJournal on Numerical Analysis, 19, 400–408. 357

[149] R.S. Dembo, T. Steihaug (1983). Truncated-Newton algorithms for large-scale uncon-strained optimization. Mathematical Programming, 26, 190–212. 357

[150] J.W. Demmel (1997). Applied Numerical Linear Algebra. SIAM. 680[151] D. den Hertog (1992). Interior Point Approach to Linear, Quadratic and Convex

Programming. Mathematics and its Applications 277. Kluwer Academic Publishers,Dordrecht. 612

[152] J.E. Dennis, D.M. Gay, R.E. Welsch (1981). An adaptive nonlinear least squaresalgorithm. ACM Transactions on Mathematical Software, 7, 348–368. 550

[153] J.E. Dennis, H.F. Walker (1984). Inaccuracy in quasi-Newton methods: local improve-ment theorems. Mathematical Programming Study, 22, 70–85. 357

[154] P. Deuflhard (2004). Newton Methods for Nonlinear Problems – Affine Invariance andAdaptative Algorithms. Computational Mathematics 35. Springer, Berlin. 357

[155] P. Deuflhard, G. Heindl (1980). Affine invariant convergence theorems for Newton’smethod and extensions to related methods. SIAM Journal on Numerical Analysis, 16,1–10. 356

[156] P.J.C. Dickinson, L. Gijben (2011). On the computational complexity of member-ship problems for the completely positive cone and its dual. Rapport de recherche.[Optimization Online]. 176

[157] E.D. Dolan, J.J. Moré (2002). Benchmarking optimization software with performanceprofiles. Mathematical Programming, 91, 201–213. [doi]. 235

[158] S. Dolecki, G.H. Greco (2007). Towards historical roots of necessary conditions ofoptimality – Regula of Peano. Control and Cybernetics, 36, 491–518. 191

[159] A.L. Dontchev, R.T. Rockafellar (2009). Implicit Functions and Solution Mappings –A View from Variational Analysis. Springer Monographs in Mathematics. Springer.694

[160] Z. Dostál (2005). Inexact semimonotonic augmented Lagrangians with optimal feasi-bility convergence for convex bound and equality constrained quadratic programming.SIAM Journal on Numerical Analysis, 43, 96–115. 436

[161] Z. Dostál, A. Friedlander, S.A. Santos (1999). Augmented Lagrangians with adaptiveprecision control for quadratic programming with equality constraints. ComputationalOptimization and Applications, 14, 37–53. [doi]. 436

[162] Z. Dostál, A. Friedlander, S.A. Santos (2003). Augmented Lagrangians with adap-tive precision control for quadratic programming with simple bounds and equalityconstraints. SIAM Journal on Optimization, 13, 1120–1140. [doi]. 436

[163] Z. Dostál, A. Friedlander, S.A. Santos, K. Alesawi (2000). Augmented Lagrangianswith adaptive precision control for quadratic programming with equality constraints:corrigendum and addendum. Computational Optimization and Applications, 23, 127–133. [doi]. 436

[164] Z. Dostál, F.A.M. Gomes, S.A. Santos (2000). Duality based domain decompositionwith natural coarse space for variational inequalities. Journal of Computational andApplied Mathematics, 126, 397–415. 436

[165] J. Drkošová, A. Greenbaum, M. Rozložník, Z. Strakoš (1995). Numerical stability ofGMRES. BIT, 35, 309–330. 296

[166] I.S. Duff, J.K. Reid (1982). MA27 – A set of Fortran subroutines for solving sparsesymmetric sets of linear equations. Rapport de Recherche AERE R10533, HMSO,London. 544

[167] I.S. Duff, J.K. Reid (1983). The multifrontal solution of indefinite sparse symmetriclinear equations. ACM Transactions on Mathematical Software, 9, 302–325. 544

[168] I.S. Duff, J.K. Reid (1996). Exploiting zeros on the diagonal in the direct solutionof indefinite sparse symmetric linear systems. ACM Transactions on MathematicalSoftware, 22, 227–257. 544

Pren

om N

om

Bibliographie 791

[169] J.C. Dunn (1987). On the convergence of projected gradient processes to singularcritical points. Journal of Optimization Theory and Applications, 55, 203–216. 397

[170] J. Eckstein (1993). Nonlinear proximal point algorithms using Bregman functions,with applications to convex programming. Mathematics of Operations Research, 18,202–226. 128, 443

[171] J. Eckstein, P.J.S. Silva (2010). Proximal methods for nonlinear programming: doubleregularization and inexact subproblems. Computational Optimization and Applica-tions, 46, 279–304. [doi]. 436, 443

[172] J. Edmonds (1965). Paths, trees, and flowers. Canad. J. Math., 17, 449–467. 235[173] I. Ekeland (1974). On the variational principle. Journal of Mathematical Analysis and

Applications, 47, 324–353. 270[174] I. Ekeland, R. Temam (1974). Analyse Convexe et Problèmes Variationnels. Dunod,

Paris. 127, 192, 482[175] I.I. Eremin (1965). The relaxation method of solving systems of inequalities with

convex functions on the left-hand sides. Doklady Akad. Nauk SSSR, 160, 994–996. 236[176] I.I. Eremin (1969). Fejer mappings and problems of convex optimization. Sibirsk. Mat.

Zh., 10, 1034–1047. 236[177] I.I. Eremin, V.D. Mazurov (1979). Nestacionarnye Processy Programmirovanija.

Moskva. En russe. 236[178] A. Ern, V. Giovangigli, D.E. Keyes, M.D. Smooke (1994). Towards polyalgorithmic

linear system solvers for nonlinear elliptic systems. SIAM Journal on Scientific Com-puting, 15, 681–703. 354

[179] V. Faber, T. Manteuffel (1984). Necessary and sufficient conditions for the existenceof a conjugate gradient method. SIAM Journal on Numerical Analysis, 21, 352–361.291

[180] F. Facchinei, J.-S. Pang (2003). Finite-Dimensional Variational Inequalities andComplementarity Problems (deux volumes). Springer Series in Operations Research.Springer. 357

[181] J.Y. Fan (2003). A modified Levenberg-Marquardt algorithm fpr singular system ofnonlinear equations. Journal of Computational Mathematics, 21, 625–636. 550

[182] J. Faraut, A. Korányi (1994). Analysis on Symmetric Cones. Clarendon Press, Oxford.635

[183] J. Farkas (1902). Theorie der einfachen ungleichungen. Journal für die reine undangewandte Mathematik, 124, 1–27. 52, 56

[184] W. Fenchel (1949). On conjugate functions. Canadian Journal of Mathematics, 1,73–77. 127, 482

[185] W. Fenchel (1951). Convex Cones, Sets, and Functions. Mimeographed Notes. Prince-ton University. 482

[186] A.V. Fiacco, G.P. McCormick (1968). Nonlinear Programming: Sequential Uncon-strained Minimization Techniques. John Wiley, New York. 13, 191, 612

[187] R. Fletcher (1970). A new approach to variable metric algorithms. The ComputerJournal, 13, 317–322. 365

[188] R. Fletcher (1980). Practical Methods of Optimization. Volume 1: Unconstrained Op-timization. John Wiley & Sons, Chichester. 270

[189] R. Fletcher (1982). A model algorithm for composite nondifferentiable optimizationproblems. Mathematical Programming Study, 17, 67–76. 498

[190] R. Fletcher (1987). Practical Methods of Optimization (seconde édition). John Wiley& Sons, Chichester. 13, 404, 435, 577

[191] R. Fletcher (1995). An optimal positive definite update for sparse Hessian matrices.SIAM Journal on Optimization, 5, 192–218. 379

[192] R. Fletcher (2010). The sequential quadratic programming method. In G. Di Pillo,F. Schoen, éditeurs, Numerical Optimization, Lecture Notes in Mathematics 1989,pages 165–214. Springer-Verlag. 501

Pren

om N

om

792 Bibliographie

[193] R. Fletcher, M.J.D. Powell (1974). On the modification of LDLT factorizations. Math-ematics of Computation, 28, 1067–1087. 681

[194] R. Fletcher, C.M. Reeves (1964). Function minimization by conjugate gradients. TheComputer Journal, 7, 149–154. 296

[195] A. Forsgren, P.E. Gill, M.H. Wright (2002). Interior methods for nonlinear optimiza-tion. SIAM Review, 44, 525–597. 612

[196] M. Fortin, R. Glowinski (1982). Méthodes de Lagrangien Augmenté – Applicationsà la Résolution Numérique de Problèmes aux Limites. Méthodes Mathématiques del’Informatique 9. Dunod, Paris. 436, 443, 751

[197] J.B.J. Fourier (1827). Analyse des travaux de l’académie royale des sciences pendantl’année 1824, partie mathématique. In Histoire de l’Académie Royale des Sciences del’Institut de France, Tome 7, pages xlvii–lv. 36

[198] J.B.J. Fourier (1831). Analyse des Équations Déterminées. 356[199] M. Frank, P. Wolfe (1956). An algorithm for quadratic programming. Naval Research

Logistics Quarterly, 3, 95–110. 648[200] M. Fréchet (1911). Sur la notion de différentielle. C. R. Acad. Sci. Paris, 152, 845–847.

[Gallica]. 687[201] R. Frisch (1955, mai). The logarithmic potential method for convex programming

with particular application to the dynamics of planning for national development.Memorandum, Institut d’Économie, Université d’Oslo, Oslo, Norvège. 426

[202] A. Fuduli, J.Ch. Gilbert (2003). OPINL: a truncated Newton interior-point algorithmfor nonlinear optimization. Note de travail. 612

[203] E.M. Gafni, D.P. Bertsekas (1984). Two-metric projection methods for constrainedoptimization. SIAM Journal on Control and Optimization, 22, 936–964. [doi]. 397

[204] F.R. Gantmacher (1959). The Theory of Matrices, Tome 1. Chelsea, New York. 672[205] M.R. Garey, D.S. Johnson (1979). Computers and Intractability: a Guide to the Theory

of NP-Completeness. W.H. Freeman, San Francisco. 203[206] W. Gautschi (1997). Numerical Analysis – An Introduction. Birkhäuser, Boston. 218[207] J. Gauvin (1977). A necessary and sufficient regularity condition to have bounded

multipliers in nonconvex programming. Mathematical Programming, 12, 136–138. 170[208] J. Gauvin (1992). Théorie de la programmation mathématique non convexe. Les Pub-

lications CRM, Montréal. 191[209] J. Gauvin (1995). Leçons de Programmation Mathématique. Éditions de l’École Poly-

technique de Montréal, Montréal. 13[210] D.M. Gay (1981). Computing optimal locally constrained steps. SIAM Journal on

Scientific and Statistical Computing, 2, 186–197. 332[211] J. Genet (1976). Mesure et Intégration – Théorie Élémentaire. Vuibert. 722[212] L. El Ghaoui, H. Lebret (1997). Robust solutions to least-squares problems with

uncertain data. SIAM Journal on Matrix Analysis and Applications, 18, 1035–1064.550

[213] J.Ch. Gilbert (1992). Automatic differentiation and iterative processes. OptimizationMethods and Software, 1, 13–21. 235

[214] J.Ch. Gilbert (2008). Optimisation différentiable. In Editions T.I., éditeur, Techniquesde l’Ingénieur. Document AF-1-252. 13

[215] J.Ch. Gilbert (2008). QPAL – A solver of convex quadratic optimization problems,using an augmented Lagrangian approach – Version 0.5. [internet]. 439

[216] J.Ch. Gilbert (2012). Éléments d’Optimisation Différentiable – Théorie et Algorithmes.Syllabus de cours à l’ENSTA, Paris. [internet]. 1

[217] J.Ch. Gilbert, C. Gonzaga, E. Karas (2005). Examples of ill-behaved central paths inconvex optimization. Mathematical Programming, 103, 63–94. [doi]. 531, 612

[218] J.Ch. Gilbert, X. Jonsson (2002). BFGS preconditioning of a trust region algorithm forunconstrained optimization. Rapport de recherche, INRIA, BP 105, 78153 Le Chesnay,France. (à paraître). 332

Pren

om N

om

Bibliographie 793

[219] J.Ch. Gilbert, X. Jonsson (2008). LIBOPT – An environment for testing solvers onheterogeneous collections of problems. Soumis à ACM Transactions on MathematicalSoftware. 235

[220] J.Ch. Gilbert, G. Le Vey, J. Masse (1991). La différentiation automatique de fonctionsreprésentées par des programmes. Rapport de Recherche 1557, INRIA, BP 105, F-78153 Le Chesnay, France. [internet]. 224, 225, 229, 235

[221] J.Ch. Gilbert, C. Lemaréchal (1989). Some numerical experiments with variable-storage quasi-Newton algorithms. Mathematical Programming, 45, 407–435. [doi].360, 376

[222] J.Ch. Gilbert, J. Nocedal (1992). Global convergence properties of conjugate gradientmethods for optimization. SIAM Journal on Optimization, 2, 21–42. [doi]. 288, 290

[223] J.Ch. Gilbert, J. Nocedal (1993). Automatic differentiation and the step computationin the limited memory BFGS method. Applied Mathematics Letters, 6(3), 47–50. 379

[224] P.E. Gill, G.H. Golub, W. Murray, M.A. Saunders (1974). Methods for modifyingmatrix factorizations. Mathematics of Computation, 28, 505–535. 681

[225] P.E. Gill, W. Murray (1972). Quasi-Newton methods for unconstrained optimization.Journal of the Institute of Mathematics and its Applications, 9, 91–108. 373

[226] P.E. Gill, W. Murray (1977). Modification of matrix factorizations after a rank-onechange. In D.A.H. Jacobs, éditeur, The State of the Art in Numerical Analysis. Aca-demic Press, London. 681

[227] P.E. Gill, W. Murray, M.A. Saunders (2002). SNOPT: an SQP algorithm for large-scale constrained optimization. SIAM Journal on Optimization, 12, 979–1006. 499,501

[228] P.E. Gill, W. Murray, M.H. Wright (1981). Practical Optimization. Academic Press,New York. 13, 234, 404, 681

[229] R. Glowinski, J.L. Lions, R. Tremolières (1976). Analyse Numérique des InéquationsVariationnelles - Tome 1 : Théorie Générale, Premières Applications. Dunod-Bordas,Paris. 78, 385, 387, 443

[230] R. Glowinski, J.L. Lions, R. Tremolières (1981). Numerical Analysis of VariationalInequalities. North-Holland, Amsterdam, New York. 443

[231] M.X. Goemans, D.P. Williamson (1995). Improved approximation algorithms for maxi-mum cut and satisfiability problems using semidefinite programming. Journal of Assoc.Comput. Mach., 42, 1115–1145. 626

[232] D. Goldfarb (1970). A family of variable-metric method derived by variational means.Mathematics of Computation, 24, 23–26. 365

[233] D. Goldfarb (1976). Factorized variable metric methods for unconstrained optimiza-tion. Mathematics of Computation, 30, 796–811. 366, 373

[234] D. Goldfarb, A. Idnani (1983). A numerically stable dual method for solving strictlyconvex quadratic programs. Mathematical Programming, 27, 1–33. 373, 647

[235] D. Goldfarb, K. Scheinberg (1998). Interior point trajectories in semidefinite program-ming. SIAM Journal on Optimization, 8, 871–886. 633

[236] D. Goldfarb, M.J. Todd (1989). Linear programming. In G.L. Nemhauser, A.H.G. Rin-nooy Kan, M.J. Todd, éditeurs, Handbooks in Operations Research and ManagementScience, Tome 1: Optimization, chapter 2, pages 73–170. Elsevier Science PublishersB.V., North-Holland. 577, 578

[237] A.J. Goldman, A.W. Tucker (1956). Polyhedral convex cones. In H.W. Kuhn, A.W.Tucker, éditeurs, Linear Inequalities and Related Systems, Annals of MathematicsStudies 38, pages 19–40. Princeton University Press, Princeton, NJ.

[238] A.A. Goldstein (1964). Convex programming in Hilbert space. Bulletin of the AmericanMathematical Society, 70, 709–710. 394, 408

[239] A.A. Goldstein (1965). On steepest descent. SIAM Journal on Control, 3, 147–151.251

Pren

om N

om

794 Bibliographie

[240] H.H. Goldstine (1977). A History of Numerical Analysis From the 16th Through the19th Century. Studies in the History of Mathematics and Physical Sciences 2. Springer-Verlag, New York. 550

[241] G.H. Golub, C.F. Van Loan (1996). Matrix Computations (troisième édition). TheJohns Hopkins University Press, Baltimore, Maryland. 680, 681

[242] J. Gondzio (1995). HOPDM (version 2.12) – a fast LP solver based on a primal-dualinterior point method. European Journal of Operations Research, 85, 221–225. [doi].611

[243] C. Gonzaga (2000). Two facts on the convergence of the Cauchy algorithm. Journalof Optimization Theory and Applications, 107, 591–600. [doi]. 270

[244] P. Gordan (1873). Über die Auflösung linearer Gleichungen mit reelen Coefficienten.Mathematische Annalen, 6, 23–28. 57

[245] N.I.M. Gould, D. Orban, A. Sartenaer, Ph.L. Toint (2000). Superlinear convergenceof primal-dual interior point algorithms for nonlinear programming. MathematicalProgramming, 87, 215–249. 538

[246] N.I.M. Gould, D. Orban, Ph.L. Toint (2005). Numerical methods for large-scale non-linear optimization. In Acta Numerica 2005, pages 299–361. Cambridge UniversityPress. 13, 501

[247] J.V. Grabiner (1983). The changing concept of change: the derivative from Fermat toWeierstrass. Mathematics Magazine, 56, 195–206. 685

[248] B. Gracián (1647). Oracle manuel et art de prudence. Seuil. Recueil d’écrits deBaltasar Gracián y Morales (1601-1658), traduits de l’espagnol, introduits et annotéspar Benito Pelegrín. 447

[249] H.G. Grassmann (1847). Geometrische Analyse. Leipzig. 657[250] J. Gray (2002). Adrien-Marie Legendre (1752-1833). European Mathematical Society

Newsletter, 45, 13. 550[251] J.F. Grcar (2011). How ordinary elimination became Gaussian elimination. Historia

Mathematica, 38, 163–218. 671[252] A. Greenbaum (1989). Behavior of slightly perturbed Lanczos and conjugate-gradient

recurrences. Linear Algebra and its Applications, 113, 7–63. 296[253] A. Greenbaum (1994). The Lanczos and conjugate gradient algorithms in finite pre-

cision arithmetic. In J.D. Brown, M.T. Chu, D.C. Ellison, R.J. Plemmons, éditeurs,Proceedings of the Cornelius Lanczos International Centenary Conference, pages 49–60. SIAM, Philadelphia, PA, USA. 296

[254] A. Greenbaum (1997). Iterative Methods for Solving Linear Systems. SIAM, Philadel-phia. 297

[255] A. Greenbaum (1997). Estimating the attainable accuracy of recursively computedresidual methods. SIAM Journal on Matrix Analysis and Applications, 18, 535–551.296

[256] A. Greenbaum, Z. Strakoš (1992). Predicting the behavior of finite precision Lanczosand conjugate gradient computations. SIAM Journal on Matrix Analysis and Appli-cations, 13, 121–137. 296

[257] M. Grevisse (1986). Le Bon Usage – Grammaire Française. Duculot, Paris, Louvain-la-Neuve. Douzième édition refondue par A. Goosse. 8

[258] A. Griewank (1985). On solving nonlinear equations with simple singularities or nearlysingular solutions. SIAM Review, 27, 537–563. 356

[259] A. Griewank (1989). On automatic differentiation. In M. Iri, K. Tanabe, éditeurs,Mathematical Programming: Recent Developments and Applications, pages 83–108.Kluwer Academic Publishers, Dordrecht. 229

[260] A. Griewank (1992). Achieving logarithmic growth of temporal and spatial complexityin reverse automatic differentiation. Optimization Methods and Software, 1, 35–54. 229

Pren

om N

om

Bibliographie 795

[261] A. Griewank (2000). Evaluating Derivatives – Principles and Techniques of AlgorithmicDifferentiation. SIAM Publication. 220, 235

[262] A. Griewank (2003). A mathematical view of automatic differentiation. In Acta Nu-merica 2003, pages 321–398. Cambridge University Press. 235

[263] A. Griewank, G. Corliss, éditeurs (1991). Automatic Differentiation of Algorithms:Theory, Implementation, and Application, number 53 in Proceedings in Applied Math-ematics. SIAM, Philadelphia. 235

[264] A. Griewank, A. Walther (2008). Evaluating Derivatives – Principles and Techniquesof Algorithmic Differentiation (seconde édition). SIAM Publication. 220, 235

[265] L. Grippo, F. Lampariello, S. Lucidi (1986). A nonmonotone line search technique forNewton’s method. SIAM Journal on Numerical Analysis, 23, 707–716. 270

[266] O. Güler (2010). Foundations of Optimization. Graduate Texts in Mathematics 258.Springer. [doi]. 57, 579

[267] M.H. Gutknecht (1997). Lanczos-type solvers for nonsymmetric linear systems ofequations. In Acta Numerica 1997, pages 271–397. Cambridge University Press. 297

[268] W. Hackbusch (1994). Iterative Solution of Large Sparse Systems of Equations. AppliedMathematical Sciences 95. Springer-Verlag, New York. 274

[269] W.W. Hager (1993). Analysis and implementation of a dual algorithm for constrainedoptimization. Journal of Optimization Theory and Applications, 79, 427–462. 436

[270] M. Halická (2001). Analyticity of the central path at the boundary point in semidefiniteprogramming. Rapport de recherche, Dep. of Appl. Math., FMFI UK, Mlynska dolina,842 48 Bratislava, Slovakia. 633

[271] M. Halická, E. de Klerk, C. Roos (2002). On the convergence of the central path insemidefinite optimization. SIAM Journal on Optimization, 12, 1090–1099. 633

[272] M. Halická, E. de Klerk, C. Roos (2002). Limiting behavior of the central path insemidefinite optimization. Rapport de recherche. 633

[273] R. W. Hamming (1986). Numerical Methods for Scientists and Engineers (secondeédition). Dover Publications, Inc., New York, NY, USA. 234

[274] S.-P. Han (1976). Superlinearly convergent variable metric algorithms for generalnonlinear programming problems. Mathematical Programming, 11, 263–282. 501

[275] S.-P. Han (1977). A globally convergent method for nonlinear programming. Journalof Optimization Theory and Applications, 22, 297–309. 501

[276] P.C. Hansen (1998). Rank-Deficient and Discrete Ill-Posed Problems: Numerical As-pects of Linear Inversion. SIAM, Philadelphia. 550

[277] R.J. Hanson, C.L. Lawson (1969). Extensions and applications of the Householderalgorithm for solving linear least squares problems. Mathematics of Computation, 23,787–812. 550

[278] P.T. Harker, J.-S. Pang (1990). A damped-Newton method for the linear comple-mentarity problem. In E.L. Allgower, K. Georg, éditeurs, Computational Solution ofNonlinear Systems of Equations, Lecture in Applied Mathematics 26. AMS, Provi-dence, RI. 648

[279] R. Hauser, J. Nedič (2005). The continuous Newton-Raphson method can look ahead.SIAM Journal on Optimization, 15, 915–925. 358

[280] R. Helgason, J. Kennington (1995). Handbooks in Operations Research and Manage-ment Science 7: Netwok Models. North-Holland. 577

[281] R. Helgason, J. Kennington, H. Lall (1980). A polynomially bounded algorithm for asingly constrained quadratic program. Mathematical Programming, 18, 338–343. 647

[282] M.R. Hestenes (1969). Multiplier and gradient methods. Journal of OptimizationTheory and Applications, 4, 303–320. 443

[283] M.R. Hestenes, E. Stiefel (1952). Methods of conjugate gradients for solving linearsystems. Journal of Research of the National Bureau of Standards, 49, 409–436. 296,545

Pren

om N

om

796 Bibliographie

[284] N.J. Higham (2002). Accuracy and Stability of Numerical Algorithms (seconde édition).SIAM Publication, Philadelphia. 244, 273, 296, 357, 675, 680, 808

[285] M. Hintermüller (2003). A primal-dual active set algorithm for bilaterally controlconstrained optimal control problems. Quaterly of Applied Mathematics, 1, 131–160.648

[286] M. Hintermüller, K. Ito, K. Kunisch (2003). The primal-dual active set strategy as asemismooth Newton method. SIAM Journal on Optimization, 13, 865–888. [doi]. 648

[287] J.-B. Hiriart-Urruty (1996). L’Optimisation. Que sais-je 3184. Presses Universitairesde France. 13, 169, 191

[288] J.-B. Hiriart-Urruty, C. Lemaréchal (1993). Convex Analysis and Minimization Al-gorithms. Grundlehren der mathematischen Wissenschaften 305-306. Springer-Verlag.85, 89, 90, 115, 116, 121, 127, 270, 300, 476, 482, 483

[289] J.-B. Hiriart-Urruty, A. Seeger (2010). A variational approach to copositive matrices.SIAM Review, 52, 593–629. 176

[290] A.J. Hoffman (1952). On approximate solutions of systems of linear inequalities. Jour-nal of Research of the National Bureau of Standard, 49, 263–265. 578

[291] R.A. Horn, C. Jonhson (1985). Matrix Analysis. Cambridge University Press, Cam-bridge, U.K. 680

[292] A.S. Houselholder (1964). The Theory of Matrices in Numerical Analysis. Blaisdell,New York. 672

[293] S. Van Huffel, J. Vandewalle (1991). The Total Least Squares Problem: ComputationalAspects and Analysis. Frontiers in Applied Mathematics 9. SIAM, Philadelphia, PA,USA. 550

[294] C. Humes, P.J.S. Silva, B.F. Svaiter (2004). Some inexact hybrid proximal augmentedLagrangian algorithms. Numerical Algorithms, 35, 175–184. [doi]. 436

[295] J. Huschens (1994). On the use of production structure in secant methods for nonlinearleast squares problems. SIAM Journal on Optimization, 4, 108–129. 550

[296] Kh.D. Ikramov, N.V. Savel’eva (2000). Conditionally definite matrices. Journal ofMathematical Sciences, 98, 1–50. 176

[297] M. Iri (1984). Simultaneous computation of functions, partial derivatives and estimatesof rounding errors, complexity and practicality. Japan Journal of Applied Mathematics,1, 223–252. 225

[298] M. Iri, K. Kubota (1987). Methods of fast automatic differentiation and applications.Research Memorandum RMI 87-02, Department of Mathematical Engineering andInstrumentation Physics, Faculty of Engineering, University of Tokyo, Hongo 7-3-1,Bunkyo-ku, Tokyo, Japan. 225

[299] K. Ito, K. Kunisch (2008). Lagrange Multiplier Approach to Variational Problems andApplications. Advances in Design and Control. SIAM Publication, Philadelphia. [doi].13, 192

[300] A.F. Izmailov, A.S. Kurennoy, M.V. Solodov (2012). The Josephy-Newton method forsemismooth generalized equations and semismooth SQP for optimizatiion. Rapportde recherche. 501

[301] D.D. Jackson (1972). Interpretation of inaccurate, insufficient and inconsistent data.gjras, 28, 97–109. 547

[302] J. Jahn (1985). Scalarization in multi objective optimization. Springer-Verlag, Vienna.129

[303] B. Jansen (1997). Interior Point Techniques in Optimization – Complementarity, Sen-sitivity and Algorithms. Applied Optimization 6. Kluwer Academic Publishers, Dor-drecht. 612

[304] J.L.W.V. Jensen (1905). Om Konvekse Funktioner og Uligheder mellem Middelværdier.Nyt Tidsskr. Math., B 16, 49–68. 128

Pren

om N

om

Bibliographie 797

[305] J.L.W.V. Jensen (1906). Sur les fonctions convexes et les inégalités entre les valeursmoyennes. Acta Mathematica, 30, 175–193. 128

[306] H. Jiang, P.A. Forsyth (1995). Robust linear and nonlinear strategies for solution ofthe transonic Euler equations. Comput. Fluids, 24, 753–770. 354

[307] F. John (1948). Extremum problems with inequalities as subsidiary conditions. InK.O. Friedrichs, O.E. Neugebauer, J.J. Stokes, éditeurs, Studies and Essays, CourantAnniversary Volume, pages 186–204. Wiley Interscience, New York. 191

[308] W. Kahan (1966). Numerical linear algebra. Canadian Math. Bull., 9, 757–801. 209[309] L. Kantorovich (1939). The method of successive approximations for functional equa-

tions. Acta Math., 71, 63–97. 356[310] L. Kantorovich (1948). On Newton’s method for functional equations. Dokl. Akad.

Nauk SSSR, 59, 1237–1240. En russe. 356[311] L. Kantorovich (1949). On Newton’s method. Trudy Mat. Inst. Steklov, 28, 104–144.

En russe. 356[312] L.V. Kantorovich (1940). On an efficient method for solving some classes of extremum

problems. Doklady Akad. Nauk SSSR, 28, 212–215. 191[313] L.V. Kantorovich, G.P. Akilov (1982). Functional Analysis (seconde édition). Perga-

mon Press, London. 263, 356[314] Ch. Kanzow (2004). Inexact semismooth Newton methods for large-scale complemen-

tarity problems. Optimization Methods and Software, 19, 309–325. [doi]. 648[315] N. Karmarkar (1984). A new polynomial-time algorithm for linear programming. Com-

binatorica, 4, 373–395.[316] W.E. Karush (1939). Minima of Functions of Several Variables with Inequalities as

Side Conditions. Master’s thesis, Department of Mathematics, University of Chicago,Chicago. 191

[317] C.T. Kelley (1995). Iterative Methods for Linear and Nonlinear Equations. SIAMPublication, Philadelphia. 13, 357

[318] C.T. Kelley (1999). Iterative Methods for Optimization. Frontiers in Applied Mathe-matics 18. SIAM Publication, Philadelphia. 13, 357

[319] C.T. Kelley (2003). Solving Nonlinear Equations with Newton’s Method. SIAM Publi-cation, Philadelphia. 357

[320] C.T. Kelley, D.E. Keyes (1998). Convergence analysis of pseudo-transient continuation.SIAM Journal on Numerical Analysis, 35, 508–523. 354

[321] J.E. Kelley (1960). The cutting plane method for solving convex programs. Journalof the Society for Industrial and Applied Mathematics, 8, 703–712. 576

[322] D.E. Keyes (1995). Aerodynamic applications of Newton-Krylow-Schwarz solvers. InM. Deshpande, S. Desai, R. Narasimha, éditeurs, Proc. 14th Internat. Conference onNumerical Methods in Fluid Dynamics, pages 1–20. Springer. 354

[323] K.V. Kim, Yu.E. Nesterov, B.V. Cherkasskiı (1984). An estimate of the effort incomputing the gradient. Soviet Math. Dokl., 29, 384–387. 225

[324] V. Klee, G.L. Minty (1972). How good is the simplex algorithm ? In O. Shisha, éditeur,Inequalities III, pages 159–175. Academic Press, New York. 554, 575

[325] I. Klep, M. Schweighofer (2012). An exact duality theory for semidefinite programmingbased on sums of squares. Mathematics of Operations Research. 621

[326] D.A. Knoll, D.E. Keyes (2004). Jacobian-free Newton-Krylov methods: a survey ofapproaches and applications. Journal of Computational Physics, 193, 357–397. 357

[327] M. Koecher (1999). The Minnesota Notes on Jordan Algebras and Their Applications.Lecture Notes in Mathematics 1710. Springer-Verlag, Berlin. 635

[328] M. Kojima, S. Mizuno, A. Yoshise (1989). A primal-dual interior-point method forlinear programming. In N. Megiddo, éditeur, Progress in Mathematical Programming,Interior-point and Related Methods, pages 29–47. Springer-Verlag, New York. 611

Pren

om N

om

798 Bibliographie

[329] M. Kojima, S. Mizuno, A. Yoshise (1989). A polynomial-time algorithm for a class oflinear complementarity problems. Mathematical Programming, 44, 1–26. 611

[330] M. Kojima, S. Shindo (1986). Extension of Newton and quasi-Newton methods tosystems of PC1 equations. Journal of Operations Research Society of Japan, 29, 352–375. 357

[331] N. Kollerstrom (1992). Thomas Simpson and “Newton’s method of approximation”:an enduring myth. Brit. J. Hist. Sci., 25, 347–354. 356

[332] H. Komiya (1988). Elementary proof for Sion’s minimax theorem. Kodai MathematicalJournal, 11, 5–7. 482

[333] D. König (1936). Theorie der Endlichen and Unendlichen Graphen. AkademischeVerlagsgegesellschaft, Leipzig. 54

[334] M.A. Krasnosel’skii, S.G. Krein (1952). An iteration process with minimal residues.Mat. Sb., 31, 315–334. En russe. 270

[335] M. Kubicek, M. Marek (1983). Computational Methods in Bifurcation Theory andDissipative Structures. Springer Series in Comput. Phys. Springer-Verlag, New York.355

[336] H.W. Kuhn (1976). Nonlinear programming: a historical view. In R.W. Cottle,C.E.Lemke, éditeurs, Nonlinear Programming, SIAM-AMS Proceedings IX, pages 1–26. American Mathematical Society, Providence, RI. 191

[337] H.W. Kuhn, A.W. Tucker (1951). Nonlinear programming. In J. Neyman, éditeur, Pro-ceedings of the second Berkeley Symposium on Mathematical Studies and Probability,pages 481–492. University of California Press, Berkeley, California. 191

[338] J. Kyparisis (1985). On uniqueness of Kuhn-Tucker multipliers in nonlinear program-ming. Mathematical Programming, 32, 242–246. 170

[339] J.-L. Lagrange (1788). Méchanique Analytique, Tome 1. [internet]. 137, 191[340] P. Lascaux, R. Théodor (1986). Analyse Numérique Matricielle Appliquée à l’Art de

l’Ingénieur. Masson, Paris. 680[341] L. Lasdon (1970). Optimization Theory for Large Systems. Macmillan Series in Oper-

ations Research. 576[342] J.B. Lasserre (1997). A Farkas lemma without a standard closure condition. SIAM

Journal on Control and Optimization, 35, 265–272. [doi]. 50[343] J.B. Lasserre (2001). Global optimization with polynomials and the problem of mo-

ments. SIAM Journal on Optimization, 11, 796–817. 340[344] J.B. Lasserre (2008). Cours du Mastère 2, voie OJME, Université Paris VI. 15[345] P.-J. Laurent (1972). Approximation et Optimisation. Hermann, Paris. 482[346] F.-X. Le Dimet, I.M. Navon, D.N. Daescu (2001). Second order information in data

assimilation. Monthly Weather Review. 235[347] E.B. Lee, L. Markus (1967). Foundations of Optimal Control Theory (première édi-

tion). Wiley. 210[348] A.M. Legendre (1787). Mémoire sur l’intégration de quelques équations aux différences

partielles. Mém. Acad. Sciences, pages 309–351. 128[349] C. Lemaréchal. Lagrangian relaxation. In M. Jünger, D. Naddef, éditeurs, Computa-

tional Combinatorial Optimization, pages 115–160. Springer-Verlag, Heidelberg. 483[350] C. Lemaréchal (1981). A view of line-searches. In A. Auslender, W. Oettli, J. Stoer,

éditeurs, Optimization and Optimal Control, Lecture Notes in Control and InformationScience 30, pages 59–78. Springer-Verlag, Heidelberg. 270

[351] K. Levenberg (1944). A method for the solution of certain nonlinear problems in leastsquares. Quart. Appl. Math., 2, 164–168. 331, 550

[352] E.S. Levitin (1994). Perturbation Theory in Mathematical Programming and its Ap-plications. Wiley. 192

[353] E.S. Levitin, B.T. Polyak (1966). Constrained minimization problems. USSR. Comput.Math. and Math. Phys., 6, 1–50. 394, 408

Pren

om N

om

Bibliographie 799

[354] D.H. Li, M. Fukushima (2001). A modified bfgs method and its global convergencein nonconvex minimization. Journal of Computational and Applied Mathematics, 129,15–35. 379

[355] Y.Y. Lin, J.-S. Pang (1987). Iterative methods for large scale convex quadratic pro-grams: a survey. SIAM Journal on Control and Optimization, 25, 383–411. 482

[356] J.L. Lions (1968). Contrôle Optimal de Systèmes Gouvernés par des Equations auxDérivées Partielles. Etudes Mathématiques. Dunod – Gauthier-Villars, Paris. 210,215

[357] D.C. Liu, J. Nocedal (1989). On the limited memory BFGS method for large scaleoptimization. Mathematical Programming, 45, 503–520. 376

[358] S. Lucidi, M. Roma (1978). Nonmonotone conjugate gradient methods for optimiza-tion. In J. Henry, J.-P. Yvon, éditeurs, System Modelling and Optimization, LectureNotes in Control and Information Sciences 170, pages 206–214. Springer-Verlag, Berlin.270

[359] Z.-Q. Luo, P. Tseng (1992). On the convergence of the coordinate descent method forconvex differentiable minimization. Journal of Optimization Theory and Applications,72, 7–35. 388

[360] S. Mandelbrojt (1939). Sur les fonctions convexes. C. R. Acad. Sci. Paris, 209, 977–978. 127

[361] J.-M. Mandosio (2010). Présentation. In Grammaire Générale et Raisonnée d’AntoineArnauld et Claude Lancelot, 1660. Éditions Allia. 3

[362] O.L. Mangasarian, S. Fromovitz (1967). The Fritz John necessary optimality condi-tions in the presence of equality and inequality constraints. Journal of MathematicalAnalysis and Applications, 17, 37–47. [doi]. 191

[363] D.W. Marquardt (1963). An algorithm for least-squares estimation of nonlinear pa-rameters. Journal of the Society for Industrial and Applied Mathematics, 11, 431–441.314, 331, 550

[364] R.K. Martin (1999). Large Scale Linear and Integer Optimization: a Unified Approach.Kluwer Academic Publishers, Boston. 577

[365] B. Martinet (1970). Régularisation d’inéquations variationnelles par approximationssuccessives. Revue Française d’Informatique et Recherche Opérationnelle, R-3, 154–179. 270

[366] J.M. Martínez (1994). Local minimizers of quadratic functions on Euclidean balls andspheres. SIAM Journal on Optimization, 4, 159–176. 332

[367] W.F. Mascarenhas (2004). The BFGS method with exact line searches fails for non-convex objective functions. Mathematical Programming, 99, 49–61. 375, 379

[368] W.F. Mascarenhas (2008). Newton’s iterates can converge to non-stationary points.Mathematical Programming, 112, 327–334. 356

[369] J. Mawhin (1992). Analyse – Fondements, Techniques, Évolution. De Boeck. 191, 659[370] J. Mawhin, N. Rouche (1973). Équations Différentielles Ordinaires, Tome 1: Théorie

Générale. Masson et Cie, Paris. 276[371] G.P. McCormick (1983). Nonlinear Programming. Theory, Algorithms and Applica-

tions. J. Wiley & Sons, New York. 13[372] L. McLinden (1980). An analogue of Moreau’s proximation theorem, with application

to the nonlinear complementarity problem. Pacific Journal of Mathematics, 88, 101–161. 612

[373] N. Megiddo (1987). On the complexity of linear programming. In T. Bewley, éditeur,Advances in Economic Theory, pages 225–268. Cambridge Univ. Press, Cambridge.554

[374] S. Mehrotra (1992). On the implementation of a primal-dual interior point method.SIAM Journal on Optimization, 2, 575–601. 611

Pren

om N

om

800 Bibliographie

[375] F. Meng, G. Zhao, M. Goh, R. De Souza (2008). Lagrangian-dual functions andMoreau-Yosida regularization. SIAM Journal on Optimization, 19, 39–61. 482

[376] H. Minkowski (1896). Geometrie der Zahlen. Teubner, Leipzig. 52[377] M. Minoux (1983). Programmation Mathématique. Théorie et Algorithmes. Dunod,

Paris. 577[378] G.J. Minty (1964). On the monotonicity of the gradient of a convex function. Pacific

Journal of Mathematics, 14, 243–247. 128[379] S. Mizuno (1992). A new polynomial time method for a linear complementarity prob-

lem. Mathematical Programming, 56, 31–43. 595[380] S. Mizuno, M.J. Todd, Y. Ye (1993). On adaptive-step primal-dual interior-point

algorithms for linear programming. Mathematics of Operations Research, 18, 964–981.611

[381] Montaigne (1572-1592). Les Essais. Gallimard. Adaptation en français moderne parAndré Lanly, 2009. 3

[382] R. Monteiro, I. Adler (1989). Interior path following primal-dual algorithms. part I:linear programming. Mathematical Programming, 44, 27–41. 611

[383] R.D.C. Monteiro (2003). First- and second-order methods for semidefinite program-ming. Mathematical Programming, 97, 209–244. [doi]. 636, 637

[384] R.D.C. Monteiro, M. Todd (2000). Path-following methods. In H. Wolkowicz, R. Sai-gal, L. Vandenberghe, éditeurs, Handbook of Semidefinite Programming – Theory, Al-gorithms, and Applications, chapter 10, pages 267–306. Kluwer Academic Publishers.637

[385] R.D.C. Monteiro, P.R. Zanjacomo (1997). A note of the existence of the alizadeh-haeberly-overton direction for semidefinite programming. Mathematical Programming,78, 393–396. 635

[386] R.D.C. Monteiro, F. Zhou (1998). On the existence and convergence of the centralpath for convex programming and some duality results. Computational Optimizationand Applications, 10, 51–77. 531

[387] G.H. Moore (2008). The emergence of open sets, closed sets, and limit points in analysisand topology. Historia Mathematica, 2008, 220–241. 651

[388] B.S. Mordukhovich (2006). Variational Analysis and Generalized Differentiation.Grundlehren der mathematischen Wissenschaften 330-331. Springer. 192

[389] J.J. Moré (1983). Recent developments in algorithms and software for trust regionmethods. In A. Bachem, M. Grötschel, B. Korte, éditeurs, Mathematical Programming,the State of the Art, pages 258–287. Springer-Verlag, Berlin. 210, 332

[390] J.J. Moré, D.C. Sorensen (1983). Computing a trust region step. SIAM Journal onScientific and Statistical Computing, 4, 553–572. 321

[391] J.J. Moré, G. Toraldo (1989). Algorithms for bound constrained quadratic program-ming problems. Numerische Mathematik, 55, 377–400. [doi]. 397

[392] J.J. Moré, S.A. Vavasis (1991). On the solution of concave knapsack problems. Math-ematical Programming, 49, 397–411. 647

[393] J.-J. Moreau (1965). Proximité et dualité dans un espace hilbertien. Bulletin de laSociété Mathématique de France, 93, 273–299. [url]. 55, 128

[394] J.-J. Moreau (1967). Fonctionnelles convexes. Séminaire Équations aux dérivees par-tielles, Collège de France. 128

[395] W. Mulder, B.V. Leer (1985). Experiments with implicit upwind methods for the Eulerequations. Journal of Computational Physics, 59, 232–246. 354

[396] K.G. Murty, S.N. Kabadi (1987). Some NP-complete problems in quadratic and non-linear programming. Mathematical Programming, 39, 117–129. 176

[397] U. Naumann (2008). Optimal jacobian accumulation is np-complete. MathematicalProgramming, 112, 427–441. 235

Pren

om N

om

Bibliographie 801

[398] L. Nazareth (1994). The Newton-Cauchy Framework – A unified approach to uncon-strained nonlinear minimization. Lecture Notes in Computer Science 769. Springer-Verlag. 13

[399] E.D. Nering, A.W. Tucker, éditeurs (1993). Linear Programs and Related Problems.Academic Press. 577

[400] Y. Nesterov (2004). Introductory Lectures on Convex Optimization – A Basic Course.Kluwer Academic Publishers. 13, 538

[401] Y.E. Nesterov, A.S. Nemirovskii (1993). An interior point method for generalizedlinear-fractional programming. Rapport de recherche. 503, 523, 538

[402] Y.E. Nesterov, A.S. Nemirovskii (1994). Interior-Point Polynomial Algorithms in Con-vex Programming. SIAM Studies in Applied Mathematics 13. SIAM, Philadelphia, PA,USA. 503, 612, 621, 637

[403] J. Nocedal (1980). Updating quasi-Newton matrices with limited storage. Mathematicsof Computation, 35, 773–782. 376, 379

[404] J. Nocedal, R.A. Waltz (2001). Knitro 1.00 – User’s manual. Department of ElectricalEngineering and Computer Science, Northwestern University, Evanston, Il 60208, USA.612

[405] J. Nocedal, S.J. Wright (2006). Numerical Optimization (seconde édition). SpringerSeries in Operations Research. Springer, New York. 13, 193

[406] G. Nolet, R. Montelli, J. Virieux (1999). Explicit, approximate expressions for theresolution and a posteriori covariance of massive tomographic systems. GeophysicalJournal International, 138, 36–44. 547

[407] Y. Notay (1993). On the convergence rate of the conjugate gradients in presence ofrounding errors. Numerische Mathematik, 65, 301–317. 296

[408] J.M. Ortega, W.C. Rheinboldt (1970). Iterative Solution of Nonlinear Equations inSeveral Variables. Academic Press, New York. 13

[409] M. Padberg (1999). Linear Optimization and Extensions (seconde édition). Springer,Berlin. 577

[410] C.C. Paige, M.A. Saunders (1982). LSQR: an algorithm for sparse linear equationsand sparse least squares. ACM Transactions on Mathematical Software, 8, 43–71. 546

[411] J.-S. Pang (1990). Newton’s method for B-differentiable equations. Mathematics ofOperations Research, 15, 311–341. 357

[412] J.-S. Pang (1991). A B-differentiable equation-based, globally and locally quadrati-cally convergent algorithm for nonlinear programs, complementarity and variationalinequality problems. Mathematical Programming, 51, 101–131. 501

[413] C.H. Papadimitriou, K. Steiglitz (1982). Combinatorial optimization: Algorithms andComplexity. Prentice-Hall, New Jersey. 203

[414] P.M. Pardalos, S.A. Vavasis (1992). Open questions in complexity theory for numericaloptimization. Mathematical Programming, 57, 337–339. 648

[415] V.Th. Paschos (2004). Complexité et approximation polynomiale. Lavoisier, Paris. 235[416] V.Th. Paschos, éditeur (2005). Optimisation combinatoire 1 – Concepts fondamentaux.

Lavoisier, Paris. 5, 235[417] G. Peano (1887). Applicazioni Geometriche del Calcolo Infinitesimale. Fratelli Bocca

Editori, Torino. [Cornell]. 191[418] G. Peano (1908). Formulario Mathematico, Editio V. Fratelli Bocca Editori, Torino.

191[419] R.R. Phelps (1993). Convex Functions, Monotone Operators and Differentiability.

Lecture Notes in Mathematics 1364. Springer-Verlag, Berlin. 72, 127[420] E. Polak (1971). Computational Methods in Optimization - A Unified Approach, Math-

ematics in Science and Engineering, Tome 77. Academic Press, New York. 387[421] E. Polak (1997). Optimization – Algorithms and Consistent Approximations. Applied

Mathematical Sciences 124. Springer. 13

Pren

om N

om

802 Bibliographie

[422] B.T. Polyak (2001). History of mathematical programming in the USSR: analyzingthe phenomenon. Mathematical Programming, 91, 401–416. 191

[423] M.J.D. Powell (1969). A method for nonlinear constraints in minimization problems.In R. Fletcher, éditeur, Optimization, pages 283–298. Academic Press, London. 443

[424] M.J.D. Powell (1970). A hybrid method for nonlinear equations. In P. Rabinowitz,éditeur, Numerical Methods for Nonlinear Algebraic Equations, pages 87–114. Gordonand Breach, New York. 331, 356

[425] M.J.D. Powell (1973). On search directions for minimization algorithms. MathematicalProgramming, 4, 193–201. [doi]. 387

[426] M.J.D. Powell (1975). Convergence properties of a class of minimization algorithms.In O.L. Mangasarian, R.R. Meyer, S.M. Robinson, éditeurs, Nonlinear Programming2, pages 1–27. Academic Press, New York. 332

[427] M.J.D. Powell (1976). Some global convergence properties of a variable metric al-gorithm for minimization without exact line searches. In R.W. Cottle, C.E. Lemke,éditeurs, Nonlinear Programming, SIAM-AMS Proceedings 9. American MathematicalSociety, Providence, RI. 379

[428] M.J.D. Powell (1978). Algorithms for nonlinear constraints that use Lagrangian func-tions. Mathematical Programming, 14, 224–248. 501

[429] M.J.D. Powell (1984). Nonconvex minimization calculations and the conjugate gradientmethod. In Lecture Notes in Mathematics 1066, pages 122–141. Springer-Verlag, Berlin.379

[430] M.J.D. Powell (1984). On the global convergence of trust region algorithms for uncon-strained minimization. Mathematical Programming, 29, 297–303.

[431] M.J.D. Powell (1987). Updating conjugate directions by the BFGS formula. Mathe-matical Programming, 38, 29–46. 373

[432] M.J.D. Powell (2000). On the convergence of the DFP algorithm for unconstrainedoptimization when there are only two variables. Mathematical Programming, 87, 281–301. 379

[433] L. Pronzato, H.P. Wynn, A.A. Zhigljavsky (2001). Renormalised steepest descent inHilbert space converges to a two-point attractor. Acta Applicandae Mathematicae, 67,1–18. 270

[434] L. Pronzato, H.P. Wynn, A.A. Zhigljavsky (2004). Asymptotic behaviour of a familyof gradient algorithms in Rd and Hilbert spaces. Manuscript. 270

[435] B.N. Pshenichnyj (1994). The Linearization Method for Constrained Optimization.Computational Mathematics 22. Springer-Verlag. 501

[436] L. Qi, X. Chen (1997). A preconditioning proximal Newton method for nondifferen-tiable convex optimization. Mathematical Programming, 76, 411–429. 269, 270

[437] L. Qi, J. Sun (1993). A nonsmooth version of Newton’s method. Mathematical Pro-gramming, 58, 353–367. [doi]. 357

[438] M. Ramana (1997). An exact duality theory for semidefinite programming and itscomplexity implications. Mathematical Programming, 77, 129–162. 636

[439] M. Ramana, L. Tunçel, H. Wolkowicz (1997). Strong duality for semidefinite program-ming. SIAM Journal on Optimization, 7, 641–662. 636

[440] J. Raphson (1690). Analysis aequationum universalis seu ad aequationes algebraicasresolvendas methodus generalis, et expedita, ex nova infinitarum serierum doctrinadeducta ac demonstrata. London. 356

[441] J. Rawls (1987). Théorie de la Justice. Collection Points 354. Seuil. Traductionfrançaise de Catherine Audard da la version remaniée en 1975 de A Theory of Justice,The Belknap Press of Harvard University Press, 1971. 449

[442] S. Reich (1977). On infinite products of resolvents. Rend. Classe Sci. Fis. Mat. e Nat.Accad. Naz. Lincei Ser. VIII, LXIII, Fasc. 5. 436

Pren

om N

om

Bibliographie 803

[443] J. Renegar (2001). A Mathematical View of Interior-Point Methods in Convex Opti-mization. MPS-SIAM Series on Optimization 3. SIAM. 484, 538, 612

[444] S.M. Robinson (1976). First order conditions for general nonlinear optimization. SIAMJournal on Applied Mathematics, 30, 597–607. 196

[445] S.M. Robinson (1982). Generalized equations and their solutions, part II: applicationsto nonlinear programming. Mathematical Programming Study, 19, 200–221. 196

[446] R.T. Rockafellar (1969). Convex functions and duality in optimization problems anddynamics. Lecture Notes in Operations Research and Mathematical Economics 11,pages 117–141. Springer-Verlag. 482

[447] R.T. Rockafellar (1970). Convex Analysis. Princeton Mathematics Ser. 28. PrincetonUniversity Press, Princeton, New Jersey. 25, 59, 89, 90, 127, 482, 722, 727

[448] R.T. Rockafellar (1971). New applications of duality in convex programming. In Pro-ceedings of the 4th Conference of Probability, Brasov, Romania, pages 73–81. (versionécrite d’un exposé donné à différentes conférences, en particulier au “7th InternationalSymposium on Mathematical Programming”, La Haye, 1970). 443, 482

[449] R.T. Rockafellar (1973). A dual approach to solving nonlinear programming problemsby unconstrained optimization. Mathematical Programming, 5, 354–373. [doi]. 482

[450] R.T. Rockafellar (1973). The multiplier method of Hestenes and Powell applied toconvex programming. Journal of Optimization Theory and Applications, 12, 555–562.[doi]. 429, 443, 483

[451] R.T. Rockafellar (1974). Augmented Lagrange multiplier functions and duality innonconvex programming. SIAM Journal on Control, 12, 268–285. 443

[452] R.T. Rockafellar (1974). Conjugate Duality and Optimization. Regional ConferenceSeries in Applied Mathematics 16. SIAM, Philadelphia, PA, USA. 482

[453] R.T. Rockafellar (1976). Monotone operators and the proximal point algorithm. SIAMJournal on Control and Optimization, 14, 877–898. [doi]. 131, 134, 270

[454] R.T. Rockafellar (1976). Augmented Lagrangians and applications of the proximalpoint algorithm in convex programming. Mathematics of Operations Research, 1, 97–116. 134, 269, 270, 443

[455] R.T. Rockafellar (1981). Proximal subgradients, marginal values, and augmented La-grangians in nonconvex optimization. Mathematics of Operations Research, 6, 424–436.192

[456] R.T. Rockafellar (1993). Lagrange multipliers and optimality. SIAM Review, 35, 183–238. 17, 140, 191

[457] R.T. Rockafellar, R. Wets (1991). Scenarios and policy aggregation in optimizationunder uncertainty. Mathematics of Operations Research, 16, 119–147. 483

[458] C. Roos, T. Terlaky, J.-Ph. Vial (1997). Theory and Algorithms for Linear Optimiza-tion – An Interior Point Approach. John Wiley & Sons, Chichester. 612

[459] Y. Saad (2003). Iterative Methods for Sparse Linear Systems (seconde édition). SIAMPublication, Philadelphia. 297

[460] Y. Saad, M.H. Schultz (1986). GMRES: a generalized minimal residual algorithmfor solving non symmetric linear systems. SIAM Journal on Scientific and StatisticalComputing, 7, 856–869. 291, 296

[461] Y. Saad, H.A. van der Vorst (2000). Iterative solution of linear systems in the 20thcentury. Journal of Computational and Applied Mathematics, 123, 1–33. 297

[462] S. Sahni (1974). Computationally related problems. SIAM Journal on Computing, 3,262–279. 648

[463] R. Saigal (1995). Linear Programming – A Modern Integrated Analysis. Kluwer Aca-demic Publisher, Boston. 577, 612

[464] J.W. Sawyer (1984). First partial differentiation by computer with an application tocategorial data analysis. The American Statistician, 38, 300–308. 225

[465] Cplex. [internet]. 611

Pren

om N

om

804 Bibliographie

[466] Mozek. [internet]. 611[467] SeDuMi. [internet]. 611[468] D. Schott (1995). Basic properties of Fejer monotone sequences. Rostocker Mathema-

tisches Kolloquium, 49, 57–74. 236[469] A. Schrijver (1986). Theory of Linear and Integrated Programming. John Wiley &

Sons. 577[470] L. Schwartz (1991). Analyse I – Théorie des Ensembles et Topologie. Hermann, Paris.

659[471] L. Schwartz (1992). Analyse II – Calcul Différentiel et Équations Différentielles. Her-

mann, Paris. 685, 700[472] R. Shamir (1987). The efficiency of the simplex method: a survey. Management Science,

33, 301–334. 554[473] D.F. Shanno (1970). Conditioning of quasi-Newton methods for function minimization.

Mathematics of Computation, 24, 647–656. 365[474] G.A. Shultz, R.B. Schnabel, R.H. Byrd (1985). A family of trust-region-based al-

gorithms for unconstrained minimization with strong global convergence properties.SIAM Journal on Numerical Analysis, 22, 47–67. 332

[475] D. Siegel (1993). Updating conjugate direction matrices using members of Broyden’sfamily. Mathematical Programming, 60, 167–185. 373

[476] P.J.S. Silva, J. Eckstein (2006). Double-regularization proximal methods, with com-plementarity applications. Computational Optimization and Applications, 33, 115–156.443

[477] T. Simpson (1737). A New Treatise of Fluxions. 356[478] T. Simpson (1740). Essays on several curious and useful subjects in speculative and

mix’d mathematiks, illustrated by a variety of examples. London. 356[479] M. Sion (1958). On general minimax theorems. Pacific Journal of Mathematics, 8,

171–176. 482[480] M. Slater (1950). Lagrange multipliers revisited: a contribution to non-linear program-

ming. Cowles Commission Discussion Paper, Math. 403. 191[481] S. Smale (1983). On the average number of steps of the simplex method of linear

programming. Mathematical Programming, 27, 241–262. 554[482] M.V. Solodov, B.F. Svaiter (1999). A hybrid approximate extragradient-proximal point

algorithm using the enlargement of a maximal monotone operator. Set-Valued Analysis,7, 323–345. [doi]. 436

[483] M.V. Solodov, B.F. Svaiter (1999). A hybrid projection-proximal point algorithm.Journal of Convex Analysis, 6, 59–70. [journal]. 436

[484] M.V. Solodov, B.F. Svaiter (2000). An inexact hybrid generalized proximal pointalgorithm and some new results on the theory of Bregman functions. Mathematics ofOperations Research, 25, 214–230. [doi]. 436

[485] G. Sonnevend, J. Stoer, G. Zhao (1989). On the complexity of following the centralpath of linear programs by linear extrapolation. Mathematics of Operations Research,63, 19–31. 611

[486] G. Sonnevend, J. Stoer, G. Zhao (1991). On the complexity of following the centralpath of linear programs by linear extrapolation II. Mathematical Programming, 52,527–553. 611

[487] D.C. Sorensen (1982). Newton’s method with a model trust region modification. SIAMJournal on Numerical Analysis, 19, 409–426. 332

[488] D.C. Sorensen (1982). Collinear scaling and sequential estimation in sparse optimiza-tion algorithms. Mathematical Programming, 18, 135–159. 379

[489] B. Speelpenning (1980). Compiling fast partial derivatives of functions given by algo-rithms. PhD thesis, Department of Computer Science, University of Illinois at Urbana-Champaign, Urbana, IL 61801. 225

Pren

om N

om

Bibliographie 805

[490] J.E. Spingarn (1987). A projection method for least-squares solutions to overdeter-mined systems of linear inequalities. Linear Algebra and its Applications, 86, 211–236.[doi]. 436

[491] G. Sporre, A. Forsgren (2002). Characterization of the limit point of the central pathin semidefinite programming. Rapport de recherche. 633

[492] T. Steihaug (1983). The conjugate gradient method and trust regions in large scaleoptimization. SIAM Journal on Numerical Analysis, 20, 626–637.

[493] J.M. Stern, S.A. Vavasis (1993). Active set methods for problems in column blockangular form. Mat. Apl. Comput., 12, 199–226. 648

[494] E. Stiefel (1952). Ausleichung ohne aufstellung der gausschen normalgleichungen. Wiss.Z. Technische Hochschule Dresden, 2, 441–442. 545

[495] V. Strassen (1969). Gaussian elimination is not optimal. Numerische Mathematik, 13,354–356. 296

[496] B. Stroustrup (1994). The Design and Evolution of C++. Addison-Wesley. v[497] J.F. Sturm (1999). Using SeDuMi 1.02, a Matlab toolbox for optimization over sym-

metric cones. Optimization Methods and Software, 11, 625–653. 611, 636[498] O. Talagrand (1997). Assimilation of observations, an introduction. Journal of the

Met. Soc. of Japan, 75(1B), 191–209. 544[499] M. Teboulle (1992). Entropic proximal mappings with applications to nonlinear pro-

gramming. Mathematics of Operations Research, 17, 670–681. 128, 443[500] T. Terlaky, éditeur (1996). Interior Point Methods of Mathematical Programming.

Kluwer Academic Press, Dordrecht. 612[501] T. Terlaky, S. Zhang (1993). Pivot rules for linear programming – a survey. Annals of

Operations Research, 46, 203–233. 576[502] S.W. Thomas (1975). Sequential estimation techniques for quasi-Newton algorithms.

Thèse de doctorat, Cornell University, Ithaca, NY. 332[503] A.N. Tikhonov (1963). Solution of ill-posed problems and the regularization method.

Soviet Mathematics Doklady, 4, 1035–1038. 550[504] F. Tisseur (2001). Newton’s method in floating point arithmetic and iterative re-

finement of generalized eigenvalue problems. SIAM Journal on Matrix Analysis andApplications, 22, 1038–1057. 357

[505] M.J. Todd (2001). Semidefinite optimization. In Acta Numerica 2001, pages 515–560.Cambridge University Press. 637

[506] M.J. Todd, K.-C. Toh andR.H. Tütüncü (1998). On the Nesterov-Todd direction insemidefinite programming. SIAM Journal on Optimization, 8, 769–796. 635

[507] Ph.L. Toint (1977). On sparse and symmetric matrix updating subject to a linearequation. Mathematics of Computation, 31, 954–961. 379

[508] L.N. Trefethen, D. Bau (1997). Numerical Linear Algebra. SIAM Publication, Philadel-phia. 680

[509] M. Ulbrich (2011). Semismooth Newton Methods for Variational Inequalities and Con-strained Optimization Problems in Function Spaces. MPS-SIAM Series on Optimiza-tion 11. SIAM Publications, Philadelphia, PA, USA. [doi]. 357

[510] A. van der Sluis (1969). Condition numbers and equilibration of matrices. NumerischeMathematik, 15, 14–23. 287

[511] H.A. van der Vorst (1990). The convergence behaviour of preconditioned CG and CG-S in the presence of rounding errors. In O. Axelsson, L.Y. Kolotilina, éditeurs, Pre-conditioned Conjugate Gradient Methods, Lecture Notes in Mathematics 1457, pages126–136. Springer-Verlag, Berlin. 296

[512] H.A. van der Vorst (2000). Krylov subspace iteration. Computing in Science & Engi-neering, 2, 32–37. [doi]. 274, 297

[513] H.A. van der Vorst (2003). Iterative Krylov Methods for Large Linear Systems. Cam-bridge monographs on applied and computational mathematics 13. Cambridge Uni-versity Press, Oxford. 297

Pren

om N

om

806 Bibliographie

[514] L. Vandenberghe, S. Boyd (1996). Semidefinite programming. SIAM Review, 38, 49–95.[doi]. 625, 637

[515] R.J. Vanderbei (1997). Linear Programming: Foundations and Extensions. KluwerAcademic Publishers, Boston. 577, 612

[516] R.S. Varga (1962). Matrix Iterative Analysis. Prentice-Hall, Upper Saddle River, NJ,USA. 274

[517] S.A. Vavasis (1991). Nonlinear Optimization – Complexity Issues. Oxford UniversityPress, New York. 203, 204, 646, 647, 648

[518] S.A. Vavasis (1992). Local minima for indefinite quadratic knapsack problems. Math-ematical Programming, 57, 127–153. 647

[519] Vax Unix Macsyma: Reference manual, version 11 (1985). Symbolics. 221[520] V. Venkatakrishnan (1989). Newton solution of inviscid and viscous problems. AIAA

J., 27, 885–891. 354[521] J. Ville (1938). Sur la théorie générale des jeux où intervient l’habileté des joueurs. In

Traité du Calcul des Probabilités et de ses Applications, E. Borel, Tome IV, Fascicule II,Applications aux jeux de hasard, J. Ville (ed.), pages 105–113. Gauthier-Villars, Paris.57

[522] P.M.B. Vitanyi (2009). Turing machine. Scholarpedia, 4(3):6240. 205[523] V.V. Voevodin (1983). The problem of a non-selfadjoint generalization of the conjugate

gradient method has been closed. USSR Computational Math. and Math. Phys., 23,143–144. 291

[524] J. von Neumann (1928). Zur Theorie der Gesellshaftsphiele. Mathematische Annalen,100, 295–320. 482, 578

[525] L.T. Watson (1990). Globally convergent homotopy algorithms for nonlinear systemsof equations. Nonlinear Dynamics, 1, 143–191. 355

[526] D.T. Whiteside, éditeur (1967-1976). The Mathematical Papers of Isaac Newton, Vol-umes I-VII. Cambridge University Press, Cambridge. 379

[527] R.A. Wiggins (1972). General linear inverse problem – implication of surface wavesand free ascillatiions for Earth structure. Rev. Geophys. Space Phys., 10, 251–285. 547

[528] A.C. Williams (1970). Boundedness relations for linear constraint sets. Linear Algebraand its Applications, 3, 129–141.

[529] R.B. Wilson (1963). A simplicial algorithm for concave programming. Thèse de doc-torat, Graduate School of Business Administration, Harvard University, Cambridge,MA, USA. 501

[530] P. Wolfe (1969). Convergence conditions for ascent methods. SIAM Review, 11, 226–235. 270

[531] P. Wolfe (1971). Convergence conditions for ascent methods II: some corrections. SIAMReview, 13, 185–188. 270

[532] P. Wolfe (1972). On the convergence of gradient methods under constraint. IBMJournal of Research and Development, 16, 407–411. 391

[533] H. Wolkowicz, R. Saigal, L. Vandenberghe, éditeurs (2000). Handbook of SemidefiniteProgramming – Theory, Algorithms, and Applications. Kluwer Academic Publishers.612, 621, 626, 637

[534] D.H. Wolpert, W.G. Macready (1997). No free lunch theorems for optimization. IEEETransactions on Evolutionary Computation, 1, 67–82. 5

[535] S. Wright, D. Orban (2002). Properties of the log-barrier function on degeneratenonlinear programs. Mathematics of Operations Research, 27, 585–613. 538

[536] S.J. Wright (1993). Identifiable surfaces in constrained optimization. SIAM Journalon Control and Optimization, 31, 1063–1079. 397

[537] S.J. Wright (1997). Primal-Dual Interior-Point Methods. SIAM Publication, Philadel-phia. 606, 612

Pren

om N

om

Bibliographie 807

[538] S.J. Wright (1999). Modified Cholesky factorizations in interior-point algorithms forlinear programming. SIAM Journal on Optimization, 9, 1159–1191. 611

[539] H. Yabe, N. Yamaki (1995). Convergence of a factorized Broyden-like family for non-linear least squares problems. SIAM Journal on Optimization, 5, 770–790. 550

[540] Y. Ye (1992). On the finite convergence of interior-point algorithms for linear pro-gramming. Mathematical Programming, 57, 325–336. 593

[541] Y. Ye (1997). Interior Point Algorithms – Theory and Analysis. Wiley-InterscienceSeries in Discrete Mathematics and Optimization. Wiley. 586, 612

[542] Y. Ye, M.J. Todd, S. Mizuno (1994). An O(√nL)-iteration homogeneous and self-dual

linear programming algorithm. Mathematics of Operations Research, 19, 53–67. 610[543] T.J. Ypma (1983). Finding a multiple zero by transformations and Newton-like meth-

ods. SIAM Review, 25, 365–378. 356[544] T.J. Ypma (1995). Historical development of the Newton-Raphson method. SIAM

Review, 37, 531–551. 356, 379[545] A.J. Zaslavski (2010). Optimization on Metric and Normed Spaces. Optimization and

its Applications 44. Springer, New York. 13, 443[546] X. Zhan (2002). Matrix Inequalities. Springer. 680[547] Y. Zhang (1998). Solving large-scale linear programs with interior-point methods under

the Matlab environment. Optimization Methods and Software, 10, 1–31. 611[548] G. Zoutendijk (1970). Nonlinear programming, computational methods. In J. Abadie,

éditeur, Integer and Nonlinear Programming, pages 37–86. North-Holland, Amsterdam.270

La figure D.4 donne par tranche de 10 ans la fréquence des publications contenues

1900 1910 1920 1930 1940 1950 1960 1970 1980 1990 2000 2010 20200

20

40

60

80

100

120

140

160

Fig. D.4. Fréquence des publications de la bibliographie en fonction de leur date de paru-tion.

Pren

om N

om

808 Bibliographie

dans cette bibliographie en fonction de leur date de parution (cette idée a été emprun-tée à N. Higham [284]). On constate une croissance approximativement exponentiellede celles-ci jusqu’en 2000. Cette évolution reflète, selon nous, l’accroissement des ac-tivités de recherche dans ce domaine, mais aussi le filtre qu’opèrent les articles desynthèse et notre mémoire sur le passé. On constate également que l’optimisationnumérique est une discipline jeune. Les publications d’avant 1950 sont relatives àl’analyse convexe et à l’algèbre linéaire, parfois à l’optimisation, mais guère aux as-pects numériques de cette dernière discipline, qui ne se sont développés qu’après laseconde guerre mondiale.

Pren

om N

om

Index

adhérence, 643– enveloppe affine d’une –, 29, 54– minimisation d’une fonction continue

sur une –, 14affine, voir enveloppe, fonction, hyperplan,

minorante, sous-espaceaffinement indépendants, voir vecteursalgorithme, voir aussi méthode– à directions de descente, 243– à mémoire limitée, 360– à régions de confiance, 300– affine, 582– avec activation de contraintes, 389–400– CGLS (gradient conjugué pour problè-

mes de moindres-carrés linéaires), 537– d’Arrow-Hurwicz, 473– de BFGS, 368– de Bouligand-Newton, 355– de Fletcher-Lemaréchal, 254, 254, 256,

698, 737– de Gauss-Newton, 248, 541– de Gram-Schmidt, 654– de la plus profonde descente, 246– de la sécante, 361– de Levenberg-Marquardt, 542– de minimisation de la fonction duale,

470– de Moré-Sorensen, 321– de Newton en optimisation, 246, 339– – tronqué, 347, 348, 357– de Newton pour système non linéaire,

335– – globalisation par recherche linéaire,

344– – inexact, 341, 344, 357– de Newton semi-lisse, 355– de pénalisation extérieure, 409– de pénalisation intérieure, 419– de points intérieurs, 546– de points-frontière, 546

– de quasi-Newton, 247– – réduit, 492– de suivi de chemin, 582– des directions conjuguées, 279–281– dogleg de Powell, 317– du gradient, 246– du gradient avec projection, 386– du gradient conjugué, 246, 273, 282,

281–282, 537– – préconditionné, 285–287, 297, 298– – projeté, 287, 297– – réduit, 297– du lagrangien augmenté, 472– du résidu minimal (GMRES), 274, 290–

296– du résidu orthogonal, 292– du simplexe, 546– du simplexe révisé, 560, 565– GMRES, 294– ℓ-BFGS, 378– LSQR (Paige et Saunders), 538– OQS, 482, 482– – réduit, 492– proximal, 264, 272angle de descente, 242, 247, 257, 344, 375anti-cyclage, voir règle d’anti-cyclage de

l’algorithme du simplexeapplication linéaire– adjointe, 649– auto-adjointe, 651– continue, 648– continue inversible, 648application-coordonnée, 653arbre de scénarios, 475arête d’un ensemble convexe, 26argmin, 4Armijo, 251Arnoldi, 292Arrow, 473augmentabilité, 429, 674

809

Pren

om N

om

810 Index

Bachelard, vBanach– lemme de perturbation, 648base– d’indices, 549– d’indices associée à un sommet, 549– d’un espace vectoriel, 653– de Gröbner, 340Baudelaire, 814Benders, 569Borel, 644borne d’erreur, 570Borsuk, 356boule, voir aussi minimisation– centre d’une –, 646– fermée, 646– ouverte, 646– rayon d’une –, 646Bouligand, 139Bouveresse, vBroyden, 365, 380

Carathéodory, 23cas difficile, 314Cauchy, 241, 315, voir aussi entrelace-

ment, inégalité, pas de recherche liné-aire, point, recherche linéaire, suite

Céline, vcentrage, 584centre analytique, 575, 578– de la face optimale, 579centre de gravité, 578chemin central– en optimisation linéaire, 573, 574chemin continu, 605chemin des minimiseurs, 410Cholesky, 672, voir aussi factorisationcible de Fejér, 236code– Lbfgs, 378– linéaire cotangent, 227– linéaire tangent, 223– M1qn3, 378codimension, 654combinaison– affine, 20– conique, 24– convexe, 22combinaison d’éléments, 771combinatoire, 522combinatoire des problèmes d’optimisa-

tion, 155, 178, 575, 632

commande– optimale, 210communication– directe, 230– inverse, 231commutativité– d’une inf-convolution, 89– de matrices, 674compatibilité d’égalités et d’inégalités linéaires,

57compatible, voir aussi réalisablecomplément de Schur, 614, 665complémentarité, 159, 553– stricte, 159, 621complémentarité, 428complexité, 203–208, 296, 632– itérative, 582, 585composante– basique, 549– non basique, 549concordance, 302condition, voir aussi inégalité– d’Armijo, 250– de croissance positive à l’infini, 134– de décroissance forte, 319– de décroissance suffisante, 316– de décroissance linéaire, 250– de Powell, 322– de Wolfe, 252– de Zoutendijk, 257conditionnement, 208, 247, 375– d’un problème de moindres-carrés, 535conditions d’optimalité, 138– de Karush-Kuhn-Tucker, 158– du premier ordre, 138– du second ordre, 138– nécessaires, 138– – du premier ordre (CN1), 138, 141–

143, 147, 158– – du second ordre (CN2), 138, 143,

152, 175– suffisantes, 138– – du premier ordre (CS1), 138, 142,

143, 151, 161– – du second ordre (CS2), 138, 143, 152,

176, 193– – du second ordre faibles, 172– – du second ordre fortes, 171, 178– – du second ordre semi-fortes, 172, 178cône, 24

Pren

om N

om

Index 811

– asymptotique, 25, 25–26, 53, 82–84, 129,414, 558, 580

– – d’un polyèdre convexe, 34, 54, 55– – image par une application linéaire, 53– autodual, 48, 56, 608– bidual, 47– contingent, voir cône tangent– critique, 171, 172, 174– de Lorentz, voir cornet– de récession, 25, voir cône asympto-

tique– du second ordre, voir cornet– dual, 47, voir aussi Sn

+

– – intérieur, 56– – intérieur relatif, 56– dual négatif, 47, 55– enveloppe affine, 54– intérieur relatif, 54– linéarisant, 156– normal, voir cône normal– polaire, voir cône dual négatif– polyédrique convexe, 34– radial, 139, 142, 192– tangent, voir cône tangentcône normal, 140– à Sn

+, 192– à un convexe, 46, 192– sous-différentiel de l’indicatrice, 132cône tangent, 139– à Sn

+, 192– à un convexe, 192– à un pavé, 400– à un polyèdre convexe, 192– à une intersection d’ensembles, 192– à une réunion d’ensembles, 192conjecture P = NP, 155conjuguée– d’une enveloppe inférieure, 131– d’une enveloppe supérieure, 131– d’une fonction quadratique strictement

convexe, 130– d’une indicatrice, 132– d’une inf-convolution, 102– d’une inf-image sous une application

linéaire, 98– d’une norme, 132– de la valeur propre maximale, 133contractant, voir fonction– strictement, voir fonctioncontrainte– active, 155

– affine, 384– de borne, 384– faiblement active, 175– fortement active, 175– incompatible, 483– non dégénérée, 393convergence– local, 484, 485– super-linéaire– – en 2 pas, 492convexité– d’une inf-image sous une application

linéaire, 90– d’une fonction composée, 86, 87– d’une indicatrice, 132– d’une norme, 132, 133– de la valeur propre maximale, 133cornet, 56correction de Powell, 489Courant, 659coût, 545– réduit, 560critère, 4, 545croissance quadratique, 176Curry, 249cyclage, 393

Dantzig, 545, 559, 569Dawkins, 197décomposition, voir factorisation– de Benders, 569– de Dantzig-Wolfe, 569– de Moreau, 55– lagrangienne, 569– spectrale, 658demi-droite, 26demi-espace fermé, 45dense, 644dérivabilité, voir différentiabilitédérivée, 679– à droite, 678– à gauche, 678dérivée directionnelle– de la valeur propre maximale, 133déterminant, 658– dérivée, 673différentiabilité– au second ordre, 687– au sens de Fréchet, 72, 679– au sens de Gâteaux, 72, 678– directionnelle, 677– partielle, 72

Pren

om N

om

812 Index

différentiation automatique, 220– en mode direct, 223– en mode inverse, 227dimension– d’image, 655, 673– d’un ensemble convexe, 21– d’un espace vectoriel, 653– d’un sous-espace affine, 648– de noyau, 655, 673– finie, 653direction– à courbure quasi-négative, 348– à courbure négative, 318– admissible, 390– asymptotique, 25– conjuguée, 279– de descente, 242– de descente admissible, 383, 390– de Gauss-Newton, 248– de la plus profonde descente, 245– de Newton, 247– de Newton inexacte, 341– de quasi-Newton, 247– de récession, 25– du gradient, 245– du gradient conjugué, 246direction de Newton en OSDP– direction d’AHO, 627– directions de HRVW/KSH/M duale, 627– directions de HRVW/KSH/M primale,

627– directions de MZ, 627– directions de NT, 627distance, 645– à un ensemble, 476, 645– – contractilité, 652– – différentiabilité, 693– – sous-différentiabilité, 133– de Bregman, 435domaine– d’une fonction, 60– d’une multifonction, 113– du sous-différentiel, 114droite, 515– achevée, 4droite achevée, 645dualisation de contraintes fonctionnelles,

457dualité– faible, 610– saut de –, 444, 452, 584, 610

échec d’une itération, 302élimination– de Fourier, 36– gaussienne, 36, 273élimination gaussienne, 663, 665– par blocs, 665ellipsoïde– inscrit, 530ensemble– admissible, 4, 137, 546– – défini par des contraintes d’égalité et

d’inégalité XEI , 155– – défini par des contraintes d’égalitéXE ,

144– affine, voir sous-espace– borné, 647– connexe par arcs, 605– convexe, 18– de sous-niveau, 83, 129– des applications linéaires continues in-

versibles, 648– des matrices définies positives, voir Sn

++

– des matrices semi-définies positives, voirSn+

entrelacement– de Cauchy, 673– des valeurs propres, 659enveloppe– affine, 20, 53, 54– – d’un cône, 54– – d’un convexe, 53– – d’un intérieur relatif, 29, 54– – d’une adhérence, 29, 54– – d’une somme, 53– conique, 24– – d’une somme, 53– convexe d’un ensemble, 22– – calcul, 53– – produit, 24– – somme, 24– convexe d’une fonction, 91– convexe fermée d’un ensemble, 45– – minimisation d’une fonction linéaire

sur une –, 56– convexe fermée d’une fonction, 97– convexe ouverte d’un ensemble, 55– inférieure, 131– supérieure de fonctions, 87, 131– – sous-differentiel d’une –, 120–121enveloppe affine– d’un polyèdre convexe, 54

Pren

om N

om

Index 813

enveloppe conique– d’un polyèdre convexe, 55epace– d’Asplund, 127épigraphe, 12, 60, 645– d’une inf-convolution, 89– stricte, 60équation– adjointe, 213, 217, 219– d’état, 491– de Fermat, 191– de l’état adjoint, voir équation adjointe– de Newton, 335, 347, 602– de quasi-Newton, 361– d’état, 210, 216– normale, 273, 534, 603équivalence entre problèmes d’optimisa-

tion, 9erreur, 198erreur amont, 244espace– actif, 391– compact, 644– complet, 647– de Banach, 647– de Hilbert (ou hilbertien), 650– dual (topologique), 648– euclidien, 649– métrique, 645– – topologie d’un –, 646– normé, 646– pré-hilbertien, 649– topologique, 643estimation de paramètres, 533état– adjoint, 213, 493– stationnaire, 353Euler, 191, voir aussi schémaEverett, 476existence de solution– d’un problème d’optimisation– – linéaire, 38– – par l’approche topologique (Weierstrass),

6– – par le comportement à l’infini, 8, 84– – quadratique, 193, 632– d’un système d’équations non linéaires,

337– revue des méthodes, 8

face– d’un polyèdre convexe, 54

face d’un convexe, 26– engendrée par une partie, 26– exposée, 53– optimale, 578– propre, 26face exposée– d’un polyèdre convexe, 54facteur– d’inexactitude, 341– d’Oren-Luenberger, 374factorisation– de Bunch et Kaufman, 603– de Bunch et Parlett, 603– de Cholesky, 321, 346, 373, 536, 665–

671– – creuse, 603– – mise à jour des facteurs, 669– en valeurs singulières (SVD), 539, 671–

672– gaussienne (LU), 273, 614, 663–664– QR, 538, 661famille de problèmes, 204– clique, 207– de classe NP, 206– de classe NPA, 208– de classe NPC, 207– de classe P, 205– de décision, 204– évaluation en temps polynomial, 205– instance, 204– ol, 203, 204, 206– oq, 203, 207, 208– oqc, 206– polynomialement réductible, 206– SAT, 207– sat, 638– sous-somme, 207famille de vecteurs– libre, 653Farkas, 50, 56, 569Fejér, 236, voir aussi cible, suiteFenchel, 95Fermat, 137, 191fermé, 643fermeture d’une fonction, 92Finsler, 657Fisher, 659Fletcher, 254, 287, 288, 365, 698, 737, voir

aussi pas de recherche linéairefonction– affine, 63, 648

Pren

om N

om

814 Index

– als (asymptotically level stable), 52– asymptotique, 83– – d’une fonction composée, 85– autoconcrdante, 498– B-différentiable, 357– barrière, 418– barrière autoconcrdante, 509– biconjuguée, 96– – d’une fonction composée, 101– coercive, 7, 14– – forme bilinéaire, 14– composée, 86– – biconjuguée, 101– – conjuguée, 101– – convexité, 86, 87– – fonction asymptotique, 85– – sous-différentiel, 117– concave, 60, 129– conjuguée, 95– – d’une fonction composée, 101– continue, 644, 645– contractante, 123, 646, 652– convexe, 60– (convexe) polyédrique, 64– convexe-concave, 447– croissante, 86– d’appui– – définition, 66– – du sous-différentiel, 112, 131– de couplage, 441– de mérite, 342– de Minkowski, 511– de moindres-carrés, 342, voir aussi pro-

blème– de récession, voir fonction asymptoti-

que– dérivée directionnelle, 71– différentiable, voir différentiabilité– duale, 442, 450, 465– fermée, 61, 645– fortement convexe, 61, 81– implicite, 210– impropre, 61– indicatrice, 62, 132, 576– – conjuguée, 132– – sous-différentiel, 132– intermédiaire, 222– linéaire, voir minimisation– lipschitzienne, 646– localement lipschitzienne, 646– log-barrière (lb), 498, 509, 530, 576

– log-déterminant (ld), 363, 499, 509, 622– marginale, voir fonction marginale– max, 129– monotone, 123– multivoque, voir multifonction– non différentiable, 357– propre, 61, 128– quadratique, voir aussi fonction quadra-

tique convexe– quadratique convexe, 129– – conjuguée, 130– – ensembles de sous-niveau, 129– – régularisée de Moreau-Yosida, 135– semi-continue inférieurement (s.c.i.), 645– semi-continue supérieurement (s.c.s.), 645– semi-lisse, 357– séparable, 266– sous-différentiable, 107, voir aussi sous-

différentiabilité– sous-linéaire, 65– strictement contractante, 646– strictement convexe, 61– valeur, voir fonction valeurfonction duale– d’un problème quadratique, 635fonction marginale, 89, 90– convexité, 88– définition, 88– sous-differentiel, 119fonction valeur, 90, 180, 449, 454, 455,

458, 463– continuité directionnelle, 187–188– convexité, 182fonction-coût, 4fonction-objectif, 4forme, 648formule– de Grassmann, 673– de Sherman-Morrison-Woodbury, 674– de Woodbury, 675– du max, 112formule de mise à jour, 359– à mémoire limitée, 376– de BFGS (Broyden-Fletcher-Goldfarb-

Shanno), 365– PSB (Powell-Symétrique-Broyden), 380– SR1 (Symétrique de Rang 1), 362Fourier, 36Fréchet, 650, 679Frobenius, 607, 656

Pren

om N

om

Index 815

Fromovitz, voir qualification des contrain-tes d’inégalité (QC-MF)

frontière, 644– relative, 27, 46, 54

Gâteaux, 678Gauss, 541, voir aussi algorithme, élimi-

nation, factorisation, méthode de Gauss-Seidel

globalisation, 245, 342– par méthode de continuation, 354–355– par recherche linéaire, 342–352– par régime pseudo-transitoire, 353–354– par région de confiance, 352–353Goldfarb, 365Goldstein, 252Gordan, 57Gröbner, voir basegradient, 72, 678– projeté, 400, 400– – test du gradient projeté, 400– réduit, 747– réduit, 493Gram, 654graphe, 547– connexe, 548– d’une multifonction, 113Grassmann, voir formule

Heine, 644hessien, 691– réduit du lagrangien, 153Hilbert, 650Hoffman, voir lemmeHölder– inégalité de –, 194, 650Houellebecq, viHurwicz, 473hyperplan affine, 42

identité du parallélogramme, 652image, 644, 656– d’une multifonction, 113– par une application linéaire, 648– – d’un cône asymptotique, 53– – d’un cône convexe fermé, 55– – d’un convexe, 19– – d’un convexe fermé, 39– – d’un intérieur relatif de convexe, 30– – d’un polyèdre convexe, 37, 55– – d’une adhérence de convexe, 30image réciproque, 644

– par une application linéaire– – d’un convexe, 19– – d’un intérieur relatif de convexe, 30– – d’un polyèdre convexe, 54– – d’une adhérence de convexe, 30IML, voir inégalité matricielle linéaireincompatibilité d’inégalités linéaires, 57indépendant, voir vecteursindicatrice, voir fonction indicatriceindice de saturation d’un sous-espace de

Krylov, 275inégalité, voir aussi condition– de Cauchy-Schwarz, 650, 652– – généralisée, 650– de convexité, 60– de Hölder, 194, 650– de Jensen, 128– – version intégrale, 128– du sous-gradient, 107– géométrico-arithmétique, 128– incompatible, 57– matricielle linéaire, 20, 610– triangulaire, 645, 646inéquation variationnelle, 114inf-convolution, 89, 90, 122, 128– conjuguée d’une –, 102– de deux formes quadratiques, 129– épigraphe d’une –, 89– épigraphe stricte d’une –, 89inf-image d’une fonction sous une applica-

tion linéaire, 90– conjuguée d’une –, 98– convexité d’une –, 90– polyédricité d’une –, 91– propreté et semi-continuité inférieure d’une

–, 99intérieur, 643– relatif, 27– – d’un cône, 54– – enveloppe affine d’un –, 29, 54intérieur relatif– d’un polyèdre convexe, 54, 55itération– externe, 347– interne, 347itéré, 198

jacobienne, 145, 148, 631Jensen, voir inégalité

Kantorovitch, 191, 263– théorème, 337, 356

Pren

om N

om

816 Index

Kantorovitch, Leonid, 356Karush, 158Kepler, 191Krylov, 274Kuhn, 158Ky Fan, 660

Lagrange, 137, 148, 158, 191, voir aussimultiplicateur

lagrangien, 148, 158– associé à des perturbations, 449, 451– augmenté, 420, 422– augmenté non différentiable, 436– modifié, 420– ordinaire, 213, 433, 458, 551Lebesgue, 644Legendre, 95Leibniz, 191Lemaréchal, 254, 698, 737lemme, voir aussi théorème– de Farkas, 50, 569– de Finsler, 657– de Hoffman, 570– de Mizuno, 587– de perturbation de Banach, 648Levenberg, voir algorithmeligne de flux de Newton, 358linéairement indépendants, voir vecteursloi de conservation des ennuis, 9, 15Löwner, 607Luenberger, 374Lyapunov, 625

machine de Turing, 205MacLaurin, vMangasarian, voir qualification des con-

traintes d’inégalité (QC-MF)Marquardt, 542, voir aussi algorithmematrice, 655– bijective, 656– carrée, 655– complètement positive, 56– copositive, 176– creuse, 237– d’incidence d’un réseau, 548– de covariance des erreurs a posteriori

sur la solution de norme minimale, 539– de covariance des erreurs a priori sur les

données, 539– de résolution d’un problème de moindres-

carrés linéaire, 539– de type m× n, 655

– définie négative, 657– définie positive (Sn

++), 657– définie positive (Sn

++), 673, 674– des cofacteurs, 673– doublement stochastique, 54– identité, 655– injective, 656– inverse, 656– inversible, 656– orthogonale, 661– positive, 56– pseudo-inverse, 658– pseudo-inverse de Moore-Penrose, 535,

539– semi-définie négative, 657– semi-définie positive (Sn

+), 657– semi-définie positive (Sn

+), 56– surjective, 656– symétrique, 657– symétrique copositive, 56– triangulaire, 661– triangulaire unitaire, 661– uniformément injective, 541maximisation, 9méthode, voir aussi algorithme– d’activation de contraintes, 384– de faisceaux, 468, 475– de l’état adjoint, 214– de Newton, 333– de pivotage, 384– des multiplicateurs, 427, 431, 473– newtonienne, 480– primale-duale, 481– tensorielle, 357mineur– principal, 660– principal de tête, 660Minimax de von Neumann, 570minimisation– d’une fonction linéaire sur une boule,

194– emboîtée, 10, 11minimiseur, voir minimumminimum, 4– fort, 143, 152, 176– global, 4– global strict, 5– local, 5– local strict, 5Minkowski, 35, 52– fonction de –, 511

Pren

om N

om

Index 817

– norme de –, 647minorante affine, 63, 93, 97– exacte, 63– pente d’une –, 63Miranda, 356Mizuno, 587module d’une application lipschitzienne,

646module de complexité, 509moindres-carrés, 331Montaigne, 3Moore, 356Moré, 321Moreau, voir décomposition, régulariséeMorrison, 674Motzkin, 57multifonction, 113– domaine d’une –, 113– fortement monotone, 113– graphe d’une –, 113– image d’une –, 113– localement radialement lipschitzienne,

134– monotone, 113– monotone maximale, 113– réciproque, 113multiplicateur de Lagrange, 148, 158– de norme minimale, 413

Newton, 315, 335, 344, 348, 355, 541, 602,voir aussi algorithme

nombres conjugués, 128, 133, 194, 650normale, 46norme, 132, 133, 646, 673– associée à un produit scalaire, 649– biduale, 132– conjuguée d’une –, 132– convexité d’une –, 132, 133– de Frobenius, 607, 656– de Minkowski ou ℓp, 647– duale, 132, 133, 433, 487, 650, 652– euclidienne ou ℓ2, 647– sous-différentiel d’une –, 132– subordonnée, 655norme IEEE 754, 202noyau, 648, 656

OL, voir optimisation linéaireopérateur, voir aussi application linéaire– proximal, 122– réduction, 207optimisation

– combinatoire, 5– conique, 530– en nombres entiers, 5– globale, 15, 340– linéaire, 545–571, 573–605– multicritère, 5, 129– quadratique, 384, 413, 414, 428, 631–

640– semi-définie positive (SDP), 607–629– stochastique, 475optimiseur, 230OQ, voir optimisation quadratiqueordre, 86Oren, 374orthant positif, 19OSDP, voir optimisation semi-définie po-

sitiveouvert, 643– relatif, 27

parallélogramme, voir identitéPareto, 129pas (de recherche linéaire), 243– admissibilité asymptotique du – unité,

262– d’activation, 393– d’Armijo, 252– de Cauchy, 249– de Curry, 249– de Fletcher, 256– de Goldstein, 252, 271, 737– de Wolfe, 253– optimal, 249passage d’un terme du critère en con-

trainte, 12, 495, 614pavé– cône tangent, 400– projection sur un –, 400pénalisation– ℓ1, 436– exacte, 404– extérieure, 406, 417– facteur de –, 404– inexacte, 404– intérieure inverse, 418– logarithmique, 418performance, 233– relative, 233permutation, 658petit o, 679pivot, 664, 667pivotage, 564

Pren

om N

om

818 Index

pli d’une fonction convexe, 108point– admissible, 4, 546– critical or stationary– – regular, 485– d’accumulation, 644– d’activation, 383– de Cauchy, 315– de Newton, 315– extrême, 26– moyennement optimal, 130– Pareto optimal, 129– proximal, 122– stationnaire, 148, 158– – régulier, 483– strictement admissible, 557point extrême– d’un polyèdre convexe, 55point-selle, 126Polak, 287, 288polyèdre convexe, 19, 32– cône asymptotique, 54, 55– enveloppe affine, 54– enveloppe conique, 55– face, 54– face exposée, 54– forme standard d’un –, 32– image– – par une application linéaire, 55– image réciproque par une application

linéaire, 54– intérieur relatif, 54, 55– point extrême, 55– produit cartésien, 54– représentation duale d’un –, 32– représentation primale d’un –, 32– somme, 54, 55– sommet, 54– sous représentation duale, 54– sous représentation primale, 55polyédricité– d’une inf-image sous une application

linéaire, 91polynôme, 340– annihilant une matrice, 276– minimal, 276– unitaire, 276polytope, 32Pompidou, vPowell, 287, 317, 322, 332, 380préconditionnement, 209

– de l’algorithme du gradient conjugué,285–287

préconditionneur, 264, 270– diagonal, 287problème, voir aussi famille de problèmes,

problème d’optimisation– NP, 206– NP-ardu, 208– NP-complet, 207– (PE), 145, 480, 483– (PE) convexe, 145– (PEI), 154, 432, 479– (PEI) convexe, 155– (PL), 545– (P ′

L), 546– (PX), 137– barrière primal, 576– d’identification, 533– d’inéquation variationnelle, 357– d’interpolation linéaire, 533– de complémentarité, 357– de Lagrange, 442, 468, 476– de moindres-carrés, voir aussi fonction– – non linéaire, 247, 256– régression linéaire, 533– du plus court chemin dans un graphe,

548– du sac à dos quadratique, 639– du transport, 548– dual, 441, 450– interne, 10–12– interne dual, 442– interne primal, 442– (PSI), 491– polynomial, 205– primal, 441, 449, 455– quadratique osculateur, 339problème d’optimisation, 4– borné, 4, 546– linéaire, 545–571, 573–605– – forme canonique d’un –, 546– – forme standard d’un –, 545– non borné, 4– quadratique, 631–640– réalisable, 4, 546problème de moindres-carrés, 533–543– linéaire, 533–539– – avec région de confiance, 543– – régularisé, 543– – total, 542– non linéaire, 540–542

Pren

om N

om

Index 819

– robuste, 542problème quadratique osculateur, 482produit– enveloppe conique d’un –, 24produit cartésien, 445, 552– de deux polyèdres convexes, 54produit scalaire, 649– euclidien, 649produit tensoriel, 360, 622, 629, 672profil de performance, 233projection, 39, 55, 645, 693– sur des contraintes de borne, 400– sur un pavé, 400propriété– de croissance quadratique, 176– de Heine-Borel-Lebesgue, 644proximal, voir opérateur, point

qualification des contraintes, 139, 160, 569– abstraites– – (QC-R), de Robinson, 196– d’égalité, 146– d’inégalité, 156, 162–169– – (QC-A), 162– – (QC-MF), de Mangasarian-Fromovitz,

167– – (QC-MFS), de Mangasarian-Fromo-

vitz stricte, 170– – (QC-S), de Slater, 163, 576, 620– – indépendance linéaire (QC-IL), 163– – Mangasarian-Fromovitz (QC-MF), 165quotient de Rayleigh, 194

rang, 656, 673Raphson, Joseph, 356Rawls, 441Rayleigh, 194rayon de confiance, 300rayon spectral, 656réalisabilité, voir compatibilitéréalisable, voir problème d’optimisation,

systèmerebroussement, 251recherche linéaire, 243– d’Armijo, 302, 388– de Cauchy, 249– de Curry, 249– de Goldstein, 252– de Wolfe, 252– de Wolfe forte, 255, 288– exacte, 249– inexacte, 249

– non monotone, 270redémarrage de Powell, 287réduction, 207Reeves, 287, 288région de confiance, 300règle d’anti-cyclage de l’algorithme du sim-

plexe, 562, 564–565– de Bland, 565– des petites perturbations, 565– lexicographique, 565règle de pivotage, 564règle du coût réduit minimal, 563régression de modèles, 533régularisée de Moreau-Yosida, 124, 265,

462relatif, voir frontière, intérieurrelation de polarisation, 652relaxation– de Shor, 619– lagrangienne, 468– SDP (semi-définie positive), 613réseau, 547résidu, 247, 290, 540, 602Ribière, 287, 288Riesz, 650Rimbaud, 695Robinson, voir qualification des contrain-

tes abstraites (QC-R)Rockafellar, 3, 17, 59, 449Rolle, 684rotation de Givens, 662

saut de dualité, voir dualitéschéma d’Euler implicite, 218, 353, 354Schmidt, 654Schur, voir complémentSchwarz, 650segment, 18, 681Seidel, voir méthode de Gauss-Seidelséparation de deux convexes, 42série– absolument convergente, 647– convergente, 647Shadoks, 695Shanno, 365Sherman, 674simplexe– ordonné de Rn, 56– unité de Rn, 19Simpson, Thomas, 356simulateur, 231

Pren

om N

om

820 Index

Slater, voir qualification des contraintesd’inégalité (QC-S)

Sn+

– cône normal, 192– cône tangent, 192– définition, 19Sn++

– définition, 19solution, voir aussi existence de solution,

unicité de solution, minimum– d’un problème quadratique osculateur– – de norme minimale, 485– – importune, 483, 484– de norme minimale, 284, 535– duale, 148, 442, 552– – stable, 446– primale, 148, 441, 552– – stable, 446– primale-duale, 148, 158– primale-duale globale, 182– strictement complémentaire, 553somme– d’un cône convexe fermé et d’un sous-

espace vectoriel, 55– de deux cônes duaux, 51– de deux convexes, 19– – fermés, 31– de deux ensembles, 646– de deux polyèdres convexes, 54, 55– de deux sous-espaces affines– – projection sur une –, 55– enveloppe affine d’une –, 53– enveloppe conique d’une –, 24– enveloppe convexe d’une –, 53sommet– d’un polyèdre convexe, 54sommet d’un polyèdre convexe, 32– dégénéré, 549, 569Sorensen, 321sous-différentiabilité, 107, 110sous-différentiel, 107– caractérisation du –, 109– constance du –, 134– d’une fonction composée, 117– d’une fonction marginale, 119– d’une enveloppe supérieure, 120–121– d’une indicatrice, 132– d’une norme, 132– d’une somme, 116– de f et f∗∗, 109– de la distance à un convexe, 133

– de la valeur propre maximale, 133– et optimalité, 108– fonction d’appui du –, 131– fonction fotement convexe, 131– propriétés géométrique et topologique

du –, 111– représentation du –, 131sous-espace affine, 19, 20, 647, 652sous-espace vectoriel– de Krylov, 274–278– – saturation d’un –, 275– orthogonal, 654sous-espaces vectoriels– somme de –, 653– somme directe de –, 653– supplémentaires, 146, 654, 673sous-gradient, 107sous-problème quadratique– (RC), 300, 306, 332– osculateur, voir problème quadratique

osculateurstabilité d’un ensemble par rapport à des

perturbations, 147, 157Stroustrup, vsuccès d’une itération, 302suite, 643– admissible, 383– convergente, 643– de Cauchy, 647– limite d’une –, 643– minimisante, 6suite de Fejér, 236sur-relaxation, 357système– fortement réalisable, 612, 613– quasi-réalisable, 612système linéaire– augmenté, 536, 602– de Lyapunov, 625– de Sylvester, 625

taux de convergence, 199, 202terminaison finie, 585– de l’algorithme proximal, 272terminaison quadratique, 372test du gradient projeté, 400théorème, voir aussi lemme– d’Everett, 462, 476– de Carathéodory, 23– de l’alternative, 50– – de Farkas, 56– – de Gordan, 57

Pren

om N

om

Index 821

– – de Motzkin homogène, 57– – de Motzkin non-homogène, 57– – de Ville, 57– de l’image fermée, 649– de représentation de Riesz-Fréchet, 650– de Rolle, 684– de séparation, 43, 44– des accroissements finis, 681, 685– des fonctions implicites– – différentibilité, 686– – existence, 686topologie, 643– d’un espace métrique, 646– induite, 644– séparée, 643trace d’une matrice carrée, 655transposée, 657Tucker, 158Turing, voir machine

unicité de solution, 62

valeur, voir fonction valeurvaleur optimale, 4valeur propre maximale, 133valeur singulière d’une matrice, 194, 537,

672, voir aussi factorisation en valeurssingulières (SVD)

valeur-selle, 126, 476variable– active, 222– d’écart, 32, 422, 547– – duale, 552– d’entrée, 221– d’état, 491– de commande, 210, 491– de sortie, 221– d’état, 210– duale, 226– indépendante, 221variété, 145vecteur– normal, 140– tangent, 139vecteurs– affinement indépendants, 21– linéairement indépendants, 653– orthogonaux, 654Ville, 57vitesse de convergence– q-linéaire, 199– q-quadratique, 201

– q-superlinéaire, 200– r-linéaire, 202– sous-quadratique, 527voisinage, 643von Neumann, 570

Weierstrass, 6Wilkinson, 244Wittgenstein, vWolfe, 252, 255, 569– contre-exemple de –, 383Woodbury, 674

Yosida, voir régularisée

zéro, 334Zoutendijk, 257

Pren

om N

omSois sage, ô ma Douleur, et tiens-toi plus tranquille.

Tu réclamais le Soir ; il descend ; le voici :Une atmosphère obscure enveloppe la ville,

Aux uns portant la paix, aux autres le souci.

Ch. Baudelaire (1868). Recueillement. Les Fleurs du Mal[Poème apporté par la troisième édition].