ii. optimisation sans contrainte min f(x) avec x ε r
TRANSCRIPT
![Page 1: II. OPTIMISATION SANS CONTRAINTE min f(x) avec x ε R](https://reader031.vdocuments.pub/reader031/viewer/2022012508/6185b197a430af7ee31bc988/html5/thumbnails/1.jpg)
II. OPTIMISATION SANS CONTRAINTE
min f(x) avec x ε Rn
– Méthodes de recherche unidimensionnelle
– Méthodes du gradient
– Méthodes des directions conjuguées
– Méthode de Newton et méthode de Levenberg-Marquardt
– Méthodes quasi-Newton
– Méthodes sans calcul du gradient
– Résolution d’équations non linéaires
![Page 2: II. OPTIMISATION SANS CONTRAINTE min f(x) avec x ε R](https://reader031.vdocuments.pub/reader031/viewer/2022012508/6185b197a430af7ee31bc988/html5/thumbnails/2.jpg)
II.1 Méthodes de recherches unidimensionnelles (1)
II.1.1 Méthode du nombre d’or
II. OPTIMISATION SANS CONTRAINTE
Hypothèse: f unimodulable sur
<=> ∃ un seul minimisant f
• • • • • •
f(x) f(x) • • • •
• •
![Page 3: II. OPTIMISATION SANS CONTRAINTE min f(x) avec x ε R](https://reader031.vdocuments.pub/reader031/viewer/2022012508/6185b197a430af7ee31bc988/html5/thumbnails/3.jpg)
II.1 Méthodes de recherches unidimensionnelles (2)
Principes de la méthode du nombre d’or
II. OPTIMISATION SANS CONTRAINTE
f(x)
• • •
• • • •
• • • • •
![Page 4: II. OPTIMISATION SANS CONTRAINTE min f(x) avec x ε R](https://reader031.vdocuments.pub/reader031/viewer/2022012508/6185b197a430af7ee31bc988/html5/thumbnails/4.jpg)
II.1 Méthodes de recherches unidimensionnelles (3)
II. OPTIMISATION SANS CONTRAINTE
• Choisir un des points de l’étape précédente :
Principes de la méthode du nombre d’or (suite) • Répéter
![Page 5: II. OPTIMISATION SANS CONTRAINTE min f(x) avec x ε R](https://reader031.vdocuments.pub/reader031/viewer/2022012508/6185b197a430af7ee31bc988/html5/thumbnails/5.jpg)
II.1 Méthodes de recherches unidimensionnelles (4)
II. OPTIMISATION SANS CONTRAINTE
=> Facteur de réduction à chaque itération:
= NOMBRE D’OR
Calcul de la valeur de ρ dans la méthode du nombre d’or:
![Page 6: II. OPTIMISATION SANS CONTRAINTE min f(x) avec x ε R](https://reader031.vdocuments.pub/reader031/viewer/2022012508/6185b197a430af7ee31bc988/html5/thumbnails/6.jpg)
II.1 Méthodes de recherches unidimensionnelles (5)
II.1.2 Méthode des suites de Fibonacci
II. OPTIMISATION SANS CONTRAINTE
ρ est variable pour optimiser la convergence • • • •
![Page 7: II. OPTIMISATION SANS CONTRAINTE min f(x) avec x ε R](https://reader031.vdocuments.pub/reader031/viewer/2022012508/6185b197a430af7ee31bc988/html5/thumbnails/7.jpg)
II.1 Méthodes de recherches unidimensionnelles (6)
Sélection optimale des facteurs de réduction:
II. OPTIMISATION SANS CONTRAINTE
Si N itérations sont permises :
est la suite de Fibonacci : où
![Page 8: II. OPTIMISATION SANS CONTRAINTE min f(x) avec x ε R](https://reader031.vdocuments.pub/reader031/viewer/2022012508/6185b197a430af7ee31bc988/html5/thumbnails/8.jpg)
II.1 Méthodes de recherches unidimensionnelles (7)
II.1.3 Méthode de Newton
II. OPTIMISATION SANS CONTRAINTE
Approximation de f(x) par une forme quadratique autour d’un point :
Minimiser q(x)
=> x =
![Page 9: II. OPTIMISATION SANS CONTRAINTE min f(x) avec x ε R](https://reader031.vdocuments.pub/reader031/viewer/2022012508/6185b197a430af7ee31bc988/html5/thumbnails/9.jpg)
II.1 Méthodes de recherches unidimensionnelles (8)
II.1.3 Méthode de Newton (suite)
II. OPTIMISATION SANS CONTRAINTE
Méthode efficace si > 0 ∀ x ⇒ convergence quadratique
f(x)
q(x)
• • • •
q(x)
![Page 10: II. OPTIMISATION SANS CONTRAINTE min f(x) avec x ε R](https://reader031.vdocuments.pub/reader031/viewer/2022012508/6185b197a430af7ee31bc988/html5/thumbnails/10.jpg)
II.1 Méthodes de recherches unidimensionnelles (9)
II.1.3 Méthode de Newton (suite)
II. OPTIMISATION SANS CONTRAINTE
Par contre la méthode ne converge pas nécessairement si f’’(x) < 0 pour certaines valeurs de x
f(x) g(x)
• •
![Page 11: II. OPTIMISATION SANS CONTRAINTE min f(x) avec x ε R](https://reader031.vdocuments.pub/reader031/viewer/2022012508/6185b197a430af7ee31bc988/html5/thumbnails/11.jpg)
II.1 Méthodes de recherches unidimensionnelles (10)
II.1.3 Méthode de Newton (suite)
II. OPTIMISATION SANS CONTRAINTE
La méthode de Newton peut être vue comme une méthode de recherche de zéro d’une fonction g(x) si on pose
• •
•
•
g(x)
![Page 12: II. OPTIMISATION SANS CONTRAINTE min f(x) avec x ε R](https://reader031.vdocuments.pub/reader031/viewer/2022012508/6185b197a430af7ee31bc988/html5/thumbnails/12.jpg)
II.1 Méthodes de recherches unidimensionnelles (11)
II.1.4 Méthode de la sécante
II. OPTIMISATION SANS CONTRAINTE
La dérivée n’est pas toujours disponible => approximation
Cette méthode amène la dérivée de f(x) à zéro
![Page 13: II. OPTIMISATION SANS CONTRAINTE min f(x) avec x ε R](https://reader031.vdocuments.pub/reader031/viewer/2022012508/6185b197a430af7ee31bc988/html5/thumbnails/13.jpg)
II.1 Méthodes de recherches unidimensionnelles (12)
II.1.4 Méthode de la sécante (suite)
II. OPTIMISATION SANS CONTRAINTE
• •
•
•
g(x)
Si f’(x) = g(x) cette méthode trouve la racine de g(x)
•
![Page 14: II. OPTIMISATION SANS CONTRAINTE min f(x) avec x ε R](https://reader031.vdocuments.pub/reader031/viewer/2022012508/6185b197a430af7ee31bc988/html5/thumbnails/14.jpg)
II.1 Méthodes de recherches unidimensionnelles (13)
II.1.5 Méthodes unidirectionnelles « Line search »
II. OPTIMISATION SANS CONTRAINTE
= solution d’un problème unidimensionnel
Exemple: méthode de la sécante
![Page 15: II. OPTIMISATION SANS CONTRAINTE min f(x) avec x ε R](https://reader031.vdocuments.pub/reader031/viewer/2022012508/6185b197a430af7ee31bc988/html5/thumbnails/15.jpg)
II.1 Méthodes de recherches unidimensionnelles (14)
II. OPTIMISATION SANS CONTRAINTE
Il n’est pas nécessaire de calculer précisément α* si de manière significative
• If faut distinguer 2 cas : f dérivable et f non dérivable
• La recherche de α* se fait souvent en deux étapes: 1. Déterminer un intervalle contenant α* 2. Réduire cet intervalle
II.1.5 Méthodes unidirectionnelles (suite)
!
![Page 16: II. OPTIMISATION SANS CONTRAINTE min f(x) avec x ε R](https://reader031.vdocuments.pub/reader031/viewer/2022012508/6185b197a430af7ee31bc988/html5/thumbnails/16.jpg)
II.1 Méthodes de recherches unidimensionnelles (15)
Déterminer un intervalle contenant α*
II. OPTIMISATION SANS CONTRAINTE
1° Trouver un intervalle [a,b] où la pente change de signe
• • • • • •
•
a b
pente
!
II.1.5.1 La fonction f est dérivable Soit une direction de décroissance de f
![Page 17: II. OPTIMISATION SANS CONTRAINTE min f(x) avec x ε R](https://reader031.vdocuments.pub/reader031/viewer/2022012508/6185b197a430af7ee31bc988/html5/thumbnails/17.jpg)
II.1 Méthodes de recherches unidimensionnelles (16)
2° Algorithme de Fletcher
II. OPTIMISATION SANS CONTRAINTE
•
• •
A B
pente
α max
pente
α
Conditions de Wolfe-Powell
![Page 18: II. OPTIMISATION SANS CONTRAINTE min f(x) avec x ε R](https://reader031.vdocuments.pub/reader031/viewer/2022012508/6185b197a430af7ee31bc988/html5/thumbnails/18.jpg)
II.1 Méthodes de recherches unidimensionnelles (17)
II. OPTIMISATION SANS CONTRAINTE
1. Utiliser des différences finies au lieu des dérivées. 2. Méthode du nombre d’or ou des suites de Fibonacci si un
intervalle [0, αmax] a été identifié. 3. Interpolation quadratique en 3 points avec recherche de minimum:
méthode souvent utilisée (e.g.. MATLAB).
II.1.5.2. La fonction f est non dérivable
![Page 19: II. OPTIMISATION SANS CONTRAINTE min f(x) avec x ε R](https://reader031.vdocuments.pub/reader031/viewer/2022012508/6185b197a430af7ee31bc988/html5/thumbnails/19.jpg)
II.2 Méthode du Gradient (1)
II. OPTIMISATION SANS CONTRAINTE
Indique la direction avec le plus grand taux de décroissance de f au point
=> Algorithme du Gradient:
Soit
![Page 20: II. OPTIMISATION SANS CONTRAINTE min f(x) avec x ε R](https://reader031.vdocuments.pub/reader031/viewer/2022012508/6185b197a430af7ee31bc988/html5/thumbnails/20.jpg)
II.2 Méthode du Gradient (2)
II. OPTIMISATION SANS CONTRAINTE
II.2.1 Méthode de Cauchy ou méthode de la plus grande pente
• •
•
• •
•
•
Propriétés : 1° 2°
![Page 21: II. OPTIMISATION SANS CONTRAINTE min f(x) avec x ε R](https://reader031.vdocuments.pub/reader031/viewer/2022012508/6185b197a430af7ee31bc988/html5/thumbnails/21.jpg)
II.2 Méthode du Gradient (3)
II. OPTIMISATION SANS CONTRAINTE
II.2.2 Evaluation du Gradient
Problèmes possibles: * *
*
, mais calcul du ∇f trop complexe
∇f connu, mais nécessite trop de calculs
Si => différences finies:
Si => autres méthodes sans calcul du gradient
![Page 22: II. OPTIMISATION SANS CONTRAINTE min f(x) avec x ε R](https://reader031.vdocuments.pub/reader031/viewer/2022012508/6185b197a430af7ee31bc988/html5/thumbnails/22.jpg)
II.2 Méthode du Gradient (4)
II. OPTIMISATION SANS CONTRAINTE
II.2.3 Critères d’arrêt
En théorie si En pratique avant car convergence trop lente
Critères :
![Page 23: II. OPTIMISATION SANS CONTRAINTE min f(x) avec x ε R](https://reader031.vdocuments.pub/reader031/viewer/2022012508/6185b197a430af7ee31bc988/html5/thumbnails/23.jpg)
II.2 Méthode du Gradient (5)
II. OPTIMISATION SANS CONTRAINTE
II.2.4 Convergence
Cas d’une fonction quadratique
![Page 24: II. OPTIMISATION SANS CONTRAINTE min f(x) avec x ε R](https://reader031.vdocuments.pub/reader031/viewer/2022012508/6185b197a430af7ee31bc988/html5/thumbnails/24.jpg)
II.2 Méthode du Gradient (6)
II. OPTIMISATION SANS CONTRAINTE
II.2.4 Convergence
Cas d’une fonction quadratique (suite)
Convergence linéaire qui dépend du conditionnement de Q
![Page 25: II. OPTIMISATION SANS CONTRAINTE min f(x) avec x ε R](https://reader031.vdocuments.pub/reader031/viewer/2022012508/6185b197a430af7ee31bc988/html5/thumbnails/25.jpg)
II.2 Méthode du Gradient (7)
II. OPTIMISATION SANS CONTRAINTE
Exemple 1°
=> Convergence en une itération
Exemple 2°
=> 15 itérations
Critère d’arrêt :
![Page 26: II. OPTIMISATION SANS CONTRAINTE min f(x) avec x ε R](https://reader031.vdocuments.pub/reader031/viewer/2022012508/6185b197a430af7ee31bc988/html5/thumbnails/26.jpg)
II.2 Méthode du Gradient (8)
II. OPTIMISATION SANS CONTRAINTE
![Page 27: II. OPTIMISATION SANS CONTRAINTE min f(x) avec x ε R](https://reader031.vdocuments.pub/reader031/viewer/2022012508/6185b197a430af7ee31bc988/html5/thumbnails/27.jpg)
II.2 Méthode du Gradient (9)
II. OPTIMISATION SANS CONTRAINTE
![Page 28: II. OPTIMISATION SANS CONTRAINTE min f(x) avec x ε R](https://reader031.vdocuments.pub/reader031/viewer/2022012508/6185b197a430af7ee31bc988/html5/thumbnails/28.jpg)
II.2 Méthode du Gradient (10)
II. OPTIMISATION SANS CONTRAINTE
Exemple 3°
=> 4 itérations Avec le même critère d’arrêt
![Page 29: II. OPTIMISATION SANS CONTRAINTE min f(x) avec x ε R](https://reader031.vdocuments.pub/reader031/viewer/2022012508/6185b197a430af7ee31bc988/html5/thumbnails/29.jpg)
II.2 Méthode du Gradient (11)
II. OPTIMISATION SANS CONTRAINTE
![Page 30: II. OPTIMISATION SANS CONTRAINTE min f(x) avec x ε R](https://reader031.vdocuments.pub/reader031/viewer/2022012508/6185b197a430af7ee31bc988/html5/thumbnails/30.jpg)
II.2 Méthode du Gradient (12)
II. OPTIMISATION SANS CONTRAINTE
![Page 31: II. OPTIMISATION SANS CONTRAINTE min f(x) avec x ε R](https://reader031.vdocuments.pub/reader031/viewer/2022012508/6185b197a430af7ee31bc988/html5/thumbnails/31.jpg)
II.3 Méthode des directions conjuguées (1)
II. OPTIMISATION SANS CONTRAINTE
• Résout les problèmes quadratiques en n itérations • Convergence plus rapide que le gradient
Définition : Directions Q-conjuguées
Soit Les directions sont Q-conjuguées si
et linéairement indépendantes si Q > 0
![Page 32: II. OPTIMISATION SANS CONTRAINTE min f(x) avec x ε R](https://reader031.vdocuments.pub/reader031/viewer/2022012508/6185b197a430af7ee31bc988/html5/thumbnails/32.jpg)
II.3 Méthode des directions conjuguées (2)
II. OPTIMISATION SANS CONTRAINTE
II.3.1 Algorithme des directions conjuguées
Soit
Soient n directions conjuguées
Propriétés: converge vers
en n itérations
En effet :
![Page 33: II. OPTIMISATION SANS CONTRAINTE min f(x) avec x ε R](https://reader031.vdocuments.pub/reader031/viewer/2022012508/6185b197a430af7ee31bc988/html5/thumbnails/33.jpg)
II.3 Méthode des directions conjuguées (3)
II. OPTIMISATION SANS CONTRAINTE
II.3.1 Algorithme des directions conjuguées (suite)
Démonstration :
€
∃ n coefficients βi x∗ − x0 = βidii=0
n−1
∑
⇒ dkT Q(x∗ − x0) = βkdk
T Q dk ⇒ βk =dkT Q(x∗ − x0)dkT Q dk
xk = x0 +α0d0 +α1d1 +…+αk−1dk−1xk − x0 = α0d0 +…+αk−1dk−1x∗ − x0 = x∗ − xk + xk − x0⇒ dk
T Q(x∗ − x0) = dkT Q(x∗ − xk ) = −dk
T (Q xk − b) = −dkT∇f (xk )
⇒ βk = −dkT∇f (xk )dkT Q dk
= αk ⇒ xn−1 = x∗
![Page 34: II. OPTIMISATION SANS CONTRAINTE min f(x) avec x ε R](https://reader031.vdocuments.pub/reader031/viewer/2022012508/6185b197a430af7ee31bc988/html5/thumbnails/34.jpg)
II.3 Méthode des directions conjuguées (4)
II. OPTIMISATION SANS CONTRAINTE
II.3.2 Algorithme du gradient conjugué
Soit
Principe : Construire les directions conjuguées au fur et à mesure
![Page 35: II. OPTIMISATION SANS CONTRAINTE min f(x) avec x ε R](https://reader031.vdocuments.pub/reader031/viewer/2022012508/6185b197a430af7ee31bc988/html5/thumbnails/35.jpg)
II.3 Méthode des directions conjuguées (5)
II. OPTIMISATION SANS CONTRAINTE
II.3.2 Algorithme du gradient conjugué (suite)
Algorithme: choisir
Si => arrêt
Propriétés: converge vers en n itérations
![Page 36: II. OPTIMISATION SANS CONTRAINTE min f(x) avec x ε R](https://reader031.vdocuments.pub/reader031/viewer/2022012508/6185b197a430af7ee31bc988/html5/thumbnails/36.jpg)
II.3 Méthode des directions conjuguées (6)
II. OPTIMISATION SANS CONTRAINTE
Exemple 1°
![Page 37: II. OPTIMISATION SANS CONTRAINTE min f(x) avec x ε R](https://reader031.vdocuments.pub/reader031/viewer/2022012508/6185b197a430af7ee31bc988/html5/thumbnails/37.jpg)
II.3 Méthode des directions conjuguées (7)
II. OPTIMISATION SANS CONTRAINTE
Exemple 1° (suite)
![Page 38: II. OPTIMISATION SANS CONTRAINTE min f(x) avec x ε R](https://reader031.vdocuments.pub/reader031/viewer/2022012508/6185b197a430af7ee31bc988/html5/thumbnails/38.jpg)
II.2 Méthode des directions conjuguées (8)
II. OPTIMISATION SANS CONTRAINTE
Exemple 2°
![Page 39: II. OPTIMISATION SANS CONTRAINTE min f(x) avec x ε R](https://reader031.vdocuments.pub/reader031/viewer/2022012508/6185b197a430af7ee31bc988/html5/thumbnails/39.jpg)
II.3 Méthode des directions conjuguées (9)
II. OPTIMISATION SANS CONTRAINTE
II.3.3 Gradients conjugués pour les fonctions non quadratiques
Le Hessien de f(x) ≠ Q => éliminer Q dans l’algorithme
Par recherche unidirectionnelle
A. Formule de Hestenes-Stiefel
NB:
![Page 40: II. OPTIMISATION SANS CONTRAINTE min f(x) avec x ε R](https://reader031.vdocuments.pub/reader031/viewer/2022012508/6185b197a430af7ee31bc988/html5/thumbnails/40.jpg)
II.3 Méthode des directions conjuguées (10)
II. OPTIMISATION SANS CONTRAINTE
II.3.3 Gradients conjugués pour les fonctions non quadratiques
C. Formule de Fletcher-Reeves
B. Formule de Polak-Ribière
![Page 41: II. OPTIMISATION SANS CONTRAINTE min f(x) avec x ε R](https://reader031.vdocuments.pub/reader031/viewer/2022012508/6185b197a430af7ee31bc988/html5/thumbnails/41.jpg)
II.3 Méthode des directions conjuguées (11)
II. OPTIMISATION SANS CONTRAINTE
II.3.3 Gradients conjugués pour les fonctions non quadratiques
Algorithme de Fletcher-Reeves: choisir
Convergence après n itérations => re-initialiser de temps en temps
![Page 42: II. OPTIMISATION SANS CONTRAINTE min f(x) avec x ε R](https://reader031.vdocuments.pub/reader031/viewer/2022012508/6185b197a430af7ee31bc988/html5/thumbnails/42.jpg)
II.4 Méthode de Newton (1)
II. OPTIMISATION SANS CONTRAINTE
=> une seule itération !
Exemple:
Soit
![Page 43: II. OPTIMISATION SANS CONTRAINTE min f(x) avec x ε R](https://reader031.vdocuments.pub/reader031/viewer/2022012508/6185b197a430af7ee31bc988/html5/thumbnails/43.jpg)
II.4 Méthode de Newton (2)
II. OPTIMISATION SANS CONTRAINTE
Calcul du Hessien très lourd ! Propriété locale
=> Mauvaise direction :
fonction pas vraiment quadratique
=> Introduire optimisation unidirectionnelle
!
![Page 44: II. OPTIMISATION SANS CONTRAINTE min f(x) avec x ε R](https://reader031.vdocuments.pub/reader031/viewer/2022012508/6185b197a430af7ee31bc988/html5/thumbnails/44.jpg)
II.5 Algorithme de Levenberg-Marquardt
II. OPTIMISATION SANS CONTRAINTE
Combiner Gradient et Newton
terme de régularisation tel que
Algorithme:
€
soit x0 ν0 ∇f (x0) H0(x0)1° Hk = H(xk ) +νkI2° si Hk / > 0⇒νk = c0νk ⇒1°
3° xk+1 = xk −αkHk−1∇f (xk )
4° calculer f (xk+1)5° si f (xk+1) ≥ f (xk ) νk = c1νk xk+1 = xk ⇒1°
si non νk+1 =νkc2
et k = k +1 ⇒1°
![Page 45: II. OPTIMISATION SANS CONTRAINTE min f(x) avec x ε R](https://reader031.vdocuments.pub/reader031/viewer/2022012508/6185b197a430af7ee31bc988/html5/thumbnails/45.jpg)
II.6 Méthodes Quasi-Newton (1)
II. OPTIMISATION SANS CONTRAINTE
est remplacé par une approximation
Propriété
Condition quasi-Newton
![Page 46: II. OPTIMISATION SANS CONTRAINTE min f(x) avec x ε R](https://reader031.vdocuments.pub/reader031/viewer/2022012508/6185b197a430af7ee31bc988/html5/thumbnails/46.jpg)
II.6 Méthodes Quasi-Newton (2)
II. OPTIMISATION SANS CONTRAINTE
II.6.1 Formule de correction de rang 1
=> Formule de correction de rang 2 :
![Page 47: II. OPTIMISATION SANS CONTRAINTE min f(x) avec x ε R](https://reader031.vdocuments.pub/reader031/viewer/2022012508/6185b197a430af7ee31bc988/html5/thumbnails/47.jpg)
II.6 Méthodes Quasi-Newton (3)
II. OPTIMISATION SANS CONTRAINTE
II.6.2 Formule de correction de rang 2
Propriétés : * si f(x) est quadratique => convergence en n itérations * si f(x) quelconque
A. Davidson-Fletcher-Powell (DFP)
B. Broyden-Fletcher-Goldfarb-Shanno (BFGS)
=> Propriété de descente garantie !
![Page 48: II. OPTIMISATION SANS CONTRAINTE min f(x) avec x ε R](https://reader031.vdocuments.pub/reader031/viewer/2022012508/6185b197a430af7ee31bc988/html5/thumbnails/48.jpg)
II.7 Méthodes sans calcul du gradient (1)
II. OPTIMISATION SANS CONTRAINTE
1° Minimisation par rapport à 2° Minimisation par rapport à …
Méthode simple mais ne converge pas toujours
• P
Convergence ralentie en P
II.7.1 Méthode univariable alternée
![Page 49: II. OPTIMISATION SANS CONTRAINTE min f(x) avec x ε R](https://reader031.vdocuments.pub/reader031/viewer/2022012508/6185b197a430af7ee31bc988/html5/thumbnails/49.jpg)
II.7 Méthode sans calcul du gradient (2)
II. OPTIMISATION SANS CONTRAINTE
Définition : Forme géométrique avec n+1 sommets dans un espace à n dimensions = simplexe
Simplexe régulier si les sont équidistants
n=2 n=3
Principe de l’algorithme :
Déplacement constitué de réflexions, expansions et contractions
II.7.2 Méthode du simplexe (Nelder-Mead)
![Page 50: II. OPTIMISATION SANS CONTRAINTE min f(x) avec x ε R](https://reader031.vdocuments.pub/reader031/viewer/2022012508/6185b197a430af7ee31bc988/html5/thumbnails/50.jpg)
II.7 Méthode sans calcul du gradient (3)
II. OPTIMISATION SANS CONTRAINTE
A. Réflexion
n=2 n=3
• •
•
•
•
• •
•
• •
•
•
![Page 51: II. OPTIMISATION SANS CONTRAINTE min f(x) avec x ε R](https://reader031.vdocuments.pub/reader031/viewer/2022012508/6185b197a430af7ee31bc988/html5/thumbnails/51.jpg)
II.7 Méthode sans calcul du gradient (4)
II. OPTIMISATION SANS CONTRAINTE
A. Réflexion
Cycles limites possibles
⇒ *Sélectionner autre *Contraction
•
•
•
•
!
![Page 52: II. OPTIMISATION SANS CONTRAINTE min f(x) avec x ε R](https://reader031.vdocuments.pub/reader031/viewer/2022012508/6185b197a430af7ee31bc988/html5/thumbnails/52.jpg)
II.7 Méthode sans calcul du gradient (5)
II. OPTIMISATION SANS CONTRAINTE
B. Contraction
• •
•
• •
•
• •
• •
•
![Page 53: II. OPTIMISATION SANS CONTRAINTE min f(x) avec x ε R](https://reader031.vdocuments.pub/reader031/viewer/2022012508/6185b197a430af7ee31bc988/html5/thumbnails/53.jpg)
II.7 Méthode sans calcul du gradient (6)
II. OPTIMISATION SANS CONTRAINTE
C. Expansion
• •
•
•
•
•
![Page 54: II. OPTIMISATION SANS CONTRAINTE min f(x) avec x ε R](https://reader031.vdocuments.pub/reader031/viewer/2022012508/6185b197a430af7ee31bc988/html5/thumbnails/54.jpg)
II.8 Sommes de carrés – Equations non linéaires (1)
II. OPTIMISATION SANS CONTRAINTE
II.8.1 Moindres carrés non linéaires
![Page 55: II. OPTIMISATION SANS CONTRAINTE min f(x) avec x ε R](https://reader031.vdocuments.pub/reader031/viewer/2022012508/6185b197a430af7ee31bc988/html5/thumbnails/55.jpg)
II.8 Sommes de carrés – Equations non linéaires (2)
II. OPTIMISATION SANS CONTRAINTE
II.8.1.1 Méthode de Gauss-Newton
Méthode de Newton :
Gauss- Newton :
Convergence quadratique si et non singulier
Problèmes si J(x) singulier ou mal conditionné
![Page 56: II. OPTIMISATION SANS CONTRAINTE min f(x) avec x ε R](https://reader031.vdocuments.pub/reader031/viewer/2022012508/6185b197a430af7ee31bc988/html5/thumbnails/56.jpg)
II.8 Sommes de carrés – Equations non linéaires (3)
II. OPTIMISATION SANS CONTRAINTE
II.8.1.2 Algorithme de Levenberg-Marquardt
II.8.1.3 Méthodes quasi-Newton
Problèmes
![Page 57: II. OPTIMISATION SANS CONTRAINTE min f(x) avec x ε R](https://reader031.vdocuments.pub/reader031/viewer/2022012508/6185b197a430af7ee31bc988/html5/thumbnails/57.jpg)
II.8 Sommes de carrés – Equations non linéaires (4)
II. OPTIMISATION SANS CONTRAINTE
II.8.2 Résolution d’équations non-linéaires
Méthode de Newton-Raphson : Approximation du premier ordre
€
⇒ xk+1 = xk − J(xk )−1F(xk ) J(x) =
∇f1(x)T
∇fn (x)T
⎡
⎣
⎢ ⎢ ⎢
⎤
⎦
⎥ ⎥ ⎥ ≠ 0
ó Gauss-Newton pour minimiser
∃ Autres méthodes par intervalles
⇒ Utilisation possible des méthodes de moindres carrés non linéaires
Méthode locale avec J(x) non singulier
Objectif:
!
![Page 58: II. OPTIMISATION SANS CONTRAINTE min f(x) avec x ε R](https://reader031.vdocuments.pub/reader031/viewer/2022012508/6185b197a430af7ee31bc988/html5/thumbnails/58.jpg)
II.9 Exemple comparatif (1)
II. OPTIMISATION SANS CONTRAINTE
Fonction de Rosenbrock:
Méthode # itérations # évaluations
Gradient Simplexe Gauss-Newton Levenberg-Marquardt Quasi-Newton (DFP) Quasi-Newton (BFGS)
68 + arrêt 109 13 21 25 25
302 + arrêt 201 55 92 109 105
![Page 59: II. OPTIMISATION SANS CONTRAINTE min f(x) avec x ε R](https://reader031.vdocuments.pub/reader031/viewer/2022012508/6185b197a430af7ee31bc988/html5/thumbnails/59.jpg)
II.9 Exemple comparatif (2)
II. OPTIMISATION SANS CONTRAINTE
Méthode du Gradient
![Page 60: II. OPTIMISATION SANS CONTRAINTE min f(x) avec x ε R](https://reader031.vdocuments.pub/reader031/viewer/2022012508/6185b197a430af7ee31bc988/html5/thumbnails/60.jpg)
II.9 Exemple comparatif (3)
II. OPTIMISATION SANS CONTRAINTE
Méthode du Simplexe
![Page 61: II. OPTIMISATION SANS CONTRAINTE min f(x) avec x ε R](https://reader031.vdocuments.pub/reader031/viewer/2022012508/6185b197a430af7ee31bc988/html5/thumbnails/61.jpg)
II.9 Exemple comparatif (4)
II. OPTIMISATION SANS CONTRAINTE
Méthode de Gauss-Newton
![Page 62: II. OPTIMISATION SANS CONTRAINTE min f(x) avec x ε R](https://reader031.vdocuments.pub/reader031/viewer/2022012508/6185b197a430af7ee31bc988/html5/thumbnails/62.jpg)
II.9 Exemple comparatif (5)
II. OPTIMISATION SANS CONTRAINTE
Méthode de Levenberg-Marquardt
![Page 63: II. OPTIMISATION SANS CONTRAINTE min f(x) avec x ε R](https://reader031.vdocuments.pub/reader031/viewer/2022012508/6185b197a430af7ee31bc988/html5/thumbnails/63.jpg)
II.9 Exemple comparatif (6)
II. OPTIMISATION SANS CONTRAINTE
Méthode Quasi-Newton (DFP)
![Page 64: II. OPTIMISATION SANS CONTRAINTE min f(x) avec x ε R](https://reader031.vdocuments.pub/reader031/viewer/2022012508/6185b197a430af7ee31bc988/html5/thumbnails/64.jpg)
II.9 Exemple comparatif (7)
II. OPTIMISATION SANS CONTRAINTE
Méthode Quasi-Newton (BFGS)