Optimisation non lin eaire: Th eorie - GERAD
Transcript of Optimisation non lin eaire: Th eorie - GERAD
Introduction Sans contraintes Avec contraintes Extensions References
Optimisation non lineaire: Theorie
MTH8415
S. Le Digabel, Polytechnique Montreal
H2020(v5)
MTH8415: Optimisation non lineaire 1/46
Introduction Sans contraintes Avec contraintes Extensions References
Plan
1. Introduction et definitions
2. Optimisation sans contraintes
3. Optimisation avec contraintes
4. Extensions
References
MTH8415: Optimisation non lineaire 2/46
Introduction Sans contraintes Avec contraintes Extensions References
1. Introduction et definitions
2. Optimisation sans contraintes
3. Optimisation avec contraintes
4. Extensions
References
MTH8415: Optimisation non lineaire 3/46
Introduction Sans contraintes Avec contraintes Extensions References
Probleme et solutionsI On cherche a resoudre
minx∈Rnf(x) : x ∈ Ω
avec f : Rn → R differentiable et Ω ⊆ Rn
I Un point realisable x∗ ∈ Ω est un minimum global de lafonction f sur le domaine Ω si
f(x∗) ≤ f(x) pout tout x ∈ Ω
I Un point realisable x∗ ∈ Ω est un minimum local de f sur Ωs’il existe ε > 0 tel que
f(x∗) ≤ f(x) pout tout x ∈ Ω ∩ Bε(x∗)
avec Bε(x∗) = x ∈ Rn : ‖x− x∗‖ < ε
MTH8415: Optimisation non lineaire 4/46
Introduction Sans contraintes Avec contraintes Extensions References
DeriveesI Gradient de f en x = (x1, x2, . . . , xn) ∈ Rn :
∇f(x) =
(∂f(x)
∂x1,∂f(x)
∂x2, . . . ,
∂f(x)
∂xn
)∈ Rn
I Derivee directionnelle de f en x ∈ Rn dans la directionunitaire d ∈ Rn :
f ′d(x) = limt↓0
f(x + td)− f(x)
t= d>∇f(x)
I Si les derivees secondes de f existent et sont continues, alorsla matrice hessienne en x s’ecrit
∇2f(x) =
(∂2f
∂xi∂xj(x)
)ij
MTH8415: Optimisation non lineaire 5/46
Introduction Sans contraintes Avec contraintes Extensions References
Direction de descente
I d ∈ Rn est une direction (stricte) de descente de f en x ∈ Rnsi
f ′d(x) = d>∇f(x) < 0
I Pour tout α ∈ R petit, on aura h(α) = f(x + αd) < f(x) eth′(0) < 0
I Principe de la line search (recherche lineaire) : Trouver α telque h′(α) = 0
MTH8415: Optimisation non lineaire 6/46
Introduction Sans contraintes Avec contraintes Extensions References
Signe d’une matrice
A ∈ Rn×n symetrique est dite
I Semi-definie positive si x>Ax ≥ 0 pour tout x ∈ Rn
I Definie positive si x>Ax > 0 pour tout x ∈ Rn 6= 0
I Semi-definie negative si x>Ax ≤ 0 pour tout x ∈ Rn
I Definie negative si x>Ax < 0 pour tout x ∈ Rn 6= 0
I Indefinie sinon
En pratique, on peut verifier le signe d’une matrice en examinantses valeurs propres ou ses mineurs principaux dominants
MTH8415: Optimisation non lineaire 7/46
Introduction Sans contraintes Avec contraintes Extensions References
1. Introduction et definitions
2. Optimisation sans contraintes
3. Optimisation avec contraintes
4. Extensions
References
MTH8415: Optimisation non lineaire 8/46
Introduction Sans contraintes Avec contraintes Extensions References
Optimisation sans contraintes : CN1Dans le cas Ω = Rn :
Condition necessaire d’optimalite de premier ordre
Si x∗ est un minimum local de f sur Rn, alors ∇f(x∗) = 0 (x∗ estun point critique)
I Attention : Ce n’est pas une condition suffisante : Un pointcritique peut etre un minimum local, un maximum local, ouun bien un point de selle
I Un point critique x est un point de selle si pour tout ε > 0 ilexiste a,b ∈ Bε(x) tels que f(a) < f(x) < f(b)
I Si x n’est pas un point critique, il ne peut pas etre unminimum ou un maximum
MTH8415: Optimisation non lineaire 9/46
Introduction Sans contraintes Avec contraintes Extensions References
Optimisation sans contraintes : CN2
Condition necessaire de second ordreSi x∗ est un minimum local de f sur Rn, alors ∇f(x∗) = 0 et lamatrice hessienne ∇2f(x∗) est semi-definie positive
Preuve : Soit x∗ un minimum local. Pour toute direction unitaired ∈ Rn et pour t ∈ R suffisamment petit :
f(x∗) ≤ f(x∗ + td) ' f(x∗) + td>∇f(x∗) + t2
2 d>∇2f(x∗)d
= f(x∗) + t2
2 d>∇2f(x∗)d
⇒ d>∇2f(x∗)d ≥ 0
Si la matrice hessienne en un point critique est indefinie, alors ils’agit d’un point de selle
MTH8415: Optimisation non lineaire 10/46
Introduction Sans contraintes Avec contraintes Extensions References
Optimisation sans contraintes : CS2
Condition suffisante de second ordresi x∗ ∈ Rn est un point critique et si ∇2f(x∗) est :
I Definie positive : x∗ est un minimum local
I Definie negative : x∗ est un maximum local
I Indefinie : x∗ est un point de selle
I Semi-definie positive ou semi-definie negative : on ne peutrien dire
MTH8415: Optimisation non lineaire 11/46
Introduction Sans contraintes Avec contraintes Extensions References
Optimisation sans contraintes : Convexite
f : Rn → R est convexe si :
I pour tout x,y ∈ Rn et tout λ ∈ [0; 1],f(λx + (1− λ)y) ≤ λf(x) + (1− λ)f(y)
I ou si sa matrice hessienne ∇2f(x) est semi-definie positivepour tout x ∈ Rn
I Si f est convexe, la CN1 devient suffisante : Il suffit detrouver un point critique pour minimiser f
I f est concave si −f est convexe
MTH8415: Optimisation non lineaire 12/46
Introduction Sans contraintes Avec contraintes Extensions References
Optimisation sans contraintes : Methode du gradient
Pour la minimisation d’une fonction f : Rn → R sans contraintes
[0] InitialisationPoint de depart : x0 ∈ Rnk ← 0
[1] Iteration kCalculer dk = −∇f(xk) (dir. de descente)Si (dk = 0) : Stop (point critique)Trouver αk ∈ arg min
α≥0h(α) = f(xk + αdk)
xk+1 ← xk + αkdk
k ← k + 1Aller en [1]
MTH8415: Optimisation non lineaire 13/46
Introduction Sans contraintes Avec contraintes Extensions References
Methode du gradient : RemarquesI Lorsque la minimisation de h est faite de facon exacte, les
directions consecutives dk et dk+1 sont perpendiculaires : ons’arrete toujours de facon tangente a une courbe de niveau
I La methode peut prendre un nombre considerable d’iterationsavant de converger a un point critique
MTH8415: Optimisation non lineaire 14/46
Introduction Sans contraintes Avec contraintes Extensions References
Methode de Newton
I Soit le modele quadratique de f autour de x :
m(d) = f(x) + d>∇f(x) +1
2d>∇2f(x)d
I Si ∇2f(x) est definie positive, alors m est une fonctionconvexe et on peut identifier son minimum global avec
∇m(d) = ∇f(x) +∇2f(x)d = 0
I Au lieu de considerer dk = −∇f(xk) comme direction de
descente, on prend donc dk = −(∇2f(xk)
)−1∇f(xk)(direction de Newton)
MTH8415: Optimisation non lineaire 15/46
Introduction Sans contraintes Avec contraintes Extensions References
Methode quasi-Newton
I La direction de Newton n’est pas definie si la matricehessienne n’est pas definie positive
I Calculer (et inverser) la matrice hessienne peut aussi etre trescouteux
I On peut considerer la direction quasi-Newton
d = −B(x)−1∇f(x)
avec B(x) definie positive qui remplace la matrice hessienne
I Une methode quasi-Newton sera d’autant plus efficace quandelle pourra integrer l’information de second-ordre dans B
MTH8415: Optimisation non lineaire 16/46
Introduction Sans contraintes Avec contraintes Extensions References
1. Introduction et definitions
2. Optimisation sans contraintes
3. Optimisation avec contraintes
4. Extensions
References
MTH8415: Optimisation non lineaire 17/46
Introduction Sans contraintes Avec contraintes Extensions References
Optimisation avec contraintes
minx∈Rnf(x) : x ∈ Ω
TheoremeSi Ω est ferme et borne et si f est continue sur Ω, alors il existe unminimum global atteint en un point de Ω et un maximum globalatteint en un point de Ω
En pratique, cela signifie que pour resoudre le probleme, on peutenumerer tous les candidats (les points critiques) et les comparerafin de trouver les optima
MTH8415: Optimisation non lineaire 18/46
Introduction Sans contraintes Avec contraintes Extensions References
Optimisation avec une contrainte egalite
Avec Ω = x ∈ Rn : c(x) = 0 ⊆ Rn :
CN1Si x∗ est un minimum local de f dans Ω, et si ∇c(x∗) 6= 0, alorsc(x∗) = 0 et il existe λ ∈ R tel que
∇f(x∗) = λ∇c(x∗)
I Un point x∗ satisfaisant cette condition est appele un pointcritique
I Exemple 1 : minx1,x2
3x1 − 2x2 s.c. x21 + 2x2
2 = 44
MTH8415: Optimisation non lineaire 19/46
Introduction Sans contraintes Avec contraintes Extensions References
Optimisation avec une contrainte inegalite
Avec Ω = x ∈ Rn : c(x) ≥ 0 ⊆ Rn :
CN1Si x∗ est un minimum local de f dans Ω, alors il existe λ ≥ 0 telque ∇f(x∗) = λ∇c(x∗) et c(x∗)λ = 0
I Un point x∗ satisfaisant ces conditions est appele un pointcritique
I Si c(x∗) > 0, la condition devient ∇f(x∗) = 0
I Exemple 2 : minx1,x2
(x1 − 1)2 + (x2 − 2)2 s.c. x21 + x2
2 ≤ 45
MTH8415: Optimisation non lineaire 20/46
Introduction Sans contraintes Avec contraintes Extensions References
Optimisation avec plusieurs contraintes egaliteAvec Ω = x ∈ Rn : ci(x) = 0, i ∈ E ⊆ Rn et |E| = m :
CN1Si x∗ est un minimum local de f dans Ω ou ∇ci(x∗) : i ∈ E estun ensemble lineairement independant, alors ci(x
∗) = 0 pour touti ∈ E et il existe λ ∈ Rm tel que
∇f(x∗) =∑i∈E
λi∇ci(x∗)
I Un point x∗ satisfaisant cette condition est appele un pointcritique
I Exemple 3 : minx∈R3
x1 − x2 + x3
s.c.
x2
1 + x22 + x2
3 = 1x2
1 + (x2 − 1)2 + (x3 − 2)2 = 4
MTH8415: Optimisation non lineaire 21/46
Introduction Sans contraintes Avec contraintes Extensions References
Multiplicateurs de Lagrange
I Les λ des conditions necessaires sont appeles lesmultiplicateurs de Lagrange
I Ils peuvent servir a effectuer des analyses de sensibilite sur lesmembres de droite des contraintes
I En effet, un λ represente la variation de f lorsque le mdd dela contrainte associee augmente d’une unite
MTH8415: Optimisation non lineaire 22/46
Introduction Sans contraintes Avec contraintes Extensions References
Optimisation avec contraintes : Cas general
minx∈Rnf(x) : x ∈ Ω
avec
Ω =
x ∈ Rn
∣∣∣∣ ci(x) = 0, i ∈ Eci(x) ≥ 0, i ∈ I
⊆ Rn
et|E| = m , |I| = p
I Les fonctions decrivant le probleme sont toutes differentiableset Ω est un ensemble ferme et borne
I On va decrire les conditions d’optimalite de ce probleme. Troisingredients sont necessaires : Le cone tangent, le cone normal,et la qualification des contraintes
MTH8415: Optimisation non lineaire 23/46
Introduction Sans contraintes Avec contraintes Extensions References
Geometrie de l’ensemble realisableI d ∈ Rn, d 6= 0, est une direction realisable a partir de x ∈ Ω
s’il existe ε > 0 tel que pour tout t ∈]0; ε[, x + td ∈ Ω
I Un ensemble K ⊆ Rn est appele un cone si pour tout d ∈ Ket tout λ ≥ 0, λd ∈ K
I L’ensemble de toutes les directions realisables a partir dex ∈ Ω forme un cone
I Le cone polaire du cone K ⊆ Rn est
K∗ =d ∈ Rn : d>v ≤ 0 : v ∈ K
I Le polaire du polaire est le cone de depart : K∗∗ = K
MTH8415: Optimisation non lineaire 24/46
Introduction Sans contraintes Avec contraintes Extensions References
Ensemble des contraintes actives
Ω =
x ∈ Rn
∣∣∣∣ ci(x) = 0, i ∈ Eci(x) ≥ 0, i ∈ I
⊆ Rn, |E| = m, |I| = p
I Pour tout x ∈ Rn, l’ensemble des contraintes actives A(x) estl’ensemble des indices des contraintes inegalite satisfaites aegalite en x :
A(x) = i ∈ I : ci(x) = 0
I Attention : Meme si les contraintes egalite sont toujoursactives, elles ne sont pas representees par A(x)
MTH8415: Optimisation non lineaire 25/46
Introduction Sans contraintes Avec contraintes Extensions References
Qualification de contraintes (1/2)I Permet d’exprimer le cone tangent en linearisant les
contraintes et d’obtenir des formulations analytiques descones tangent et normal
I Condition basique de qualification de contraintes : Avec
Λ(x) =
λ ∈ Rm+p
∣∣∣∣∣∣λi ∈ R i ∈ Eλi ≥ 0 i ∈ A(x)λi = 0 i ∈ I \ A(x)
la condition basique de qualification de contraintes estsatisfaite en x ∈ Ω ssi le seul λ ∈ Λ(x) tel que∑
i∈Eλi∇ci(x)−
∑i∈A(x)
λi∇ci(x) = 0
est 0
MTH8415: Optimisation non lineaire 26/46
Introduction Sans contraintes Avec contraintes Extensions References
Qualification de contraintes (2/2)
I Cette condition n’est pas facile a verifier et d’autres conditions(plus fortes) peuvent etre employees : Par exemple, la LICQ(Linear Independence Constraint Qualification) est satisfaiteen x ∈ Ω si ∇ci(x) : i ∈ E ∪ A(x) est un ensemble devecteurs lineairement independants
I Dans tout ce qui suit, on suppose que la condition basique estverifiee
MTH8415: Optimisation non lineaire 27/46
Introduction Sans contraintes Avec contraintes Extensions References
Cone tangentI Definition geometrique :
I d ∈ Rn est un vecteur tangent a Ω en x ∈ Rn s’il existe unesuite zk de points realisables avec zk → x et une suite dereels positifs tk avec tk → 0 tels que
limk→∞
zk − x
tk= d
I L’ensemble des vecteurs tangents forme le cone tangent TΩ(x)
I Definition algebrique :
TΩ(x) =
d ∈ Rn
∣∣∣∣ d>∇ci(x) = 0 i ∈ Ed>∇ci(x) ≥ 0 i ∈ A(x)
I Le cone tangent correspond aux directions realisables de
premier ordre (i.e. lorsque tout est linearise)
MTH8415: Optimisation non lineaire 28/46
Introduction Sans contraintes Avec contraintes Extensions References
Cone normal
I Definition geometrique : Le cone normal est le polaire du conetangent :
N∗Ω(x) = TΩ(x)
I Definition algebrique :
NΩ(x) =
∑i∈E
λi∇ci(x)−∑
i∈A(x)
λi∇ci(x)
∣∣∣∣ λi ∈ R i ∈ Eλi ≥ 0 i ∈ A(x)
MTH8415: Optimisation non lineaire 29/46
Introduction Sans contraintes Avec contraintes Extensions References
Exemples de cones tangent et normal [Orban, 2010]
I Les cones tangents sont en bleu et les cones normaux enrouge
I Dans le 3eme cas, le cone normal est reduit a 0
I La pointe de chaque cone devrait correspondre a l’origine,mais ils sont ici translates
MTH8415: Optimisation non lineaire 30/46
Introduction Sans contraintes Avec contraintes Extensions References
Condition necessaire d’optimalite de premier ordre
Idee : Si x∗ est un minimum local, alors il n’existe pas de directiond ∈ TΩ(x∗) (' dir. realisable) qui soit une direction de descente,i.e. telle que d>∇f(x∗) < 0
CN1Si x∗ est un minimum local de f dans Ω, alors
−∇f(x∗) ∈ NΩ(x∗)
MTH8415: Optimisation non lineaire 31/46
Introduction Sans contraintes Avec contraintes Extensions References
Interpretation graphique (1/2)
&%'$.
...............................
............................
.........................
......................
....................
..................
................
..............
........
....
........
...
......................
............. ................ .................. ..................... .......................
.............................
.........................
...........................................
................. .............. ............. ............ ........................
...............
........
........
.
........
........
...
. ........................... .................................................
...........................................
....................
..................
....................
.....................
......................
........................
.........................
...........................
. ...................................... ........................................................................
.................................................................
..............................
.............................
...........................
..........................
..........................
............................
.............................
..............................
................................
.................................
..................................
....................................
. ..............................................................................
......................................
......................................
.....................................
.....................................
....................................
....................................
...................................
.....................................
........................................
..........................................
............................................
..............................................
.................................................
..........................................
..........................................
...........................................
............................................
.............................................
..............................................
...............................................
................................................
.................................................
....................................................
.......................................................
..........................................................
.............................................................
.
..................................................
................................................
..............................................
............................................
..........................................
........................................
......................................
...................................
................................................................
............................. ........................... . ..................... ........................................
....................
....................
.....................
.......................
..........................
............................
...............................
.................................
....................................
......................................
.
.................................................
...............................................
.............................................
...........................................
.........................................
.......................................
........................................................................
................................. ............................... ............................... ..........................................................
..... ............... .............. .............. ..............
...............
...............
..................
.....................
........................
...........................
..............................
.................................
....................................
.......................................
.........................................
............................................
.............................
..............................
..................................................................
.......................................................................... ........................................ .......................................... ............................................. ................................................ . .................... ................... ...................
...................
...................
....................
......................
.........................
............................
...............................
.................................
....................................
.......................................
..........................................
............................................
...............................................
5
6
76
5 43
2
1c2(x) = 0
c1(x) = 0
Ω
..........................................
........................................
...............................................................................
............................................................................ ..................................... .................................... ..................................... ...................................... ........................................ .........................................
..........................................
............................................
.............................................
..............................................
............................................
.....
......................................
....................................
.................................. ................................. ............................... ............................. ............................ ..........................................................
............................................................
.
....................................
.................................
...............................
.............................
..........................
.............
...........
.............
.........
.....................
.....................
....................
....................
...................
.....................
........................ .......................... ............................ .............................. ................................. ................................... ..................................... . .......................................................... ....................................................... .................................................... ................................................. ............................................... ............................................. ....................................................................................
............................................................................
....................................................................
...............................
.............................
............................
...........................
Attention : Les contraintes sont c1 ≤ 0 et c2 ≤ 0 (pas ≥ 0)
MTH8415: Optimisation non lineaire 32/46
Introduction Sans contraintes Avec contraintes Extensions References
Interpretation graphique (1/2)
&%'$.
...............................
............................
.........................
......................
....................
..................
................
..............
........
....
........
...
......................
............. ................ .................. ..................... .......................
.............................
.........................
...........................................
................. .............. ............. ............ ........................
...............
........
........
.
........
........
...
. ........................... .................................................
...........................................
....................
..................
....................
.....................
......................
........................
.........................
...........................
. ...................................... ........................................................................
.................................................................
..............................
.............................
...........................
..........................
..........................
............................
.............................
..............................
................................
.................................
..................................
....................................
. ..............................................................................
......................................
......................................
.....................................
.....................................
....................................
....................................
...................................
.....................................
........................................
..........................................
............................................
..............................................
.................................................
..........................................
..........................................
...........................................
............................................
.............................................
..............................................
...............................................
................................................
.................................................
....................................................
.......................................................
..........................................................
.............................................................
.
..................................................
................................................
..............................................
............................................
..........................................
........................................
......................................
...................................
................................................................
............................. ........................... . ..................... ........................................
....................
....................
.....................
.......................
..........................
............................
...............................
.................................
....................................
......................................
.
.................................................
...............................................
.............................................
...........................................
.........................................
.......................................
........................................................................
................................. ............................... ............................... ..........................................................
..... ............... .............. .............. ..............
...............
...............
..................
.....................
........................
...........................
..............................
.................................
....................................
.......................................
.........................................
............................................
.............................
..............................
..................................................................
.......................................................................... ........................................ .......................................... ............................................. ................................................ . .................... ................... ...................
...................
...................
....................
......................
.........................
............................
...............................
.................................
....................................
.......................................
..........................................
............................................
...............................................
5
6
76
5 43
2
1c2(x) = 0
c1(x) = 0
Ω
..........................................
........................................
...............................................................................
............................................................................ ..................................... .................................... ..................................... ...................................... ........................................ .........................................
..........................................
............................................
.............................................
..............................................
............................................
.....
......................................
....................................
.................................. ................................. ............................... ............................. ............................ ..........................................................
............................................................
.
....................................
.................................
...............................
.............................
..........................
.............
...........
.............
.........
.....................
.....................
....................
....................
...................
.....................
........................ .......................... ............................ .............................. ................................. ................................... ..................................... . .......................................................... ....................................................... .................................................... ................................................. ............................................... ............................................. ....................................................................................
............................................................................
....................................................................
...............................
.............................
............................
...........................
• xa
Attention : Les contraintes sont c1 ≤ 0 et c2 ≤ 0 (pas ≥ 0)
MTH8415: Optimisation non lineaire 32/46
Introduction Sans contraintes Avec contraintes Extensions References
Interpretation graphique (1/2)
&%'$.
...............................
............................
.........................
......................
....................
..................
................
..............
........
....
........
...
......................
............. ................ .................. ..................... .......................
.............................
.........................
...........................................
................. .............. ............. ............ ........................
...............
........
........
.
........
........
...
. ........................... .................................................
...........................................
....................
..................
....................
.....................
......................
........................
.........................
...........................
. ...................................... ........................................................................
.................................................................
..............................
.............................
...........................
..........................
..........................
............................
.............................
..............................
................................
.................................
..................................
....................................
. ..............................................................................
......................................
......................................
.....................................
.....................................
....................................
....................................
...................................
.....................................
........................................
..........................................
............................................
..............................................
.................................................
..........................................
..........................................
...........................................
............................................
.............................................
..............................................
...............................................
................................................
.................................................
....................................................
.......................................................
..........................................................
.............................................................
.
..................................................
................................................
..............................................
............................................
..........................................
........................................
......................................
...................................
................................................................
............................. ........................... . ..................... ........................................
....................
....................
.....................
.......................
..........................
............................
...............................
.................................
....................................
......................................
.
.................................................
...............................................
.............................................
...........................................
.........................................
.......................................
........................................................................
................................. ............................... ............................... ..........................................................
..... ............... .............. .............. ..............
...............
...............
..................
.....................
........................
...........................
..............................
.................................
....................................
.......................................
.........................................
............................................
.............................
..............................
..................................................................
.......................................................................... ........................................ .......................................... ............................................. ................................................ . .................... ................... ...................
...................
...................
....................
......................
.........................
............................
...............................
.................................
....................................
.......................................
..........................................
............................................
...............................................
5
6
76
5 43
2
1c2(x) = 0
c1(x) = 0
Ω
..........................................
........................................
...............................................................................
............................................................................ ..................................... .................................... ..................................... ...................................... ........................................ .........................................
..........................................
............................................
.............................................
..............................................
............................................
.....
......................................
....................................
.................................. ................................. ............................... ............................. ............................ ..........................................................
............................................................
.
....................................
.................................
...............................
.............................
..........................
.............
...........
.............
.........
.....................
.....................
....................
....................
...................
.....................
........................ .......................... ............................ .............................. ................................. ................................... ..................................... . .......................................................... ....................................................... .................................................... ................................................. ............................................... ............................................. ....................................................................................
............................................................................
....................................................................
...............................
.............................
............................
...........................
• xa∇f(xa)=0
Attention : Les contraintes sont c1 ≤ 0 et c2 ≤ 0 (pas ≥ 0)
MTH8415: Optimisation non lineaire 32/46
Introduction Sans contraintes Avec contraintes Extensions References
Interpretation graphique (1/2)
&%'$.
...............................
............................
.........................
......................
....................
..................
................
..............
........
....
........
...
......................
............. ................ .................. ..................... .......................
.............................
.........................
...........................................
................. .............. ............. ............ ........................
...............
........
........
.
........
........
...
. ........................... .................................................
...........................................
....................
..................
....................
.....................
......................
........................
.........................
...........................
. ...................................... ........................................................................
.................................................................
..............................
.............................
...........................
..........................
..........................
............................
.............................
..............................
................................
.................................
..................................
....................................
. ..............................................................................
......................................
......................................
.....................................
.....................................
....................................
....................................
...................................
.....................................
........................................
..........................................
............................................
..............................................
.................................................
..........................................
..........................................
...........................................
............................................
.............................................
..............................................
...............................................
................................................
.................................................
....................................................
.......................................................
..........................................................
.............................................................
.
..................................................
................................................
..............................................
............................................
..........................................
........................................
......................................
...................................
................................................................
............................. ........................... . ..................... ........................................
....................
....................
.....................
.......................
..........................
............................
...............................
.................................
....................................
......................................
.
.................................................
...............................................
.............................................
...........................................
.........................................
.......................................
........................................................................
................................. ............................... ............................... ..........................................................
..... ............... .............. .............. ..............
...............
...............
..................
.....................
........................
...........................
..............................
.................................
....................................
.......................................
.........................................
............................................
.............................
..............................
..................................................................
.......................................................................... ........................................ .......................................... ............................................. ................................................ . .................... ................... ...................
...................
...................
....................
......................
.........................
............................
...............................
.................................
....................................
.......................................
..........................................
............................................
...............................................
5
6
76
5 43
2
1c2(x) = 0
c1(x) = 0
Ω
..........................................
........................................
...............................................................................
............................................................................ ..................................... .................................... ..................................... ...................................... ........................................ .........................................
..........................................
............................................
.............................................
..............................................
............................................
.....
......................................
....................................
.................................. ................................. ............................... ............................. ............................ ..........................................................
............................................................
.
....................................
.................................
...............................
.............................
..........................
.............
...........
.............
.........
.....................
.....................
....................
....................
...................
.....................
........................ .......................... ............................ .............................. ................................. ................................... ..................................... . .......................................................... ....................................................... .................................................... ................................................. ............................................... ............................................. ....................................................................................
............................................................................
....................................................................
...............................
.............................
............................
...........................
•xb
Attention : Les contraintes sont c1 ≤ 0 et c2 ≤ 0 (pas ≥ 0)
MTH8415: Optimisation non lineaire 32/46
Introduction Sans contraintes Avec contraintes Extensions References
Interpretation graphique (1/2)
&%'$.
...............................
............................
.........................
......................
....................
..................
................
..............
........
....
........
...
......................
............. ................ .................. ..................... .......................
.............................
.........................
...........................................
................. .............. ............. ............ ........................
...............
........
........
.
........
........
...
. ........................... .................................................
...........................................
....................
..................
....................
.....................
......................
........................
.........................
...........................
. ...................................... ........................................................................
.................................................................
..............................
.............................
...........................
..........................
..........................
............................
.............................
..............................
................................
.................................
..................................
....................................
. ..............................................................................
......................................
......................................
.....................................
.....................................
....................................
....................................
...................................
.....................................
........................................
..........................................
............................................
..............................................
.................................................
..........................................
..........................................
...........................................
............................................
.............................................
..............................................
...............................................
................................................
.................................................
....................................................
.......................................................
..........................................................
.............................................................
.
..................................................
................................................
..............................................
............................................
..........................................
........................................
......................................
...................................
................................................................
............................. ........................... . ..................... ........................................
....................
....................
.....................
.......................
..........................
............................
...............................
.................................
....................................
......................................
.
.................................................
...............................................
.............................................
...........................................
.........................................
.......................................
........................................................................
................................. ............................... ............................... ..........................................................
..... ............... .............. .............. ..............
...............
...............
..................
.....................
........................
...........................
..............................
.................................
....................................
.......................................
.........................................
............................................
.............................
..............................
..................................................................
.......................................................................... ........................................ .......................................... ............................................. ................................................ . .................... ................... ...................
...................
...................
....................
......................
.........................
............................
...............................
.................................
....................................
.......................................
..........................................
............................................
...............................................
5
6
76
5 43
2
1c2(x) = 0
c1(x) = 0
Ω
..........................................
........................................
...............................................................................
............................................................................ ..................................... .................................... ..................................... ...................................... ........................................ .........................................
..........................................
............................................
.............................................
..............................................
............................................
.....
......................................
....................................
.................................. ................................. ............................... ............................. ............................ ..........................................................
............................................................
.
....................................
.................................
...............................
.............................
..........................
.............
...........
.............
.........
.....................
.....................
....................
....................
...................
.....................
........................ .......................... ............................ .............................. ................................. ................................... ..................................... . .......................................................... ....................................................... .................................................... ................................................. ............................................... ............................................. ....................................................................................
............................................................................
....................................................................
...............................
.............................
............................
...........................
•xb
∇f(xb)=−λ∇c1(xb)
∇c1(xb)
Attention : Les contraintes sont c1 ≤ 0 et c2 ≤ 0 (pas ≥ 0)
MTH8415: Optimisation non lineaire 32/46
Introduction Sans contraintes Avec contraintes Extensions References
Interpretation graphique (1/2)
&%'$.
...............................
............................
.........................
......................
....................
..................
................
..............
........
....
........
...
......................
............. ................ .................. ..................... .......................
.............................
.........................
...........................................
................. .............. ............. ............ ........................
...............
........
........
.
........
........
...
. ........................... .................................................
...........................................
....................
..................
....................
.....................
......................
........................
.........................
...........................
. ...................................... ........................................................................
.................................................................
..............................
.............................
...........................
..........................
..........................
............................
.............................
..............................
................................
.................................
..................................
....................................
. ..............................................................................
......................................
......................................
.....................................
.....................................
....................................
....................................
...................................
.....................................
........................................
..........................................
............................................
..............................................
.................................................
..........................................
..........................................
...........................................
............................................
.............................................
..............................................
...............................................
................................................
.................................................
....................................................
.......................................................
..........................................................
.............................................................
.
..................................................
................................................
..............................................
............................................
..........................................
........................................
......................................
...................................
................................................................
............................. ........................... . ..................... ........................................
....................
....................
.....................
.......................
..........................
............................
...............................
.................................
....................................
......................................
.
.................................................
...............................................
.............................................
...........................................
.........................................
.......................................
........................................................................
................................. ............................... ............................... ..........................................................
..... ............... .............. .............. ..............
...............
...............
..................
.....................
........................
...........................
..............................
.................................
....................................
.......................................
.........................................
............................................
.............................
..............................
..................................................................
.......................................................................... ........................................ .......................................... ............................................. ................................................ . .................... ................... ...................
...................
...................
....................
......................
.........................
............................
...............................
.................................
....................................
.......................................
..........................................
............................................
...............................................
5
6
76
5 43
2
1c2(x) = 0
c1(x) = 0
Ω
..........................................
........................................
...............................................................................
............................................................................ ..................................... .................................... ..................................... ...................................... ........................................ .........................................
..........................................
............................................
.............................................
..............................................
............................................
.....
......................................
....................................
.................................. ................................. ............................... ............................. ............................ ..........................................................
............................................................
.
....................................
.................................
...............................
.............................
..........................
.............
...........
.............
.........
.....................
.....................
....................
....................
...................
.....................
........................ .......................... ............................ .............................. ................................. ................................... ..................................... . .......................................................... ....................................................... .................................................... ................................................. ............................................... ............................................. ....................................................................................
............................................................................
....................................................................
...............................
.............................
............................
...........................•xc
Attention : Les contraintes sont c1 ≤ 0 et c2 ≤ 0 (pas ≥ 0)
MTH8415: Optimisation non lineaire 32/46
Introduction Sans contraintes Avec contraintes Extensions References
Interpretation graphique (1/2)
&%'$.
...............................
............................
.........................
......................
....................
..................
................
..............
........
....
........
...
......................
............. ................ .................. ..................... .......................
.............................
.........................
...........................................
................. .............. ............. ............ ........................
...............
........
........
.
........
........
...
. ........................... .................................................
...........................................
....................
..................
....................
.....................
......................
........................
.........................
...........................
. ...................................... ........................................................................
.................................................................
..............................
.............................
...........................
..........................
..........................
............................
.............................
..............................
................................
.................................
..................................
....................................
. ..............................................................................
......................................
......................................
.....................................
.....................................
....................................
....................................
...................................
.....................................
........................................
..........................................
............................................
..............................................
.................................................
..........................................
..........................................
...........................................
............................................
.............................................
..............................................
...............................................
................................................
.................................................
....................................................
.......................................................
..........................................................
.............................................................
.
..................................................
................................................
..............................................
............................................
..........................................
........................................
......................................
...................................
................................................................
............................. ........................... . ..................... ........................................
....................
....................
.....................
.......................
..........................
............................
...............................
.................................
....................................
......................................
.
.................................................
...............................................
.............................................
...........................................
.........................................
.......................................
........................................................................
................................. ............................... ............................... ..........................................................
..... ............... .............. .............. ..............
...............
...............
..................
.....................
........................
...........................
..............................
.................................
....................................
.......................................
.........................................
............................................
.............................
..............................
..................................................................
.......................................................................... ........................................ .......................................... ............................................. ................................................ . .................... ................... ...................
...................
...................
....................
......................
.........................
............................
...............................
.................................
....................................
.......................................
..........................................
............................................
...............................................
5
6
76
5 43
2
1c2(x) = 0
c1(x) = 0
Ω
..........................................
........................................
...............................................................................
............................................................................ ..................................... .................................... ..................................... ...................................... ........................................ .........................................
..........................................
............................................
.............................................
..............................................
............................................
.....
......................................
....................................
.................................. ................................. ............................... ............................. ............................ ..........................................................
............................................................
.
....................................
.................................
...............................
.............................
..........................
.............
...........
.............
.........
.....................
.....................
....................
....................
...................
.....................
........................ .......................... ............................ .............................. ................................. ................................... ..................................... . .......................................................... ....................................................... .................................................... ................................................. ............................................... ............................................. ....................................................................................
............................................................................
....................................................................
...............................
.............................
............................
...........................•xc∇c2(xc)
∇c1(xc)
∇f(xc)= −λ1∇c1(xc)−λ2∇c2(xc)
Attention : Les contraintes sont c1 ≤ 0 et c2 ≤ 0 (pas ≥ 0)
MTH8415: Optimisation non lineaire 32/46
Introduction Sans contraintes Avec contraintes Extensions References
Interpretation graphique (2/2)
I ∇f(xa) = 0, A(xa) = ∅, NΩ(xa) = 0, TΩ(xa) = R2
I A(xb) = 1, NΩ(xb) est reduit a la demi-droite dans ladirection ∇c1(xb), TΩ(xb) est l’union de 0 et dudemi-espace orthogonal a ∇c1(xb)
I A(xc) = 1, 2,NΩ(xc) = λ1∇c1(xc) + λ2∇c2(xc) : λ1, λ2 ≥ 0
MTH8415: Optimisation non lineaire 33/46
Introduction Sans contraintes Avec contraintes Extensions References
CN1 : Conditions de KKTLa CN1 peut se reformuler comme les conditions deKarush-Kuhn-Tucker (KKT) :
CN1Si x∗ est un minimum local de f dans Ω, alors il existe λ ∈ Rm+p
tel que
∇f(x∗)−∑
i∈E∪Iλi∇ci(x∗) = 0
λici(x∗) = 0 i ∈ I
ci(x∗) = 0 i ∈ E
ci(x∗) ≥ 0 i ∈ Iλi ≥ 0 i ∈ I
Comme pour toutes les conditions necessaires, les conditions deKKT ne sont pas suffisantes et peuvent aussi correspondre a desmaximums et des points de selle
MTH8415: Optimisation non lineaire 34/46
Introduction Sans contraintes Avec contraintes Extensions References
DualiteFonction Lagrangienne (ou Lagrangien) :
L(x, λ) = f(x)−∑i∈E∪I
λici(x)
(la 1ere equation des conditions KKT peut s’ecrire ∇xL(x, λ) = 0)
Theoreme de dualite faibleSoit x∗ ∈ arg min
x∈Ωf . Pour tout λ ∈ Rm+p avec λi ≥ 0 pour i ∈ I,
on aL(λ) = min
x∈ΩL(x, λ) ≤ f(x∗)
La meilleure borne inferieure est donc donnee par le probleme dual
maxλ∈Rm+p
λi≥0, i∈I
L(λ)
MTH8415: Optimisation non lineaire 35/46
Introduction Sans contraintes Avec contraintes Extensions References
Cas de l’optimisation lineaire (1/3)
minx∈Rn
c>x s.c.
Ax ≥ bx ≥ 0
avec c ∈ Rn, b ∈ Rm, A ∈ Rm×n
I Le Lagrangien est considere avec les variables x ∈ Rn,µ ∈ Rm et λ ∈ Rn :
L(x, λ, µ) = c>x−µ>(Ax−b)−λ>x = b>µ+x>(c− λ−A>µ
)
I Une borne inferieure est donnee par
minx∈Ω
b>µ+ x>(c− λ−A>µ
)avec λ, µ ≥ 0
MTH8415: Optimisation non lineaire 36/46
Introduction Sans contraintes Avec contraintes Extensions References
Cas de l’optimisation lineaire (2/3)Les conditions KKT sont
∇xL(x, λ, µ) = c− λ−A>µ = 0µi(A
>i x− bi) = 0 i ∈ 1, 2, . . . ,m
λjxj = 0 j ∈ 1, 2, . . . , nAx− b ≥ 0
x ≥ 0λj ≥ 0 j ∈ 1, 2, . . . , nµi ≥ 0 i ∈ 1, 2, . . . ,m
Obtenir la meilleure borne inferieure revient donc a resoudre
maxλ,µ≥0
b>µ s.c.c− λ−A>µ = 0
MTH8415: Optimisation non lineaire 37/46
Introduction Sans contraintes Avec contraintes Extensions References
Cas de l’optimisation lineaire (3/3)
En considerant les λ comme des variables d’ecart, on obtient leprobleme dual
maxµ∈Rn
b>µ
s.c.
A>µ ≤ cµ ≥ 0
qui correspond a ce qui a ete vu en OL
Note : Les conditions KKT redonnent le theoreme des ecartscomplementaires
MTH8415: Optimisation non lineaire 38/46
Introduction Sans contraintes Avec contraintes Extensions References
Methodes de penalites
I Les methodes de penalites sont des algorithmes iteratifs qui, achaque iteration, considerent la minimisation sans contraintesd’une fonction critere dans laquelle les violations descontraintes sont associees a des couts
I Ces couts vont etre augmentes au fil des iterations
I On espere ainsi generer une suite de points tendant arespecter les contraintes
MTH8415: Optimisation non lineaire 39/46
Introduction Sans contraintes Avec contraintes Extensions References
Exemples de penalitesI Penalite quadratique :
f(x) +µ
2
∑i∈E
c2i (x) +
µ
2
∑i∈I
min0, ci(x)2
I Avantage : Formulation lisse
I Inconvenients : Non exacte, mal conditionnee
I Penalite `1 :
f(x) + µ∑i∈E|ci(x)|+ µ
∑i∈I|min0, ci(x)|
I Avantage : Exacte : Il existe µ tel que l’optimum sanscontraintes correspond a l’optimum avec contraintes
I Inconvenient : Formulation non-lisse
MTH8415: Optimisation non lineaire 40/46
Introduction Sans contraintes Avec contraintes Extensions References
Algorithme du Lagrangien augmente (1/2)I On considere I = ∅ a des fins de simplicite
I Methode de penalite basee sur la penalite quadratique, doncqui donne une formulation lisse, mais qui reduit le mauvaisconditionnement grace a l’emploi des multiplicateurs deLagrange
I Le Lagrangien augmente pour contraintes egalite est
La(x, λ, µ) = L(x, λ) + µ2
∑i∈E
c2i (x)
= f(x)−∑i∈E
λici(x) + µ2
∑i∈E
c2i (x)
I L’algorithme suivant converge vers un point critique (selon lesconditions KKT) et fournit egalement les multiplicateurs deLagrange
MTH8415: Optimisation non lineaire 41/46
Introduction Sans contraintes Avec contraintes Extensions References
Algorithme du Lagrangien augmente (2/2)
[0] InitialisationPoint de depart : x0 ∈ Rn, λ0 ∈ RmPrecision initiale : τ0 > 0Penalite initiale : µ0 > 0k ← 1
[1] Iteration kTrouver approximativement xk+1 ∈ arg min
x∈Rn
La(x, λk, µk)
avec ‖∇xLa(xk+1, λk, µk)‖ ≤ τk comme critere d’arretSi (test de convergence) : Stop (point critique)
λk+1i ← λki − µkci(xk+1) i ∈ E
Choisir µk+1 ≥ µkChoisir τk+1
k ← k + 1Aller en [1]
MTH8415: Optimisation non lineaire 42/46
Introduction Sans contraintes Avec contraintes Extensions References
1. Introduction et definitions
2. Optimisation sans contraintes
3. Optimisation avec contraintes
4. Extensions
References
MTH8415: Optimisation non lineaire 43/46
Introduction Sans contraintes Avec contraintes Extensions References
Extensions
I Cas sans contrainte : Methodes de regions de confiance
I Avec contraintes : Conditions de second ordre (CN2 et CS2)
I Methode de point interieurs
I Optimisation globale
I Optimisation sans derivees : Que faire quand f n’est pasdifferentiable ?
MTH8415: Optimisation non lineaire 44/46
Introduction Sans contraintes Avec contraintes Extensions References
1. Introduction et definitions
2. Optimisation sans contraintes
3. Optimisation avec contraintes
4. Extensions
References
MTH8415: Optimisation non lineaire 45/46
Introduction Sans contraintes Avec contraintes Extensions References
References I
Audet, C. (2011).
Notes de cours, MTH1101, Calcul I.
Gauvin, J. (1995).
Lecons de programmation mathematique.
Editions de l’Ecole Polytechnique de Montreal.
Nocedal, J. and Wright, S. (2006).
Numerical Optimization.
Springer Series in Operations Research and Financial Engineering.Springer, Berlin, second edition.
Orban, D. (2010).
Numerical Methods for Nonlinear Optimization and Optimal Control,notes du cours MTH8408.
MTH8415: Optimisation non lineaire 46/46