Introduction a l’optimisation stochastique - Université du Littoral...

67
Introduction ` a l’optimisation stochastique Initiation Recherche EiLCO - ING2 ebastien Verel [email protected] http://www-lisic.univ-littoral.fr/ ~ verel Universit´ e du Littoral Cˆ ote d’Opale Laboratoire LISIC Equipe OSMOSE

Transcript of Introduction a l’optimisation stochastique - Université du Littoral...

Page 1: Introduction a l’optimisation stochastique - Université du Littoral …verel/TEACHING/16-17/... · 2020. 9. 3. · Universit e du Littoral C^ote d’Opale Laboratoire LISIC Equipe

Introduction a l’optimisation stochastiqueInitiation Recherche

EiLCO - ING2

Sebastien [email protected]

http://www-lisic.univ-littoral.fr/~verel

Universite du Littoral Cote d’OpaleLaboratoire LISICEquipe OSMOSE

Page 2: Introduction a l’optimisation stochastique - Université du Littoral …verel/TEACHING/16-17/... · 2020. 9. 3. · Universit e du Littoral C^ote d’Opale Laboratoire LISIC Equipe

Introduction Problemes d’optimisation combinatoire Problemes d’optimisation numerique Optimisation

Plan

1 Problemes d’optimisation combinatoire

2 Problemes d’optimisation numerique

3 Optimisation

Page 3: Introduction a l’optimisation stochastique - Université du Littoral …verel/TEACHING/16-17/... · 2020. 9. 3. · Universit e du Littoral C^ote d’Opale Laboratoire LISIC Equipe

Introduction Problemes d’optimisation combinatoire Problemes d’optimisation numerique Optimisation

Recherche Operationnelle, methode d’optimisation

Origine historique de la recherche operationnelle (RO)

Expression utilisee au Royaume-Unis

Seconde guerre mondiale (1938, Royal Air Force)

Optimisation des operations militaires

Recueil donnees station radar, gestion des avions, strategiesous-marins allemand

Definition contemporaine de RO

Modelisation mathematique d’un probleme,puis resoudre ce probleme a l’aide d’une methode informatique

Page 4: Introduction a l’optimisation stochastique - Université du Littoral …verel/TEACHING/16-17/... · 2020. 9. 3. · Universit e du Littoral C^ote d’Opale Laboratoire LISIC Equipe

Introduction Problemes d’optimisation combinatoire Problemes d’optimisation numerique Optimisation

Probleme d’optimisation

Probleme d’optimisation

Un probleme d’optimisation est un couple (X , f ) avec :

Espace de recherche : ensemble des solutions possibles,

Xfonction objectif : critere de qualite (ou de non-qualite)

f : X → IR

Resoudre un probleme d’optimisation

Trouver la (ou les) meilleure solution selon le critere de qualite

x? = argmaxX f

(dans le cas de maximisation)

Page 5: Introduction a l’optimisation stochastique - Université du Littoral …verel/TEACHING/16-17/... · 2020. 9. 3. · Universit e du Littoral C^ote d’Opale Laboratoire LISIC Equipe

Introduction Problemes d’optimisation combinatoire Problemes d’optimisation numerique Optimisation

Resoudre des problemes du monde reel

Exemple de probleme du monde reel

Des produits sont dans un entrepot.

But : Livrer les produits a tous les clients.

Page 6: Introduction a l’optimisation stochastique - Université du Littoral …verel/TEACHING/16-17/... · 2020. 9. 3. · Universit e du Littoral C^ote d’Opale Laboratoire LISIC Equipe

Introduction Problemes d’optimisation combinatoire Problemes d’optimisation numerique Optimisation

Resoudre des problemes du monde reel

Exemple de probleme du monde reel

Des produits sont dans un entrepot.

But : Livrer les produits a tous les clients.

ClientDépot

Probleme abstrait

But : Minimiser la distance (le cout) parcourue en respectant lescontraintes horaires

Page 7: Introduction a l’optimisation stochastique - Université du Littoral …verel/TEACHING/16-17/... · 2020. 9. 3. · Universit e du Littoral C^ote d’Opale Laboratoire LISIC Equipe

Introduction Problemes d’optimisation combinatoire Problemes d’optimisation numerique Optimisation

Resoudre des problemes du monde reel

Exemple de probleme du monde reel

Des produits sont dans un entrepot.

But : Livrer les produits a tous les clients.

ClientDépot

Probleme abstrait

But : Minimiser la distance (le cout) parcourue en respectant lescontraintes horaires

Page 8: Introduction a l’optimisation stochastique - Université du Littoral …verel/TEACHING/16-17/... · 2020. 9. 3. · Universit e du Littoral C^ote d’Opale Laboratoire LISIC Equipe

Introduction Problemes d’optimisation combinatoire Problemes d’optimisation numerique Optimisation

Une methodologie de resolution de probleme

Principe

Transformer un probleme reel en un probleme d’optimisation

ProblèmeRéel

ProblèmeOptimisation

Solution(s)Modélisation Résolution

Modeliser :

Abstraire la realite

Simplifier la realite (nombre de parametres, “bruit”,defauts,...)

Garder les elements pertinents par rapport au probleme aresoudre

Page 9: Introduction a l’optimisation stochastique - Université du Littoral …verel/TEACHING/16-17/... · 2020. 9. 3. · Universit e du Littoral C^ote d’Opale Laboratoire LISIC Equipe

Introduction Problemes d’optimisation combinatoire Problemes d’optimisation numerique Optimisation

Une methodologie de resolution de probleme

Principe

Transformer un probleme reel en un probleme d’optimisation

ProblèmeRéel

ProblèmeOptimisation

Solution(s)Modélisation Résolution

Concevoir un (bon) modele :

Connaissance experte du domaine

Connaissance des methodes de resolution (informatique)

Page 10: Introduction a l’optimisation stochastique - Université du Littoral …verel/TEACHING/16-17/... · 2020. 9. 3. · Universit e du Littoral C^ote d’Opale Laboratoire LISIC Equipe

Introduction Problemes d’optimisation combinatoire Problemes d’optimisation numerique Optimisation

Probleme d’optimisation

Probleme d’optimisation

Un probleme d’optimisation est un couple (X , f ) avec :

Espace de recherche : ensemble des solutions possibles,

Xfonction objectif : critere de qualite (ou de non-qualite)

f : X → IR

Resoudre un probleme d’optimisation

Trouver la (ou les) meilleure solution selon le critere de qualite

x? = argmaxX f

Mais, des fois, l’ensemble de toutes les meilleures solution, ou unebonne approximation, ou une solution ”robuste”, etc.

Page 11: Introduction a l’optimisation stochastique - Université du Littoral …verel/TEACHING/16-17/... · 2020. 9. 3. · Universit e du Littoral C^ote d’Opale Laboratoire LISIC Equipe

Introduction Problemes d’optimisation combinatoire Problemes d’optimisation numerique Optimisation

Probleme d’optimisation

Probleme d’optimisation

Un probleme d’optimisation est un couple (X , f ) avec :

Espace de recherche : ensemble des solutions possibles,

Xfonction objectif : critere de qualite (ou de non-qualite)

f : X → IR

Resoudre un probleme d’optimisation

Trouver la (ou les) meilleure solution selon le critere de qualite

x? = argmaxX f

Mais, des fois, l’ensemble de toutes les meilleures solution, ou unebonne approximation, ou une solution ”robuste”, etc.

Page 12: Introduction a l’optimisation stochastique - Université du Littoral …verel/TEACHING/16-17/... · 2020. 9. 3. · Universit e du Littoral C^ote d’Opale Laboratoire LISIC Equipe

Introduction Problemes d’optimisation combinatoire Problemes d’optimisation numerique Optimisation

Contexte

Optimisation boite noire (Black box)

Nous ne pouvons connaitre que {(x0, f (x0)), (x1, f (x1)), ...} donnespar un ”oracle”Aucune information sur la definition de la fonction objectif f n’estsoit disponible ou soit necessaire

x −→ −→ f (x)

Fonction objectif donnee par un calcul ou une simulation

Fonction objectif peut etre irreguliere, non differentielle, noncontinue, etc.

Page 13: Introduction a l’optimisation stochastique - Université du Littoral …verel/TEACHING/16-17/... · 2020. 9. 3. · Universit e du Littoral C^ote d’Opale Laboratoire LISIC Equipe

Introduction Problemes d’optimisation combinatoire Problemes d’optimisation numerique Optimisation

Typologie des problemes d’optimisation

Classification

Optimisation combinatoire : Espace de recherche dont lesvariables sont discretes (cas NP-difficile)

Optimisation numerique (continue) : Espace de recherchedont les variables sont continues

N’entrant pas dans les deux autres categories :combinaison discret/continue, programme, morphologie,topologie, etc.

Page 14: Introduction a l’optimisation stochastique - Université du Littoral …verel/TEACHING/16-17/... · 2020. 9. 3. · Universit e du Littoral C^ote d’Opale Laboratoire LISIC Equipe

Introduction Problemes d’optimisation combinatoire Problemes d’optimisation numerique Optimisation

Detour ou retour : Notion de complexite

cf. cours en annexe : Notion de complexite pour comprendre lesproblemes NP-complet, NP-difficile

Page 15: Introduction a l’optimisation stochastique - Université du Littoral …verel/TEACHING/16-17/... · 2020. 9. 3. · Universit e du Littoral C^ote d’Opale Laboratoire LISIC Equipe

Introduction Problemes d’optimisation combinatoire Problemes d’optimisation numerique Optimisation

Sudoku

Questions :

Calculer le nombre de grilles (solutions) possibles au sudoku.

Calculer le temps de traitement par l’ensemble des ordinateurssur Terrre de ces solutions a l’aide d’un algorithme ”iteratif”.

Page 16: Introduction a l’optimisation stochastique - Université du Littoral …verel/TEACHING/16-17/... · 2020. 9. 3. · Universit e du Littoral C^ote d’Opale Laboratoire LISIC Equipe

Introduction Problemes d’optimisation combinatoire Problemes d’optimisation numerique Optimisation

Probleme SAT

Premier probleme NP-difficile (Cook, 1971)

n variables booleennes : {x1, x2, ..., xn}litteral : l = xi ou l = xi

m clauses (disjonction de litteraux) : {C1,C2, ...,Cm}kj litteraux par clause Cj : {l1,j , l2,j , ..., lkj ,j} :

Cj =∨kj

i=1 li ,j

Trouver l’affectation des variables telle la conjonction des clausessoit vraie : ∧m

j=1 Cj

(cas special, k-SAT lorsque kj = k)

Page 17: Introduction a l’optimisation stochastique - Université du Littoral …verel/TEACHING/16-17/... · 2020. 9. 3. · Universit e du Littoral C^ote d’Opale Laboratoire LISIC Equipe

Introduction Problemes d’optimisation combinatoire Problemes d’optimisation numerique Optimisation

SAT : Applications

Verification de circuits (model checking), logique, planification,informatique...

cf. solver IBM, etc.

Page 18: Introduction a l’optimisation stochastique - Université du Littoral …verel/TEACHING/16-17/... · 2020. 9. 3. · Universit e du Littoral C^ote d’Opale Laboratoire LISIC Equipe

Introduction Problemes d’optimisation combinatoire Problemes d’optimisation numerique Optimisation

De SAT au probleme d’optimisation Max-SAT

Maximiser le nombre de clauses Cj verifiees

f (x) = #{Cj : Cj(x) est vraie}

x est une solution de SAT ssi f (x) = m

Page 19: Introduction a l’optimisation stochastique - Université du Littoral …verel/TEACHING/16-17/... · 2020. 9. 3. · Universit e du Littoral C^ote d’Opale Laboratoire LISIC Equipe

Introduction Problemes d’optimisation combinatoire Problemes d’optimisation numerique Optimisation

SAT : Proprietes physiques !reference bib

Transition de phase suivant :

α = mN = nombre de clauses

nombre de variables

Si α < αc alors forteprobabilite qu’une instancealeatoire ait une solution

Si αc < α alors faibleprobabilite qu’une instancealeatoire ait une solution

... analogie avec la transition dephase entre eau et glace autourde 0

◦C.

αc temp. critique

Page 20: Introduction a l’optimisation stochastique - Université du Littoral …verel/TEACHING/16-17/... · 2020. 9. 3. · Universit e du Littoral C^ote d’Opale Laboratoire LISIC Equipe

Introduction Problemes d’optimisation combinatoire Problemes d’optimisation numerique Optimisation

Coloration de graphe

Graphe :G = (S ,A) avec S ens. des sommets etA ⊂ S2 ens. des arcs

Coloration :affectation d’une couleur a chaque noeud

α : S → C avec C = {c1, . . . , ck}

Trouver une (k-)coloration telle que :

si (s, t) ∈ A alors α(s) 6= α(t)

Applications : affection de frequence en telephonie mobile, emploidu temps, coloration des cartes...

Page 21: Introduction a l’optimisation stochastique - Université du Littoral …verel/TEACHING/16-17/... · 2020. 9. 3. · Universit e du Littoral C^ote d’Opale Laboratoire LISIC Equipe

Introduction Problemes d’optimisation combinatoire Problemes d’optimisation numerique Optimisation

Coloration de grapheAffectation de frequences

Exercice

Des emetteurs radio sont disposes dans l’espace geographique.Pour eviter les interferences, ils ne peuvent diffuser sur la memefrequence si leur distance est inferieure a une constante D.

Traduire ce probleme en probleme de coloration de graphe.

Page 22: Introduction a l’optimisation stochastique - Université du Littoral …verel/TEACHING/16-17/... · 2020. 9. 3. · Universit e du Littoral C^ote d’Opale Laboratoire LISIC Equipe

Introduction Problemes d’optimisation combinatoire Problemes d’optimisation numerique Optimisation

sudoku : coloration de graphe ?

Exercice

Traduire le probleme de sudoku en un probleme de coloration degraphe.

Page 23: Introduction a l’optimisation stochastique - Université du Littoral …verel/TEACHING/16-17/... · 2020. 9. 3. · Universit e du Littoral C^ote d’Opale Laboratoire LISIC Equipe

Introduction Problemes d’optimisation combinatoire Problemes d’optimisation numerique Optimisation

Voyageur de commerce (TSP)

Trouver le parcours le plus court passant par toutes les villes.

n : nombre de villes

drs : distance entre les villes r et s.

Exercice

Exprimer la fonction a optimiser en fonction des parametres duprobleme.

Page 24: Introduction a l’optimisation stochastique - Université du Littoral …verel/TEACHING/16-17/... · 2020. 9. 3. · Universit e du Littoral C^ote d’Opale Laboratoire LISIC Equipe

Introduction Problemes d’optimisation combinatoire Problemes d’optimisation numerique Optimisation

Voyageur de commerce (TSP)

Trouver le parcours le plus court passant par toutes les villes.

n : nombre de villes

drs : distance entre les villes r et s.

Exercice

Exprimer la fonction a optimiser en fonction des parametres duprobleme.

Page 25: Introduction a l’optimisation stochastique - Université du Littoral …verel/TEACHING/16-17/... · 2020. 9. 3. · Universit e du Littoral C^ote d’Opale Laboratoire LISIC Equipe

Introduction Problemes d’optimisation combinatoire Problemes d’optimisation numerique Optimisation

Quadratic Assignment Problem (QAP)Probleme d’affection quadratique

Minimiser le flux total

(Exemple d’apres Taillard).

Page 26: Introduction a l’optimisation stochastique - Université du Littoral …verel/TEACHING/16-17/... · 2020. 9. 3. · Universit e du Littoral C^ote d’Opale Laboratoire LISIC Equipe

Introduction Problemes d’optimisation combinatoire Problemes d’optimisation numerique Optimisation

Quadratic Assignment Problem (QAP)

Minimiser le flux total

n objets, n emplacements

fij : flot entre objects i et j ,

drs : distance entre emplacement r et s

Applications : repartition de batiments ou de servives, affectationdes portes d’aeroport, placement de modules logiques, claviers...

Page 27: Introduction a l’optimisation stochastique - Université du Littoral …verel/TEACHING/16-17/... · 2020. 9. 3. · Universit e du Littoral C^ote d’Opale Laboratoire LISIC Equipe

Introduction Problemes d’optimisation combinatoire Problemes d’optimisation numerique Optimisation

Vehicule Routing Problem (VRP)

But : transporter des biens a des clients

Vehicule a capacite limitee, fenetre de temps, etc.

Probleme : Determiner pour chaque vehicule leur trajet de manierea minimiser les couts (temps, essence, etc.)

Application : logistique du dernier kilometre, etc.

Page 28: Introduction a l’optimisation stochastique - Université du Littoral …verel/TEACHING/16-17/... · 2020. 9. 3. · Universit e du Littoral C^ote d’Opale Laboratoire LISIC Equipe

Introduction Problemes d’optimisation combinatoire Problemes d’optimisation numerique Optimisation

Job Scheduling Problem

Ensemble de tachesJ = {j1, j2, j3, . . . , jp}temps d’execution p(ji )

Realises sur m machinesM = {M1, . . . ,Mm}

Applications : ordonnancement, emploidu temps,...

Page 29: Introduction a l’optimisation stochastique - Université du Littoral …verel/TEACHING/16-17/... · 2020. 9. 3. · Universit e du Littoral C^ote d’Opale Laboratoire LISIC Equipe

Introduction Problemes d’optimisation combinatoire Problemes d’optimisation numerique Optimisation

Optimisation du controle du coeur d’une centrale nucleaireThese en cours de Mathieu Muniglia (CEA) - dont ces slides sont issusavec J.-C. Le Pallec, J.-M. Do, H. Grard, S. David.

Contexte

Forte augmentation de la part des energies intermittentes :eolien, solaire - 5% en 2013, 30% selon l’ademe en 2030.

Les variations peuvent etre compensees par :une gestion du reseau, le stockage ou les autres sources,i.e. le nucleaire dans le contexte francais (50% en 2030).

Objectif

Adapter les centrales nucleaires a cette nouvelle configuration,afin qu’elles puissent compenser au mieux les variations

Page 30: Introduction a l’optimisation stochastique - Université du Littoral …verel/TEACHING/16-17/... · 2020. 9. 3. · Universit e du Littoral C^ote d’Opale Laboratoire LISIC Equipe

Introduction Problemes d’optimisation combinatoire Problemes d’optimisation numerique Optimisation

Methodologie

Methodologie

Modeliser un reacteur nucleaire :modelisation multiphysique (neutronique,

thermodynamique, thermomecanique)multi-echelle (echelle du coeur au systeme complet)

Simuler le modele par un calcul :Definir le schema de calcul,developper les outils informatiques

Optimiser certains parametres de controleafin de permettre la manoeuvrabilite du reacteur :

Algorithme evolutionnaire

Page 31: Introduction a l’optimisation stochastique - Université du Littoral …verel/TEACHING/16-17/... · 2020. 9. 3. · Universit e du Littoral C^ote d’Opale Laboratoire LISIC Equipe

Introduction Problemes d’optimisation combinatoire Problemes d’optimisation numerique Optimisation

Modele du reacteur (REP 1300MV)Source : Mathieu Muniglia

Page 32: Introduction a l’optimisation stochastique - Université du Littoral …verel/TEACHING/16-17/... · 2020. 9. 3. · Universit e du Littoral C^ote d’Opale Laboratoire LISIC Equipe

Introduction Problemes d’optimisation combinatoire Problemes d’optimisation numerique Optimisation

Schema simplifie d’une centraleSource : Mathieu Muniglia

Page 33: Introduction a l’optimisation stochastique - Université du Littoral …verel/TEACHING/16-17/... · 2020. 9. 3. · Universit e du Littoral C^ote d’Opale Laboratoire LISIC Equipe

Introduction Problemes d’optimisation combinatoire Problemes d’optimisation numerique Optimisation

Chaine de regulation des barres de commandeSource : Mathieu Muniglia

Modeles et couplage : ”best estimate” puis degrade pour reduire temps de calcul

Page 34: Introduction a l’optimisation stochastique - Université du Littoral …verel/TEACHING/16-17/... · 2020. 9. 3. · Universit e du Littoral C^ote d’Opale Laboratoire LISIC Equipe

Introduction Problemes d’optimisation combinatoire Problemes d’optimisation numerique Optimisation

Parametres de la position des barres de controle

Parametres (13 variables discretes)

Recouvrement : nombre de pas entre 2 insertions de barre

Programme de vitesse : vitesse nominale (pas/min), bandemorte, bande de manœuvre groupe R

Criteres a optimiser

Heterogeneite du coeur relatif a l’axial offset

Critere de surete relatif a la gaine

Page 35: Introduction a l’optimisation stochastique - Université du Littoral …verel/TEACHING/16-17/... · 2020. 9. 3. · Universit e du Littoral C^ote d’Opale Laboratoire LISIC Equipe

Introduction Problemes d’optimisation combinatoire Problemes d’optimisation numerique Optimisation

Quelques considerations sur ce travail

Interaction multi-disciplinaire

Definir un modele et une simulation est difficile :Connaissances expertes necessaires

Logiquement l’optimisation commence lorsque (X , f ) :

Mais participation a la modelisation necessaire :

comprendre le probleme,conseil dans la modelisation (variable, criteres, etc.),expliquer ce que l’on attendre comme resultat,regard critique sur les methodes, etc.

Resultats dans les deux domaines (physique nucleaire et optimisation) :Publications dans les deux domaines

Page 36: Introduction a l’optimisation stochastique - Université du Littoral …verel/TEACHING/16-17/... · 2020. 9. 3. · Universit e du Littoral C^ote d’Opale Laboratoire LISIC Equipe

Introduction Problemes d’optimisation combinatoire Problemes d’optimisation numerique Optimisation

Quelques considerations sur ce travail

Interet du point de vue optimisation stochastique

Probleme d’optimisation combinatoire black-box multiobjectif

Temps de calcul d’une simulation long et heterogene :20 min par simu en moyennede 15 min a 35 min

Developper de nouveaux algorithmes distribues :Prise en consideration des temps heterogenes

Aucune connaissance sur ce probleme (black-box) :Technique pour regler les parametres des algorithmes

Page 37: Introduction a l’optimisation stochastique - Université du Littoral …verel/TEACHING/16-17/... · 2020. 9. 3. · Universit e du Littoral C^ote d’Opale Laboratoire LISIC Equipe

Introduction Problemes d’optimisation combinatoire Problemes d’optimisation numerique Optimisation

Probleme du sac a dos

Exercice

Traduire en un probleme d’optimisation le probleme qui consiste aremplir un sac a dos avec le plus d’objets de valeur en tenantcompte de leur encombrement.

Page 38: Introduction a l’optimisation stochastique - Université du Littoral …verel/TEACHING/16-17/... · 2020. 9. 3. · Universit e du Littoral C^ote d’Opale Laboratoire LISIC Equipe

Introduction Problemes d’optimisation combinatoire Problemes d’optimisation numerique Optimisation

Exemples de probleme d’optimisation numerique

La suite est une liste de problemes d’optimisation numerique

Page 39: Introduction a l’optimisation stochastique - Université du Littoral …verel/TEACHING/16-17/... · 2020. 9. 3. · Universit e du Littoral C^ote d’Opale Laboratoire LISIC Equipe

Introduction Problemes d’optimisation combinatoire Problemes d’optimisation numerique Optimisation

Docking moleculaire

Position relative qui minimise l’energie electrostatique

ADN - proteine ou proteine - proteine

(credits S. Fiorucci, universite de Nice Sophia Antipolis)

Page 40: Introduction a l’optimisation stochastique - Université du Littoral …verel/TEACHING/16-17/... · 2020. 9. 3. · Universit e du Littoral C^ote d’Opale Laboratoire LISIC Equipe

Introduction Problemes d’optimisation combinatoire Problemes d’optimisation numerique Optimisation

Calibration de modeleModele cognitif computationnel

stimulicognitivedata

Humancognitiveactivity

parameters

stimulicognitivedata

ComputationalModel

Page 41: Introduction a l’optimisation stochastique - Université du Littoral …verel/TEACHING/16-17/... · 2020. 9. 3. · Universit e du Littoral C^ote d’Opale Laboratoire LISIC Equipe

Introduction Problemes d’optimisation combinatoire Problemes d’optimisation numerique Optimisation

Un modele, a quoi ca sert ?...

Pourquoi faire un modele ?

Valeur explicative :

Definition et utilisation d’un vocabulaire formel pour decrire lecomportement cognitifApproche theorique : apport de nouvelles connaissancesscientifiques

Valeur predictive :

Utilisation de la simulation d’un modele pour predire lecomportement d’un humainApproche pratique : par exemple en ergonomie

Page 42: Introduction a l’optimisation stochastique - Université du Littoral …verel/TEACHING/16-17/... · 2020. 9. 3. · Universit e du Littoral C^ote d’Opale Laboratoire LISIC Equipe

Introduction Problemes d’optimisation combinatoire Problemes d’optimisation numerique Optimisation

Estimation de la charge cognitive

Methods :

Self-report measures (subjective) : uni or multi-dimensionalscales (SWAT, NASA-TLX,...).

Physiological measures :

EEGs, Heart rate, Electrodermal activity, pupil diameter,...

Page 43: Introduction a l’optimisation stochastique - Université du Littoral …verel/TEACHING/16-17/... · 2020. 9. 3. · Universit e du Littoral C^ote d’Opale Laboratoire LISIC Equipe

Introduction Problemes d’optimisation combinatoire Problemes d’optimisation numerique Optimisation

Pupil Diameter (Task-evoked Pupillary Responses)

Digit span task

Encoding : increases

Recall : decreases

Pupillary response correlatespositively with increases inmental processing effort, orworkload(Backs and Walrath, 1992 ;Beatty, 1982 ; Granholm etal., 1996 ; Just et al., 2003). Kahneman and Beatty (1966)

Page 44: Introduction a l’optimisation stochastique - Université du Littoral …verel/TEACHING/16-17/... · 2020. 9. 3. · Universit e du Littoral C^ote d’Opale Laboratoire LISIC Equipe

Introduction Problemes d’optimisation combinatoire Problemes d’optimisation numerique Optimisation

Task-evoked Pupillary Responses (TEPR)

Number studies have shown significant relations between pupillaryresponses and cognitive processes

Short-Term Memory (Kahneman and Beatty, 1966 ; Van DerMeer et al, 2005)

Language (Just and Carpenter, 1992)

Reasoning (Nuthmann and Van Der Meer, 2005)

Memory (Karatekin, Couperus, and Marcus, 2004 ; Van DerMeer, Friedrich, Nuthmann, Stelezl, and Kuchinke, 2005)

Perception (Verney, Granholm, and Dionisio, 2001 ;Schlemmer el al, 2005)

...

and information seeking ?

Page 45: Introduction a l’optimisation stochastique - Université du Littoral …verel/TEACHING/16-17/... · 2020. 9. 3. · Universit e du Littoral C^ote d’Opale Laboratoire LISIC Equipe

Introduction Problemes d’optimisation combinatoire Problemes d’optimisation numerique Optimisation

Etude et methodologie

Goal : Testing attentional load with dual-task paradigm

2 single tasks and 1 dual task

Vision : Word-Search (WS)Target-word on a set of 12 words randomly displayed (samelength)

Lexical Frequency (low vs high)Fitts’index (low vs high)

Audition : Digit-Span (DS)Digit from 0 to n

Digits’ sequence (5 digits vs 9 digits)Phase (encoding vs recall)

Vison + Audition : Mixing WS and DS

All previous factors

Page 46: Introduction a l’optimisation stochastique - Université du Littoral …verel/TEACHING/16-17/... · 2020. 9. 3. · Universit e du Littoral C^ote d’Opale Laboratoire LISIC Equipe

Introduction Problemes d’optimisation combinatoire Problemes d’optimisation numerique Optimisation

Methodologie

Target

+

+ Left bouton

3 sec.

Word search

Target word

11 sec. (9 digits)

+

+

Recall10 sec. (5 digits)18 sec. (9 digits)

Encoding

Left bouton

3 sec.

7 sec. (5 digits)

Word Search

+

+ Left bouton

3 sec.

Recall

Encoding

18 sec. (9 digits)10 sec. (5 digits)

11 sec. (9 digits)7 sec. (5 digits)

Target Target word

Word Search task Digit Span task Dual task

Page 47: Introduction a l’optimisation stochastique - Université du Littoral …verel/TEACHING/16-17/... · 2020. 9. 3. · Universit e du Littoral C^ote d’Opale Laboratoire LISIC Equipe

Introduction Problemes d’optimisation combinatoire Problemes d’optimisation numerique Optimisation

Resultats

Page 48: Introduction a l’optimisation stochastique - Université du Littoral …verel/TEACHING/16-17/... · 2020. 9. 3. · Universit e du Littoral C^ote d’Opale Laboratoire LISIC Equipe

Introduction Problemes d’optimisation combinatoire Problemes d’optimisation numerique Optimisation

Resultats : succession des essais pour un meme sujet

-1

0

1

2

3

4

5

6

0 5000 10000 15000 20000 25000 30000

diame

ter

time

-1

-0.5

0

0.5

1

1.5

2

2.5

3

3.5

4

0 5000 10000 15000 20000 25000 30000

diame

ter

time

Page 49: Introduction a l’optimisation stochastique - Université du Littoral …verel/TEACHING/16-17/... · 2020. 9. 3. · Universit e du Littoral C^ote d’Opale Laboratoire LISIC Equipe

Introduction Problemes d’optimisation combinatoire Problemes d’optimisation numerique Optimisation

Diametres pupillaires pour les 24 sujets : encodage

12 premiers sujets 12 derniers sujets

2.5

3

3.5

4

4.5

5

0 50 100 150 200 250 2.5

3

3.5

4

4.5

5

0 50 100 150 200 250

5 nombres a memoriser

2.5

3

3.5

4

4.5

5

0 50 100 150 200 250 2.5

3

3.5

4

4.5

5

0 50 100 150 200 250

9 nombres a memoriser

Page 50: Introduction a l’optimisation stochastique - Université du Littoral …verel/TEACHING/16-17/... · 2020. 9. 3. · Universit e du Littoral C^ote d’Opale Laboratoire LISIC Equipe

Introduction Problemes d’optimisation combinatoire Problemes d’optimisation numerique Optimisation

Diametres pupillaires pour les 24 sujets : Rappel

12 premiers sujets 12 derniers sujets

2.5

3

3.5

4

4.5

5

0 50 100 150 200 250 2.6

2.8

3

3.2

3.4

3.6

3.8

4

4.2

4.4

4.6

4.8

0 50 100 150 200 250

5 nombres a memoriser

2.8

3

3.2

3.4

3.6

3.8

4

4.2

4.4

4.6

0 50 100 150 200 250 2.6

2.8

3

3.2

3.4

3.6

3.8

4

4.2

4.4

4.6

0 50 100 150 200 250

9 nombres a memoriser

Page 51: Introduction a l’optimisation stochastique - Université du Littoral …verel/TEACHING/16-17/... · 2020. 9. 3. · Universit e du Littoral C^ote d’Opale Laboratoire LISIC Equipe

Introduction Problemes d’optimisation combinatoire Problemes d’optimisation numerique Optimisation

Modelisation

Questions

Nature de la modelisation :

Qu’est-ce qu’un modele dans notre cas ?Comment definir un comportement moyen ?

Exploitation de la modelisation :

Est-ce que la pupille est un marqueur de la charge cognitivepour ces taches ?Est-ce que les taches sont traitees en parallele ou en serie ?

Page 52: Introduction a l’optimisation stochastique - Université du Littoral …verel/TEACHING/16-17/... · 2020. 9. 3. · Universit e du Littoral C^ote d’Opale Laboratoire LISIC Equipe

Introduction Problemes d’optimisation combinatoire Problemes d’optimisation numerique Optimisation

Average of the normalized encoding curves5 digits, low frequency lex., easy fitts

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0 5 10 15 20 25

Dia

met

er

Time

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0 5 10 15 20 25

Dia

met

er

Time

0

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0 5 10 15 20 25

Dia

met

er

Time

encodage 5 et bf_f

digitworddual

Page 53: Introduction a l’optimisation stochastique - Université du Littoral …verel/TEACHING/16-17/... · 2020. 9. 3. · Universit e du Littoral C^ote d’Opale Laboratoire LISIC Equipe

Introduction Problemes d’optimisation combinatoire Problemes d’optimisation numerique Optimisation

Average of the normalized encoding curves

0

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0 5 10 15 20 25

Dia

met

er

Time

encodage 5 et bf_f

digitworddual

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0 5 10 15 20 25

Dia

met

er

Time

encodage 9 et bf_f

digitworddual

5 d., low, easy 9 d., low, easy

0

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0 5 10 15 20 25

Dia

met

er

Time

encodage 5 et hf_f

digitworddual

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0 5 10 15 20 25

Dia

met

er

Time

encodage 9 et hf_f

digitworddual

5 d., high, easy 9 d., high, easy

Page 54: Introduction a l’optimisation stochastique - Université du Littoral …verel/TEACHING/16-17/... · 2020. 9. 3. · Universit e du Littoral C^ote d’Opale Laboratoire LISIC Equipe

Introduction Problemes d’optimisation combinatoire Problemes d’optimisation numerique Optimisation

Principe general de la modelisation

Une idee de modelisation ?

But : deduire des taches simples la tache duale

fWS , fDS : fonctions construites a partir de l’interpolationlineaire des donnees experimentales pour chacune des tachessimples

F est definie a partir de fWS et fDS

Page 55: Introduction a l’optimisation stochastique - Université du Littoral …verel/TEACHING/16-17/... · 2020. 9. 3. · Universit e du Littoral C^ote d’Opale Laboratoire LISIC Equipe

Introduction Problemes d’optimisation combinatoire Problemes d’optimisation numerique Optimisation

Principe general de la modelisation

Une idee de modelisation ?

But : deduire des taches simples la tache duale

fWS , fDS : fonctions construites a partir de l’interpolationlineaire des donnees experimentales pour chacune des tachessimples

F est definie a partir de fWS et fDS

Page 56: Introduction a l’optimisation stochastique - Université du Littoral …verel/TEACHING/16-17/... · 2020. 9. 3. · Universit e du Littoral C^ote d’Opale Laboratoire LISIC Equipe

Introduction Problemes d’optimisation combinatoire Problemes d’optimisation numerique Optimisation

Troisieme tentative

Intuition/Hypothese

(...)

2 periodes : avant T acceleration de la tache WS , apres Tralentir WS

pas de normalisation de la ponderation

F (t) =

{K1(α1fDM(t) + (1− α1)fWS(ω1t)) if ∀t < TK2(α2fDM(t) + (1− α2)fWS(ω1T + ω2(t − T ))), if ∀t ≥ T

ω2 = Tmax−ω1TTmax−T

Page 57: Introduction a l’optimisation stochastique - Université du Littoral …verel/TEACHING/16-17/... · 2020. 9. 3. · Universit e du Littoral C^ote d’Opale Laboratoire LISIC Equipe

Introduction Problemes d’optimisation combinatoire Problemes d’optimisation numerique Optimisation

Troisieme tentative

Intuition/Hypothese

(...)

2 periodes : avant T acceleration de la tache WS , apres Tralentir WS

pas de normalisation de la ponderation

F (t) =

{K1(α1fDM(t) + (1− α1)fWS(ω1t)) if ∀t < TK2(α2fDM(t) + (1− α2)fWS(ω1T + ω2(t − T ))), if ∀t ≥ T

ω2 = Tmax−ω1TTmax−T

Page 58: Introduction a l’optimisation stochastique - Université du Littoral …verel/TEACHING/16-17/... · 2020. 9. 3. · Universit e du Littoral C^ote d’Opale Laboratoire LISIC Equipe

Introduction Problemes d’optimisation combinatoire Problemes d’optimisation numerique Optimisation

Recherche des parametres de la modelisation

6 parametres a ajuster...

Principe

Passage d’un probleme de calibration de modelea un probleme d’optimisation.

Minimiser la distance entre les donnees experimentales et lareponse du modele :

D(F , fdual) =Tmax∑t=0

(F (t)− fdual(t))2 (1)

Methode standart

Methode least squares : descente de gradient

Page 59: Introduction a l’optimisation stochastique - Université du Littoral …verel/TEACHING/16-17/... · 2020. 9. 3. · Universit e du Littoral C^ote d’Opale Laboratoire LISIC Equipe

Introduction Problemes d’optimisation combinatoire Problemes d’optimisation numerique Optimisation

Troisieme tentative : resultats !5 d., low, easy

0.2

0.25

0.3

0.35

0.4

0.45

0.5

0.55

0.6

0.65

0.7

0 5 10 15 20 25

Dia

met

er

Time

encodage 5 et bf_f

dualfit

0.3

0.35

0.4

0.45

0.5

0.55

0.6

0.65

0 5 10 15 20 25

Dia

met

er

Time

encodage 9 et bf_f

dualfit

Moindres carres CMA-ES

Page 60: Introduction a l’optimisation stochastique - Université du Littoral …verel/TEACHING/16-17/... · 2020. 9. 3. · Universit e du Littoral C^ote d’Opale Laboratoire LISIC Equipe

Introduction Problemes d’optimisation combinatoire Problemes d’optimisation numerique Optimisation

Troisieme tentative : resultats !

0.25

0.3

0.35

0.4

0.45

0.5

0.55

0.6

0.65

0 5 10 15 20 25

Dia

met

er

Time

encodage 5 et bf_d

dualfit

0.2

0.25

0.3

0.35

0.4

0.45

0.5

0.55

0.6

0.65

0 5 10 15 20 25

Dia

met

er

Time

encodage 9 et bf_d

dualfit

5 d., low, hard 9 d., low, hard

0.3

0.35

0.4

0.45

0.5

0.55

0.6

0.65

0.7

0.75

0 5 10 15 20 25

Dia

met

er

Time

encodage 5 et hf_d

dualfit

0.25

0.3

0.35

0.4

0.45

0.5

0.55

0.6

0.65

0.7

0 5 10 15 20 25

Dia

met

er

Time

encodage 9 et hf_d

dualfit

5 d., high, hard 9 d., high, hard

Page 61: Introduction a l’optimisation stochastique - Université du Littoral …verel/TEACHING/16-17/... · 2020. 9. 3. · Universit e du Littoral C^ote d’Opale Laboratoire LISIC Equipe

Introduction Problemes d’optimisation combinatoire Problemes d’optimisation numerique Optimisation

Commentaires sur les resultats

Word search is faster for 9 digits than for 5 digits.

5 digits : T ≈ 6 and 2.5 ≤ ω1 ≤ 3.09 digits : T ≈ 4 and 3.5 ≤ ω1 ≤ 4.7.

Word search task has the main influence on the pupildiameter.

α1 and α2 small and ≤ 0.39.

Word search task has more influence on 9 digits thant for 5digits

α1 or α2 are respectively higher for 9 digits tasks than for 5digits tasks.

Page 62: Introduction a l’optimisation stochastique - Université du Littoral …verel/TEACHING/16-17/... · 2020. 9. 3. · Universit e du Littoral C^ote d’Opale Laboratoire LISIC Equipe

Introduction Problemes d’optimisation combinatoire Problemes d’optimisation numerique Optimisation

Conclusions

Conclusion de l’etude

Word search task has the priority on the digit memory task,

Priority for word search task stronger when the digit memorytask is more difficult.

We can suppose that the people are first concentrated on wordsearch task to save time for the more difficult task after.

Conclusion de la methodologie

Conception progressive par essai/erreur d’un modele pertinent

Travail original de longue haleine

Page 63: Introduction a l’optimisation stochastique - Université du Littoral …verel/TEACHING/16-17/... · 2020. 9. 3. · Universit e du Littoral C^ote d’Opale Laboratoire LISIC Equipe

Introduction Problemes d’optimisation combinatoire Problemes d’optimisation numerique Optimisation

Probleme d’optimisation

Probleme d’optimisation

Un probleme d’optimisation est un couple (X , f ) avec :

Espace de recherche : ensemble des solutions possibles,

Xfonction objectif : critere de qualite (ou de non-qualite)

f : X → IR

Resoudre un probleme d’optimisation

Trouver la (ou les) meilleure solution selon le critere de qualite

x? = argmaxX f

Mais, des fois, l’ensemble de toutes les meilleures solution, ou unebonne approximation, ou une solution ”robuste”, etc.

Page 64: Introduction a l’optimisation stochastique - Université du Littoral …verel/TEACHING/16-17/... · 2020. 9. 3. · Universit e du Littoral C^ote d’Opale Laboratoire LISIC Equipe

Introduction Problemes d’optimisation combinatoire Problemes d’optimisation numerique Optimisation

Probleme d’optimisation

Probleme d’optimisation

Un probleme d’optimisation est un couple (X , f ) avec :

Espace de recherche : ensemble des solutions possibles,

Xfonction objectif : critere de qualite (ou de non-qualite)

f : X → IR

Resoudre un probleme d’optimisation

Trouver la (ou les) meilleure solution selon le critere de qualite

x? = argmaxX f

Mais, des fois, l’ensemble de toutes les meilleures solution, ou unebonne approximation, ou une solution ”robuste”, etc.

Page 65: Introduction a l’optimisation stochastique - Université du Littoral …verel/TEACHING/16-17/... · 2020. 9. 3. · Universit e du Littoral C^ote d’Opale Laboratoire LISIC Equipe

Introduction Problemes d’optimisation combinatoire Problemes d’optimisation numerique Optimisation

Contexte

Optimisation boite noire (Black box)

Nous ne pouvons connaitre que {(x0, f (x0)), (x1, f (x1)), ...} donnespar un ”oracle”Aucune information sur la definition de la fonction objectif f n’estsoit disponible ou soit necessaire

x −→ −→ f (x)

Fonction objectif donnee par un calcul ou une simulation

Fonction objectif peut etre irreguliere, non differentielle, noncontinue, etc.

Page 66: Introduction a l’optimisation stochastique - Université du Littoral …verel/TEACHING/16-17/... · 2020. 9. 3. · Universit e du Littoral C^ote d’Opale Laboratoire LISIC Equipe

Introduction Problemes d’optimisation combinatoire Problemes d’optimisation numerique Optimisation

Typologie des problemes d’optimisation

Classification

Optimisation combinatoire : Espace de recherche dont lesvariables sont discretes (cas NP-difficile)

Optimisation numerique (continue) : Espace de recherchedont les variables sont continues

N’entrant pas dans les deux autres categories :combinaison discret/continue, programme, morphologie,topologie, etc.

Page 67: Introduction a l’optimisation stochastique - Université du Littoral …verel/TEACHING/16-17/... · 2020. 9. 3. · Universit e du Littoral C^ote d’Opale Laboratoire LISIC Equipe

Introduction Problemes d’optimisation combinatoire Problemes d’optimisation numerique Optimisation

Quelques defis actuels de recherche en optimisation

Comprendre et concevoir des methodes d’optimisationstochastiques

Combiner les methodes d’optimisation :portfolio, exact/approche, etc.

Reglage automatique des parametres des algorithmes :off-line, on-line

Algorithmes adaptes aux variables mixtes :variables discretes et continue, autre, etc.

Problemes de grande dimension

Algorithmes paralleles et distribues

Modele de substitution pour evaluation couteuse :avec simulateur, avec autre solveur

Problemes multi-objectifs, many-objectifs

Gestion des contraintes et des incertitudes