Estimation de paramètres avec le Calcul Bayésien … · Estimation de paramètres avec le Calcul...
Transcript of Estimation de paramètres avec le Calcul Bayésien … · Estimation de paramètres avec le Calcul...
Estimation de paramètres avec leCalcul Bayésien Approché (ABC)
Maxime Lenormand
Journées Réseau Mexico, 22 Novembre 2012NANTES Ifremer
Laboratoire d’Ingénierie pour les Systèmes ComplexesTravail en commun avec Franck Jabot et Guillaume Deffuant
To better reflect its missions,Cemagref
becomes Irstea.
This publication has been funded under the PRIMA (Prototypical policy impacts on multifunctional activities in rural municipalities) collaborative project, EU 7th Framework Programme (ENV 2007-1), contract no. 212345.
Plan
▶ Introduction
▶ Le modèle SimVillages
▶ Approximate Bayesian Computation
▶ Adaptive Approximate Bayesian Computation
▶ Résultats
▶ Conclusion et perspectives
Maxime Lenormand ABC Journées Réseau Mexico 2 / 36
Introduction
Modèle de microsimulation dynamique
Modèle individu-centréStochastiqueEspace des paramètres de grande dimensionCoût computationnel élevé par simulation
Estimer la valeur des paramètres
Calibrer le modèleComprendre son comportementRéaliser une analyse d’incertitudeValider le modèle
Maxime Lenormand ABC Journées Réseau Mexico 3 / 36
Introduction
X = M(θ,γ,X )tt+1
Time
X
X0
T1990
X = M(θ',γ,X )tt+1
θΘ
θ'
1999 2006
Données D ; On cherche à estimer un paramètre „
Maxime Lenormand ABC Journées Réseau Mexico 4 / 36
Plan
▶ Introduction
▶ Le modèle SimVillages
▶ Approximate Bayesian Computation
▶ Adaptive Approximate Bayesian Computation
▶ Résultats
▶ Conclusion et perspectives
Maxime Lenormand ABC Journées Réseau Mexico 5 / 36
Le modèle SimVillages
Modèle d’évolution municipale de :▸ la population (taille et distribution des âges)▸ la distribution des activités et des logements▸ l’offre d’emplois liés à la présence de population
en interaction avec les autres municipalités d’une région
sous l’effet de scénario :▸ d’offre municipales d’emplois et de logements▸ donnant les contraintes liées à l’évolution du contexte
Ô⇒ Pour répondre à la question du devenir de la présencede population dans le rural
Maxime Lenormand ABC Journées Réseau Mexico 6 / 36
Le modèle SimVillages
Municipalité
MénageType
Taille
EmploiSecteur
Categorie Socio-
Professionelle
Logement
Extérieur
IndividuAge
Statut EmploiStatut Famille
Maxime Lenormand ABC Journées Réseau Mexico 7 / 36
Le modèle SimVillagesDriver instanciation depends on concrete case study – From statistics
to individuals
Données Modèle
YearPopulation (thousands)
Variation of population ( %)
1962 1 657
1968 1 592 -4,10
1975 1 481 -7,50
1982 1 438 -3,00
1990 1 262 -13,90
1999 1 121 -12,60
2007 1 010 -11,00
Effectif %
Number of householdswhich moved there sinceless than 10 years 200 100
Less than 2 years 46 23
from 2 to 4 years 83 41,5
from 5 to 9 years 71 35,5Number of householdswhich moved there since10 years or more 270 100
from 10 to 19 years 82 30,4
from 20 to 29 years 71 26,3
30 years and more 117 43,3
Total of households 470
1990 1999 2006
Number % Number % Number %
Farmers 60 10,8 72 15,2 44 8,3
Craftmen, storekeepers, business owners 124 22,3 50 10,5 65 12,3
Top executive managers, upper intellectualprofession 24 4,3 32 6,8 15 2,8
Intermediary professions 104 18,7 58 12,2 98 18,6
Employees 144 25,9 169 35,7 186 35,2
Workers 100 18,0 93 19,6 120 22,7
Total 556 100 474 100 528 100
2006
Number %
Number of active people working in theirmunicipality of residence 337 77,6
Number of active people working out of theirmunicipality of residence 97 22,4
Total active employedpeople 434 100
Génération
Calibration
Maxime Lenormand ABC Journées Réseau Mexico 9 / 36
Le modèle SimVillages
Caractéristiques du modèle
260 communes (Cantal)8 paramètres (Ex: Nombre moyen d’enfants par femme)6 indicateurs (Ex: Pyramide des âges)Année de départ : 1990Années de calibration : 1999 et 2006Temps moyen par simulation : 1 minute
Maxime Lenormand ABC Journées Réseau Mexico 10 / 36
Le modèle SimVillages
Comment estimer les paramètres ?
Maxime Lenormand ABC Journées Réseau Mexico 11 / 36
Plan
▶ Introduction
▶ Le modèle SimVillages
▶ Approximate Bayesian Computation
▶ Adaptive Approximate Bayesian Computation
▶ Résultats
▶ Conclusion et perspectives
Maxime Lenormand ABC Journées Réseau Mexico 12 / 36
Approximate Bayesian Computation
P(„∣D) = P(D∣„)ı(„)P(D)
−0.2 0.0 0.2 0.4 0.6 0.8 1.0 1.2
0.0
0.2
0.4
0.6
0.8
1.0
θ
Den
sity
ı(„)
Ô⇒
0.2 0.4 0.6 0.8
0
1
2
3
θD
ensi
ty
P(„∣D)
Maxime Lenormand ABC Journées Réseau Mexico 13 / 36
Approximate Bayesian Computation
Pourquoi l’inférence Bayésienne ?
Estimation d’une densitéThéorie mathématique
Problèmes
Calcul de la vraisemblance L(„∣D) = P(D∣„) ?Comment faire lorsque ce calcul est trop difficile ou trop coûteux ?
Maxime Lenormand ABC Journées Réseau Mexico 14 / 36
Approximate Bayesian Computation
Pourquoi l’inférence Bayésienne ?
Estimation d’une densitéThéorie mathématique
Problèmes
Calcul de la vraisemblance L(„∣D) = P(D∣„) ?Comment faire lorsque ce calcul est trop difficile ou trop coûteux ?
Maxime Lenormand ABC Journées Réseau Mexico 14 / 36
Approximate Bayesian Computation1 Simuler „∗ ∼ ı(„)2 Simuler D′ ∼ f (⋅∣„∗)3 Si D′ = D, accepter „∗, sinon le rejeter4 Répéter jusqu’à ce qu’un échantillon de la taille désirée soit
obtenu
Distribution a prioriı(„)
Distribution a posterioriP(D′ = D∣„)ı(„)
6
-
Simulation
b� ������&%'$&%'$&%'$&%'$&%'$&%'$
Cible
(Pritchard et al., 1999)Maxime Lenormand ABC Journées Réseau Mexico 15 / 36
Approximate Bayesian Computation1 Simuler „∗ ∼ ı(„)2 Simuler D′ ∼ f (⋅∣„∗)3 Si D′ = D, accepter „∗, sinon le rejeter4 Répéter jusqu’à ce qu’un échantillon de la taille désirée soit
obtenu
Distribution a prioriı(„)
Distribution a posterioriP(D′ = D∣„)ı(„)
6
-
Simulation
b� ������&%'$&%'$&%'$&%'$&%'$&%'$
Cibles
(Pritchard et al., 1999)Maxime Lenormand ABC Journées Réseau Mexico 15 / 36
Approximate Bayesian Computation1 Simuler „∗ ∼ ı(„)2 Simuler D′ ∼ f (⋅∣„∗)3 Si D′ = D, accepter „∗, sinon le rejeter4 Répéter jusqu’à ce qu’un échantillon de la taille désirée soit
obtenu
Distribution a prioriı(„)
Distribution a posterioriP(D′ = D∣„)ı(„)
6
-
Simulation
b� ������&%'$&%'$&%'$&%'$&%'$&%'$
Cibles
s
(Pritchard et al., 1999)Maxime Lenormand ABC Journées Réseau Mexico 15 / 36
Approximate Bayesian Computation1 Simuler „∗ ∼ ı(„)2 Simuler D′ ∼ f (⋅∣„∗)3 Si D′ = D, accepter „∗, sinon le rejeter4 Répéter jusqu’à ce qu’un échantillon de la taille désirée soit
obtenu
Distribution a prioriı(„)
Distribution a posterioriP(D′ = D∣„)ı(„)
6
-
Simulation
b� ������&%'$&%'$&%'$&%'$&%'$&%'$
Cibles
s
(Pritchard et al., 1999)Maxime Lenormand ABC Journées Réseau Mexico 15 / 36
Approximate Bayesian Computation1 Simuler „∗ ∼ ı(„)2 Simuler D′ ∼ f (⋅∣„∗)3 Si D′ = D, accepter „∗, sinon le rejeter4 Répéter jusqu’à ce qu’un échantillon de la taille désirée soit
obtenu
Distribution a prioriı(„)
Distribution a posterioriP(D′ = D∣„)ı(„)
6
-
Simulation
b� ������&%'$&%'$&%'$&%'$&%'$&%'$
Cibles
ss
(Pritchard et al., 1999)Maxime Lenormand ABC Journées Réseau Mexico 15 / 36
Approximate Bayesian Computation1 Simuler „∗ ∼ ı(„)2 Simuler D′ ∼ f (⋅∣„∗)3 Si D′ = D, accepter „∗, sinon le rejeter4 Répéter jusqu’à ce qu’un échantillon de la taille désirée soit
obtenu
Distribution a prioriı(„)
Distribution a posterioriP(D′ = D∣„)ı(„)
6
-
Simulation
b� ������&%'$&%'$&%'$&%'$&%'$&%'$
Cibles ss
(Pritchard et al., 1999)Maxime Lenormand ABC Journées Réseau Mexico 15 / 36
Approximate Bayesian Computation1 Simuler „∗ ∼ ı(„)2 Simuler D′ ∼ f (⋅∣„∗)3 Si D′ = D, accepter „∗, sinon le rejeter4 Répéter jusqu’à ce qu’un échantillon de la taille désirée soit
obtenu
Distribution a prioriı(„)
Distribution a posterioriP(D′ = D∣„)ı(„)
6
-
Simulation
b� ������&%'$&%'$&%'$&%'$&%'$&%'$
Cibles ss
s
(Pritchard et al., 1999)Maxime Lenormand ABC Journées Réseau Mexico 15 / 36
Approximate Bayesian Computation1 Simuler „∗ ∼ ı(„)2 Simuler D′ ∼ f (⋅∣„∗)3 Si D′ = D, accepter „∗, sinon le rejeter4 Répéter jusqu’à ce qu’un échantillon de la taille désirée soit
obtenu
Distribution a prioriı(„)
Distribution a posterioriP(D′ = D∣„)ı(„)
6
-
Simulation
b� ������&%'$&%'$&%'$&%'$&%'$&%'$
Cibles ss
s
(Pritchard et al., 1999)Maxime Lenormand ABC Journées Réseau Mexico 15 / 36
Approximate Bayesian Computation1 Simuler „∗ ∼ ı(„)2 Simuler D′ ∼ f (⋅∣„∗)3 Si D′ = D, accepter „∗, sinon le rejeter4 Répéter jusqu’à ce qu’un échantillon de la taille désirée soit
obtenu
Distribution a prioriı(„)
Distribution a posterioriP(D′ = D∣„)ı(„)
6
-
Simulation
b� ������&%'$&%'$&%'$&%'$&%'$&%'$
Cibles ssssss
ssssss
(Pritchard et al., 1999)Maxime Lenormand ABC Journées Réseau Mexico 15 / 36
Approximate Bayesian Computation1 Simuler „∗ ∼ ı(„)2 Simuler D′ ∼ f (⋅∣„∗)3 Si D′ = D, accepter „∗, sinon le rejeter4 Répéter jusqu’à ce qu’un échantillon de la taille désirée soit
obtenu
Distribution a prioriı(„)
Distribution a posterioriP(D′ = D∣„)ı(„)
6
-
Simulation
b� ������&%'$&%'$&%'$&%'$&%'$&%'$
Cibles ssssss
ssssss
ssssssss
(Pritchard et al., 1999)Maxime Lenormand ABC Journées Réseau Mexico 15 / 36
Approximate Bayesian Computation1 Simuler „∗ ∼ ı(„)2 Simuler D′ ∼ f (⋅∣„∗)3 Si D′ = D, accepter „∗, sinon le rejeter4 Répéter jusqu’à ce qu’un échantillon de la taille désirée soit
obtenu
Distribution a prioriı(„)
Distribution a posterioriP(D′ = D∣„)ı(„)
6
-
Simulation
b� ������&%'$&%'$&%'$&%'$&%'$&%'$
Cibles ssssss
ssssss
ssssssss
(Pritchard et al., 1999)Maxime Lenormand ABC Journées Réseau Mexico 15 / 36
Approximate Bayesian Computation
Deux approximations de D′ = D
(D′;D) ≤ ›(S(D′);S(D)) ≤ ›
P((S(D′);S(D)) ≤ ›∣„)ı(„)
Les choix de l’ABC
› ? ?S ?
Maxime Lenormand ABC Journées Réseau Mexico 16 / 36
Approximate Bayesian Computation
Deux approximations de D′ = D
(D′;D) ≤ ›(S(D′);S(D)) ≤ ›
P((S(D′);S(D)) ≤ ›∣„)ı(„)
Les choix de l’ABC
› ? ?S ?
Maxime Lenormand ABC Journées Réseau Mexico 16 / 36
Approximate Bayesian Computation
Deux approximations de D′ = D
(D′;D) ≤ ›(S(D′);S(D)) ≤ ›
P((S(D′);S(D)) ≤ ›∣„)ı(„)
Les choix de l’ABC
› ? ?S ?
Maxime Lenormand ABC Journées Réseau Mexico 16 / 36
Approximate Bayesian Computation
L’ABC dans la littérature (non exhaustif)
Ajustement des paramètres (Beaumont et al. (2002))ABC-MCMC (Marjoram et al. (2003))ABC-PRC (Sisson et al. (2007))ABC-MCMC (Wegmann et al. (2009))Choix de S (Joyce et Marjoram (2008))ABC-PMC (Beaumont et al. (2009); Toni et al. (2009))Ajustement des paramètres (Blum et françois (2010))ABC-RSMC (Drovandi et Pettitt (2011))ABC-SMC (DelMoral et al. (2012))Choix de S (Fearnhead et Prangle (2012))
Maxime Lenormand ABC Journées Réseau Mexico 17 / 36
Plan
▶ Introduction
▶ Le modèle SimVillages
▶ Approximate Bayesian Computation
▶ Adaptive Approximate Bayesian Computation
▶ Résultats
▶ Conclusion et perspectives
Maxime Lenormand ABC Journées Réseau Mexico 18 / 36
Adaptive Approximate Bayesian Computation
Prior
(Lenormand et al. (2012))
Maxime Lenormand ABC Journées Réseau Mexico 19 / 36
Adaptive Approximate Bayesian Computation
Prior
(Lenormand et al. (2012))
N particules(LHS)
ssss
ssssss
s
sss
sss
Maxime Lenormand ABC Journées Réseau Mexico 19 / 36
Adaptive Approximate Bayesian Computation
Prior
(Lenormand et al. (2012))
N particules(LHS)
ssss
ssssss
s
sss
sss-
N¸
›1
ssssssssss
s
Maxime Lenormand ABC Journées Réseau Mexico 19 / 36
Adaptive Approximate Bayesian Computation
Prior
(Lenormand et al. (2012))
N particules(LHS)
ssss
ssssss
s
sss
sss-
N¸
›1
ssssssssss
s-
w(1)i
Maxime Lenormand ABC Journées Réseau Mexico 19 / 36
Adaptive Approximate Bayesian Computation
Prior
(Lenormand et al. (2012))
N particules(LHS)
ssss
ssssss
s
sss
sss-
N¸
›1
ssssssssss
s-
w(1)i 6
?K1
Maxime Lenormand ABC Journées Réseau Mexico 19 / 36
Adaptive Approximate Bayesian Computation
Prior
(Lenormand et al. (2012))
N particules(LHS)
ssss
ssssss
s
sss
sss-
N¸
›1
ssssssssss
s-
w(1)i 6
?K1 sssssss
N −N¸particules
pacc =∑N
k=N¸+1 1(S(D′);S(D))≤›1
N −N¸
Maxime Lenormand ABC Journées Réseau Mexico 19 / 36
Adaptive Approximate Bayesian Computation
Prior
(Lenormand et al. (2012))
N particules(LHS)
ssss
ssssss
s
sss
sss-
N¸
›1
ssssssssss
ssssssss
N −N¸particules
pacc =∑N
k=N¸+1 1(S(D′);S(D))≤›1
N −N¸
sssssssssssssssss
sN
particules
Maxime Lenormand ABC Journées Réseau Mexico 19 / 36
Adaptive Approximate Bayesian Computation
Prior
(Lenormand et al. (2012))
N particules(LHS)
ssss
ssssss
s
sss
sss-
N¸
›1
ssssssssss
ssssssss
N −N¸particules
pacc =∑N
k=N¸+1 1(S(D′);S(D))≤›1
N −N¸
sssssssssssssssss
sN
particules
-N¸
›2
ssssssssssss
Maxime Lenormand ABC Journées Réseau Mexico 19 / 36
Adaptive Approximate Bayesian Computation
Prior
(Lenormand et al. (2012))
N particules(LHS)
ssss
ssssss
s
sss
sss-
N¸
›1
ssssssssss
ssssssss
N −N¸particules
pacc =∑N
k=N¸+1 1(S(D′);S(D))≤›1
N −N¸
sssssssssssssssss
sN
particules
-N¸
›2
ssssssssssss⋅ ⋅ ⋅
›{pacc<paccmin}
Posterior
sssssssss
Maxime Lenormand ABC Journées Réseau Mexico 19 / 36
Plan
▶ Introduction
▶ Le modèle SimVillages
▶ Approximate Bayesian Computation
▶ Adaptive Approximate Bayesian Computation
▶ Résultats
▶ Conclusion et perspectives
Maxime Lenormand ABC Journées Réseau Mexico 20 / 36
RésultatsParamètres
Paramètres Description Etendue
„1 Nombre d’enfants (pente) [0;0:15]„2 Nombre d’enfants (intersection) [0:5;3]„3 Indice de satisfaction du logement [0;0:2]„4 Probabilité de se mettre en couple [0;1]„5 Nombre d’essais pour se mettre en couple [0;20]„6 Probabilité de divorcer [0;0:05]„7 Seuil de proximité ∣[0;50]∣„8 Satisfaction de la demande de logement [0;1]
Maxime Lenormand ABC Journées Réseau Mexico 21 / 36
RésultatsStatistiques Résumantes
6 statistiques (3 en 1999 et 3 en 2006)
Cible : ∑6k=1
k(Sk ;S′
k)
—k
—k : distance moyenne obtenue avec les N premiers points
Statistique Description Distance
S1 Pyramide des âges L1S2 Nombre d’habitants par commune L1S3 Solde Migratoire L1
Maxime Lenormand ABC Journées Réseau Mexico 22 / 36
RésultatsImplémentation et exécution
N = 2000
¸ = 0:5
Language : JAVA
Logiciel : OpenMOLE
Cluster de 24 noeuds
Durée : 4 jours
Maxime Lenormand ABC Journées Réseau Mexico 23 / 36
RésultatsTaux d’acceptation
0 20 40 60 80 100
0.0
0.1
0.2
0.3
0.4
0.5
0.6
Itération
Tau
x A
ccep
tatio
n
Maxime Lenormand ABC Journées Réseau Mexico 24 / 36
RésultatsSeuil de tolérance
0 20 40 60 80 100
5.0
5.5
6.0
6.5
Itération
Seu
il de
tolé
ranc
e
Maxime Lenormand ABC Journées Réseau Mexico 25 / 36
RésultatsDensité a posteriori
0.00 0.05 0.10 0.150
2
4
6
8
NbChild_Slope
0.5 1.5 2.50.00.20.40.60.81.01.2
NbChild_Intercept
0.00 0.10 0.2002468
1012
pRes
0.0 0.4 0.80123456
MakeCouple
0 5 10 15 200.000.020.040.060.080.100.12
NbJoinTrial
0.00 0.02 0.040
1020304050
Split
15 25 35 450.00
0.02
0.04
0.06
Far
0.0 0.4 0.80
1
2
3
4
dt
Maxime Lenormand ABC Journées Réseau Mexico 26 / 36
RésultatsStatistiques Résumantes 1999
Nombre d'habitants
040
000
8000
014
0000
Pyramide des âges (tranche de 5 ans)
020
0060
0010
000
0 50 100 150 200
020
040
060
080
0
Commune du Cantal (< 1000 hab.)
Commune du Cantal (< 1000 hab.)
Nom
bre
d'ha
bita
nts
0 5 10 15 20 25 30
050
0015
000
2500
0
Commune du Cantal (> 1000 hab.)
Commune du Cantal (> 1000 hab.)N
ombr
e d'
habi
tant
s
Solde Migratoire
−300
0−2
000
−100
00
Maxime Lenormand ABC Journées Réseau Mexico 27 / 36
RésultatsStatistiques Résumantes 2006
Nombre d'habitants
040
000
8000
014
0000
Pyramide des âges (tranche de 5ans)
020
0060
0010
000
0 50 100 150 200
020
040
060
080
0
Commune du Cantal (< 1000 hab.)
Commune du Cantal (< 1000 hab.)
Nom
bre
d'ha
bita
nts
0 5 10 15 20 25 30
050
0015
000
2500
0
Commune du Cantal (> 1000 hab.)
Commune du Cantal (> 1000 hab.)N
ombr
e d'
habi
tant
s
Solde Migratoire
050
015
0025
0035
00
Maxime Lenormand ABC Journées Réseau Mexico 28 / 36
RésultatsValidation ?
Distribution de la distance de navettage
0.0
0.1
0.2
0.3
0.4
0.5
0.6
Maxime Lenormand ABC Journées Réseau Mexico 29 / 36
Plan
▶ Introduction
▶ Le modèle SimVillages
▶ Approximate Bayesian Computation
▶ Adaptive Approximate Bayesian Computation
▶ Résultats
▶ Conclusion et perspectives
Maxime Lenormand ABC Journées Réseau Mexico 30 / 36
Conclusion et perspectives
Conclusion
Minimisation du nombre de simulationsDétermination "en ligne" de ›Calibration de SimVillages avec l’ABC
Perspectives
Choix des statistiques guidé par une analyse de sensibilitéABC versus OptimisationValidation/Prediction
Maxime Lenormand ABC Journées Réseau Mexico 31 / 36
R package
EasyABC
Algorithme
Algorithme de réjection▸ Pritchard et al. (1999)
Algorithme séquentiel▸ Beaumont et al. (2009)▸ Drovandi & Pettitt (2011)▸ Del Moral et al. (2012)▸ Lenormand et al. (2012)
Algorithme MCMC▸ Marjoram et al. (2003)▸ Wegmann et al. (2009)
Maxime Lenormand ABC Journées Réseau Mexico 33 / 36
R package
●
●
●
●
●
●●
● ● ● ● ● ●
●
●
●
●
●
●●
● ● ● ● ● ●
●●●●●●●●●
0.05
0.10
0.15
0.20
Number of simulations (x105)
L2
0.25 0.5 1 2 4 8 16 32
Maxime Lenormand ABC Journées Réseau Mexico 34 / 36