MathExp 2018: Chaînes de Markov Chaînes de …matrice de transition P. Classes de communication On...

MathExp 2018: Chaınes de Markov

Chaınes de Markov – definition, proprietes,algorithmes

Ana Busic

Inria Paris - DI ENS

http://www.di.ens.fr/~busic/

Saint Flour, Mai 2018

Systemes complexes

Reseaux de communications :

Centres de calcul :

Genie industriel :

Reseaux metaboliques :

Modeles markoviens

I Largement utilises - simplicite de modelisation des systemescomplexes : decrire les etats et les transitions

I Differents formalismes de haut niveau (Petri nets, StochasticAutomata Networks, . . . ) → modelisation et stockage encore plussimples : decrire differentes composantes et leurs interactions

I Probleme : l’explosion de l’espace d’etats - difficile/impossible aanalyser

I Les methodes d’etude :I Methodes analytiques (sous des hypotheses restrictives)

I Methodes numeriques (limitees par la taille de l’espace d’etats)

I Approximations (avec ou sans controle d’erreur) et bornes

I Simulation (probleme de convergence vers la limite stationnaire)

Modeles markoviens

Definition et representations

Chaınes de Markov reversibles

Comportement asymptotique et ergodicite

Matrice fondamentale

Chaınes de Markov

{Xn, n ∈ N} une suite de variables aleatoires (un processus stochastique)a valeurs dans un espace d’etats E denombrable est appele chaıne deMarkov a temps discret (CMTD) sur E si pour tout n ∈ N, pour tousi , j , i0, . . . , in−1 ∈ E ,

P(Xn+1 = j | Xn = i ,Xn−1 = in−1, . . . ,X0 = i0) = P(Xn+1 = j | Xn = i).

Si pour tout i , j ∈ E , P(Xn+1 = j | Xn = i) ne depend pas de n, laCMTD est dite homogene.

Propriete : une CMTD est un processus stochastique pour lequel le futur(Xn+1, . . .) est independant du passe (X0, . . . ,Xn−1) conditionnellementau present (Xn).

Chaınes de Markov

Representation matricielle

Les pij := P(Xn+1 = j | Xn = i) sont appeles les probabilites detransitions et la matrice (de dimension possiblement infinie)P = (pij)i,j∈E est la matrice de transition de la CMTD.

La matrice P est une matrice stochastique : la somme des coefficients surchaque ligne est egale a 1 (∀i ∈ E ,

∑j∈E pij = 1).

Soit µ0 la distribution initiale de la chaıne, µ0(i) = P(X0 = i).Alors

P(X0 = i0,X1 = i1) = P(X0 = i0)P(X1 = i1 | X0 = i0) = µ0(i0)pi0i1 .

Par recurrence on a aussi

P(X0 = i0,X1 = i1, . . . ,Xn = in) =

P(X0 = i0, . . . ,Xn−1 = in−1)P(Xn = in | X0 = i0, . . . ,Xn−1 = in−1) =

P(X0 = i0, . . . ,Xn−1 = in−1)P(Xn = in | Xn−1 = in−1) =

µ0(i0)pi0i1 . . . pin−1in .

Donc µ0 et P determinent entierement la loi de {Xn}.

Representation matricielle

Les pij := P(Xn+1 = j | Xn = i) sont appeles les probabilites detransitions et la matrice (de dimension possiblement infinie)P = (pij)i,j∈E est la matrice de transition de la CMTD.

La matrice P est une matrice stochastique : la somme des coefficients surchaque ligne est egale a 1 (∀i ∈ E ,

∑j∈E pij = 1).

Soit µ0 la distribution initiale de la chaıne, µ0(i) = P(X0 = i).Alors

P(X0 = i0,X1 = i1) = P(X0 = i0)P(X1 = i1 | X0 = i0) = µ0(i0)pi0i1 .

Par recurrence on a aussi

P(X0 = i0,X1 = i1, . . . ,Xn = in) =

P(X0 = i0, . . . ,Xn−1 = in−1)P(Xn = in | X0 = i0, . . . ,Xn−1 = in−1) =

P(X0 = i0, . . . ,Xn−1 = in−1)P(Xn = in | Xn−1 = in−1) =

µ0(i0)pi0i1 . . . pin−1in .

Donc µ0 et P determinent entierement la loi de {Xn}.

Equations de Chapman-Kolmogorov

Notons µn(i) = P(Xn = i) ; µn est la mesure de probabilite de la chaıne ala n-ieme etape.

On a µn+1(i) =∑

j∈E µn(j)pji , donc ∀n ∈ N, µn+1 = µnP et µn = µ0Pn.

Soit pij(n) = (Pn)ij . Pour tout m ∈ N, on a

P(Xm+n = j | Xm = i) =∑

i1,...,in−1∈E

pii1pi1i2 . . . pin−1j = pij(n).

Pn est la matrice de transition a n etapes et Pm+n = PmPn s’ecrit sousla forme des equations de Chapman-Kolmogorov

pij(m + n) =∑k∈E

pik(m)pkj(n) ∀m, n ∈ N.

Representation graphique

On peut representer une chaıne de Markov homogene par un grapheoriente pondere dont

I les sommets sont les etats de la chaıne et

I les arcs representent les probabilites de transitions : il y a un arc de ia j etiquete par pi,j si et seulement si pi,j 6= 0.

ExempleE = {1, 2, 3} et

1/2 1/2 01/3 1/3 1/33/4 1/4 0

Donner la representation graphique d’une chaıne de Markov avec lamatrice de transition P.

Classes de communication

On appelle classe de communication de la chaıne une composantefortement connexe de son graphe de transition.

Une chaıne de Markov est dite irreductible si elle est composee d’uneseule classe de communication (son graphe de transition est fortementconnexe).

La periode d’un etat i d’une CMTD est le pgcd des entiers{n ∈ N | pii (n) > 0}, que l’on note di . Si di = 1, alors l’etat est ditaperiodique.

Classes de communication

LemmeTous les etats d’une meme classe de communication ont la meme periode.

Demonstration.Soient i et j deux etats de la meme classe de communication. On a(equations de Chapman-Kolmogorov + positivite des matrices)

pii (m + k + n) ≥ pij(m)pjj(k)pji (n).

Prenons m et n tels que pij(m)pji (n) > 0. Alors m + n est un multiple dedi . Si k n’est pas un multiple de di , alors pii (m + k + n) est egal a 0 etdonc pjj(k) aussi. Donc di |dj . Pas symetrie, on a aussi dj |di et doncdi = dj .

Representation fonctionnelle

TheoremeLa relation de recurrence

Xn+1 = f (Xn,Zn+1), n ≥ 0

ou f : E × F → E et ou {Zn}n≥1 est une suite de v.a. dans Fdenombrable, definit une chaıne de Markov si Zn+1 est independant deX0, . . . ,Xn−1,Z1, . . . ,Zn conditionnellement a Xn.Si P(Zn+1 = k | Xn = i) est independant de n, alors la chaıne de Markovest homogene.

Cas particulier : {Zn} i.i.d. et independants de {Xn}.

Exemple : marche aleatoire sur Z. Xn = Xn−1 + Zn, ou {Zn} est i.i.d.avec P(Zn = 1) = p,P(Zn = −1) = 1− p.

Exemple : marche aleatoire sur N. Xn = (Xn−1 + Zn)+, ou {Zn} est i.i.d.avec P(Zn = 1) = p,P(Zn = −1) = 1− p.

Preuve

Demonstration. On utilise des egalites usuelles des probabilitesconditionnelles :

I P(A | B) = P(A ∩ B)/P(B) ;

I Si A = tAk , alorsP(A ∩ B) =

∑k P(Ak ∩ B) =

∑k P(Ak | B)P(B) = P(A | B)P(B).

P(Xn+1 = j | Xn = i ,Xn−1 = in−1, . . . ,X0 = i0) =

P(Xn+1 = j ,Xn = i ,Xn−1 = in−1 . . . ,X0 = i0)

P(Xn = i ,Xn−1 = in−1, . . . ,X0 = i0)=

P(f (i ,Zn+1) = j ,Xn = i , . . . ,X0 = i0)

P(Xn = i , . . . ,X0 = i0)

PreuveLes evenements {Zn+1 = k} sont disjoints, donc

P(f (i ,Zn+1) = j ,Xn = i , . . . ,X0 = i0) =∑k:f (i,k)=j

P(Zn+1 = k | Xn = i , . . . ,X0 = i0)P(Xn = i , . . . ,X0 = i0).

Par hypothese, on aP(Zn+1 = k | Xn = i , . . . ,X0 = i0) = P(Zn+1 = k | Xn = i) et donc

P(f (i ,Zn+1) = j ,Xn = i , . . . ,X0 = i0) =∑k:f (i,k)=j

P(Zn+1 = k | Xn = i)P(Xn = i , . . . ,X0 = i0)

On obtient donc

P(Xn+1 = j |Xn = i ,Xn−1 = in−1 . . . ,X0 = i0) =∑k:f (i,k)=j

P(Zn+1 = k |Xn = i) = P(Xn+1 = j |Xn = i).

Exemple : urne d’Ehrenfest

Modele idealise de diffusion a travers d’une membrane poreuse(Tatiana et Paul Ehrenfest 1907)

N particules divisees en deux compartiments, a chaque instant uneparticule est choisi de maniere uniforme et deplacee dans l’autrecompartiment.

L’etat : Xn nombre de particules dans le compartiment A a la date n.Pour n ≥ 0, on a

Xn+1 = Xn + Zn+1

avec Zn ∈ {−1, 1} et P(Zn+1 = −1|Xn = i) = i/N.

Distribution stationnaire

Soit µ = (µ(i), i ∈ E) une mesure non nulle sur E . La mesure µ est diteinvariante si µ = µP, c’est-a-dire si ∀i ∈ E ,

µ(i) ≥ 0 et µ(i) =∑j∈E

µ(j)pji .

Soit π = (π(i), i ∈ E) une distribution de probabilites sur E telle queπ = πP, c’est-a-dire telle que ∀i ∈ E ,

π(i) ≥ 0,∑j∈E

πj = 1 et π(i) =∑j∈E

π(j)pji .

La distribution π est appelee distribution (de probabilites) stationnaire deP ou de {Xn}.

Si µ0 = π, alors, pour tout n ∈ N, µn = π. On dit alors que la chaıne eststationnaire.

Chaınes de Markov

ExerciceTrouver une CMTD

1. qui n’a pas de mesure invariante ;

2. qui a une mesure invariante, mais pas de distribution stationnaire ;

3. qui a plusieurs distributions stationnaires.

ExerciceLa marche aleatoire non biaisee Xn = X0 + Z1 + Z2 + . . .+ Zn, ou {Zn}est i.i.d. avec P(Zn = 1) = P(Zn = −1) = 1/2.

1. Quel est l’espace des etats ? Montrer que c’est une chaıne deMarkov.

2. Donner le graphe de transition et sa matrice de transition

3. La chaıne est-elle irreductible ? quelle est sa periode ?

4. Existe-t-il une distribution stationnaire ? une mesure stationnaire ?

Chaınes de Markov

ExerciceTrouver une CMTD

1. qui n’a pas de mesure invariante ;

2. qui a une mesure invariante, mais pas de distribution stationnaire ;

3. qui a plusieurs distributions stationnaires.

ExerciceLa marche aleatoire non biaisee Xn = X0 + Z1 + Z2 + . . .+ Zn, ou {Zn}est i.i.d. avec P(Zn = 1) = P(Zn = −1) = 1/2.

1. Quel est l’espace des etats ? Montrer que c’est une chaıne deMarkov.

2. Donner le graphe de transition et sa matrice de transition

3. La chaıne est-elle irreductible ? quelle est sa periode ?

4. Existe-t-il une distribution stationnaire ? une mesure stationnaire ?

Soit {Xt}t≥0 une chaıne de Markov avec l’espace d’etatsS = {s1, . . . , sn} et la matrice de transition P. Une distribution deprobabilites π sur S est dite reversible si pour tout i , j ∈ {1, . . . , n},

πiPi,j = πjPj,i .

TheoremSi π est une distribution reversible, alors elle est aussi une distributionstationnaire.

Demonstration.Pour tout j ∈ {1, . . . , n}, on a

πj = πj

n∑i=1

Pj,i =n∑

πjPj,i =n∑

πiPi,j .

πiPi,j = πjPj,i .

πj = πj

n∑i=1

Pj,i =n∑

πjPj,i =n∑

πiPi,j .

πiPi,j = πjPj,i .

πj = πj

n∑i=1

Pj,i =n∑

πjPj,i =n∑

πiPi,j .

Temps inverse

TheoremSoit {Xt}t≥0 une chaıne de Markov avec l’espace d’etats S et la matricede transition P et la distribution stationnaire π reversible.

Si X0 ∼ π, alors pour tout k ∈ N et tous si0 , si1 , . . . , sik ∈ S ,

P(X0 = si0 ,X1 = . . . ,Xk = sik ) = P(X0 = sik ,X1 = sik−1 , . . . ,Xk = si0 ).

La probabilite d’un chemin dans un sens est egale a la probabilite dumeme chemin dans le sens inverse.

Exemple : Processus de naissance et de mort

Espace d’etats : E = {0, 1, . . . ,N} ; matrice de transition :

q1 r1 p1

q2 r2 p2

qi ri pi. . .

. . .. . .

qn−1 rN−1 pN−1

avec pi > 0, qi > 0, ri ≥ 0 et pi + ri + qi = 1,∀i .

C’est une chaıne reversible : πi−1pi−1 = πiqi .

On pose w0 = 1 et wi =∏i

k=1pk−1

qk, 1 ≤ i ≤ N.

Alors, πi = wi∑Ni=0 wi

est l’unique probabilite stationnaire.

q1 r1 p1

q2 r2 p2

qi ri pi. . .

. . .. . .

k=1pk−1

qk, 1 ≤ i ≤ N.

q1 r1 p1

q2 r2 p2

qi ri pi. . .

. . .. . .

k=1pk−1

qk, 1 ≤ i ≤ N.

Exemple : Processus de naissance et de mortEspace d’etats : E = N.

Le vecteur w , avec w0 = 1 et wi =∏i

k=1pk−1

qk, 1 ≤ i <∞ est toujours

une mesure invariante, mais la probabilite stationnaire existe ssi

∞∑i=0

wi <∞.

Dans ce cas, la probabilite stationnaire est unique et πi = wi∑∞i=0 wi

La chaıne est

I aperiodique ssi ∃ri > 0.

I irreductible (car pi > 0 et qi > 0,∀i).

I recurrente positive ssi∑∞

i=0 wi <∞.

Exemple : pi = p, i ≥ 0, qi = q = 1− p, ı > 0, r0 = 1− p0, ri = 0, i > 0.Nous avons wi = ( p

q )i , i > 0. Alors∑∞

i=0 wi <∞ ssi p < q. Dans ce cas,

(1− p

,∀i .

k=1pk−1

∞∑i=0

wi <∞.

La chaıne est

i=0 wi <∞.

q )i , i > 0. Alors∑∞

(1− p

,∀i .

k=1pk−1

∞∑i=0

wi <∞.

La chaıne est

i=0 wi <∞.

q )i , i > 0. Alors∑∞

(1− p

,∀i .

Exemple : marche aleatoire sur un graphe

Un graphe G = (V ,E ) avec les sommets V = {v1, . . . , vn} et les aretesE = {e1, . . . , em}. Soit di le degre du sommet vi .

Un marcheur qui est au sommet vi a l’instant t change sa position pourun sommet voisin de vi avec la meme probabilite pour tous les voisins.

Matrice de transition P :

Pi,j = 1/di , si (vi , vj) ∈ E

et sinon Pi,j = 0.

Alors,

π = (d1, . . . , dn)/(n∑

est une distribution de probabilites reversible.

et sinon Pi,j = 0.

Alors,

π = (d1, . . . , dn)/(n∑

et sinon Pi,j = 0.

Alors,

π = (d1, . . . , dn)/(n∑

et sinon Pi,j = 0.

Alors,

π = (d1, . . . , dn)/(n∑

Processus en temps retourne

Processus en temps retourneSoit {Xt} un processus stationnaire et irreductible. On construit {X ∗t } eninversant le temps :

X ∗t = Xτ−t

Remarque : τ n’est pas important, il determine uniquement l’origine pourle processus retourne.

Applications

I Permet de mieux comprendre les proprietes d’un processus.

I Les preuves plus elegantes. Exemple : thm de Burke pour les filesd’attente (le processus de departs des files plus facile a analyser).

I Parfois plus facile de ”deviner” la forme de la loi stationnaire.

En general, {X ∗t } est different de {Xt}.Exemple : processus cyclique.

Loi stationnaireThm. Suppose que {Xt} a la distribution stationnaire π, πi = P(Xt = i).Alors {X ∗t } a aussi une loi stationnaire π∗ et

π∗ = π

Preuve. πi et π∗i representent les proportions de temps que {Xt} et {X ∗t }passent en etat i . Cette proportion ne depend pas de la direction dutemps.

π∗ = π

CMH stationnaire

Prop. Le processus retourne . . . ,Xn+1,Xn,Xn−1, . . . d’une chaıne deMarkov stationnaire en temps discret . . . ,Xn−1,Xn,Xn+1, . . . est aussiune chaıne de Markov stationnaire.

Les probabilites de transitions sont

P∗i,j = P(Xn = j |Xn+1 = i) =πjPj,i

Processus reversible

Def. Si les processus {Xn} et {X ∗n } sont statistiquementnon-distinguables, on dit que {Xn} est reversible (en temps).

(Xt1 ,Xt2 , . . . ,Xtn) ∼ (X ∗τ−t1,X ∗τ−t2

, . . . ,X ∗τ−tn)

pour tout n, τ et t1, . . . , tn.

Intuitivement : un spectateur ne peut pas dire si le ”film” est projete enavant ou en arriere.

CMH reversible

p∗i,j = pi,j ,∀i , j , i.e. πipi,j = πjpj,i ,∀i , j

Equations de balance detaillee : les flots de probabilite entre deux etatssont en equilibre.

I Balance detaillee ⇒ balance globale

I Si les conditions de balance detaillee sont verifiees pour un vecteur πpositif et tel que

∑i πi <∞, alors π normalise tel que

∑i π = 1 est

la loi stationnaire.

I Mais balance globale 6⇒ balance detaillee (tous les processus deMarkov ne sont pas reversibles).

Exemple : les arbres sont reversibles

Prop. Si une CMH est reversible, alors son graphe de transition estsymetrique.

Prop. Si le graphe de transition non-oriente d’une CMH est un arbre,alors elle est reversible.

Preuve. En utilisant la balance detaillee.

Cor. Tous les CMH de naissance et de mort sont reversibles.

Troncation d’un processus reversible

Soit {Xn} une CMH avec l’espace d’etats E et la loi stationnaire π. SoitE ′ ⊂ E . CMH tronque {X ′n} defini par :

p′i,j = pi,j , i , j ∈ E ′; p′i,i = 1−∑j 6=i

Prop. Si {X ′n} est irreductible, alors {X ′n} est reversible et sa distributionstationnaire est

π′i =πi∑

j∈E′ πj

Temps d’arret

DefinitionSoit τ une v. a. sur N ∪ {∞}. τ est un temps d’arret du processusstochastique {Xn, n ∈ N} si pour tout k ≥ 0, l’evenement {τ = k}s’exprime en fonction de X0, . . . ,Xk :

{τ = k} = t(i0,...,ik )∈Bk{X0 = i0, . . . ,Xk = ik}, avec Bk ⊂ Ek+1,

ou t denote l’union disjointe.

Exemples

1. τ = n0, ou n0 est une constante non aleatoire.

2. Temps de retour en F ⊂ E :

TF = inf{n ≥ 1 | Xn ∈ F} (+∞ si ∀n ∈ N∗,Xn 6∈ F ).

{TF = k} s’exprime comme {X1 6∈ F , . . . ,Xk−1 6∈ F ,Xk ∈ F}.3. Temps d’atteinte de F :

T ′F = inf{n ≥ 0 | Xn ∈ F} (+∞ si ∀n ∈ N,Xn 6∈ F ).

Propriete de Markov forte

τ un temps d’arret pour {Xn, n ∈ N}, deux nouveaux processus :

I le processus avant τ : {Xn∧τ} ;

I le processus apres τ : {Xn+τ} (si τ =∞,X∞ = i∗ 6∈ E).

Theoreme (propriete de Markov forte)Soit {Xn, n ∈ N} une chaıne de Markov sur E et τ un temps d’arretpresque surement fini pour X . Alors,

1. ∀i ∈ E , {Xτ+n, n ≥ 0} et {Xτ∧n, n ≥ 0} sont independants cond. a{Xτ = i} : ∀n, k ∈ N,∀i0, . . . , in, j1, . . . , jk ∈ E , on a

P(Xτ+1 = j1, . . . ,Xτ+k = jk |Xτ = i ,X0∧τ = i0, . . . ,Xn∧τ = in) =

P(Xτ+1 = j1, . . . ,Xτ+k = jk |Xτ = i).

2. Etant donne {Xτ = i}, i ∈ E , {Xτ+n, n ≥ 0} est une CMH a valeursdans E de meme matrice de transition que X et d’etat initial i :

P(Xτ+1 = j1, . . . ,Xτ+k = jk |Xτ = i) = pij1pj1j2 . . . pjk−1jk .

Methode du pas en avant

TheoremeSoit {Xn} une CMH de matrice de transition P, F ⊂ E etTF = inf{n ≥ 0 | Xn ∈ F}.m(i) := E[TF | X0 = i ], i ∈ E (temps moyen d’atteinte de F ). Alors

m(i) =

∑j∈E pijm(j), i 6∈ F

0, i ∈ F .

Demonstration. Soit Yn = Xn+1. Si X0 6∈ F , alors TF ({Xn}) = 1 + TF ({Yn}) et donc,si i 6∈ F ,

E(TF ({Xn}) |X0 = i) = E(TF ({Yn}) + 1 |X0 = i)

= 1 +∑j∈E

E(TF ({Yn})1X1=j |X0 = i)

= 1 +∑j∈E

E(TF ({Yn}) |Y0 = j)P(X1 = j |X0 = i)

= 1 +∑j∈E

pijm(j).

Methode du pas en avant

TheoremeSoit {Xn} une CMH de matrice de transition P, F ⊂ E etTF = inf{n ≥ 0 | Xn ∈ F}.m(i) := E[TF | X0 = i ], i ∈ E (temps moyen d’atteinte de F ). Alors

m(i) =

∑j∈E pijm(j), i 6∈ F

0, i ∈ F .

Demonstration. Soit Yn = Xn+1. Si X0 6∈ F , alors TF ({Xn}) = 1 + TF ({Yn}) et donc,si i 6∈ F ,

E(TF ({Xn}) |X0 = i) = E(TF ({Yn}) + 1 |X0 = i)

= 1 +∑j∈E

E(TF ({Yn})1X1=j |X0 = i)

= 1 +∑j∈E

E(TF ({Yn}) |Y0 = j)P(X1 = j |X0 = i)

= 1 +∑j∈E

pijm(j).

Classification des etats

Notation

I Pi (A) = P(A |X0 = i).

I Ni =∑∞

n=1 1Xn=i le nombre de visites de X dans l’etat i

I fij la probabilite d’acceder en j en partant de i(fij = P(Tj <∞|X0 = i) = Pi (Tj <∞), avec Tj le tempsd’atteinte de j).

Le temps moyen de retour en i : m(i) = Ei (Ti ).

1/m(i) la frequence moyenne de retour en i (nulle si m(i) =∞).

DefinitionUn etat est dit

I transitoire si Pi (Ti =∞) > 0 ;

I recurrent si Pi (Ti =∞) = 0.

Un etat recurrent est dit :

I recurrent positif si Ei (Ti ) <∞ ;

I recurrent nul si Ei (Ti ) =∞.

Notation

I Pi (A) = P(A |X0 = i).

I Ni =∑∞

Notation

I Pi (A) = P(A |X0 = i).

I Ni =∑∞

On a les equivalences suivantes :

Theoreme

fii = 1 i.e. i est recurrent ⇔ Pi (Ni =∞) = 1⇔ Ei (Ni ) =∞.

fii < 1 i.e. i est transitoire ⇔ Pi (Ni <∞) = 1⇔ Ei (Ni ) <∞.

Le critere i recurrent ⇔ Ei (Ni ) =∞ est le critere de la matrice potentiel.

δij +Ei (Nj) = E(∑n≥0

1Xn=j |X0 = i) =∑n≥0

P(Xn = j |X0 = i) =∑n≥0

pij(n).

La matrice potentiel est G =∑

n≥0 Pn. Un etat i est donc recurrent si et

seulement si Gii =∞.

Propriete de classe

TheoremeSi i et j sont deux etats de la meme classe de communication, alors i et jsont tous les deux soit recurrents, soit transitoires.

Propriete de classe : permet de parler de classe recurrente/transitoire etde chaıne recurrente/transitoire pour les chaınes irreductibles.

Demonstration. Soient i et j deux etats de la meme classe decommunication. Alors il existe n,m ∈ N tels que pij(m)pji (n) = α > 0.Alors

pii (n + `+ m) ≥ pij(m)pjj(`)pji (n) = αpjj(`)

pjj(n + `+ m) ≥ pji (n)pii (`)pij(m) = αpjj(`).

Donc∑`∈N pii (`) et

∑`∈N pjj(`) convergent ou divergent tous les deux

(en utilisant le critere de la matrice potentiel).

Propriete de classe

Classes transitoires

LemmeSi i et j sont deux etats d’une meme classe transitoire, alorslimn→∞ pij(n) = 0.

Demonstration. ∃k t.q. pij(k) = α > 0 etpii (n) ≥ pij(k)pji (n− k) = αpji (n− k). D’apres le critere de la matrice depotentiel, pii (n)→ 0 (la serie converge). Donc pji (n − k)→ 0.

Cas des chaınes non irreductiblesLes classes non terminales sont necessairement transitoires : une foisqu’on soit d’une telle classe, on ne peut plus y revenir.

Si i est un etat d’une classe non terminale tel que pij > 0 et j n’est pasdans cette classe, alors fii ≤ 1− pij < 1.

Classes transitoires

LemmeSi i et j sont deux etats d’une meme classe transitoire, alorslimn→∞ pij(n) = 0.

Demonstration. ∃k t.q. pij(k) = α > 0 etpii (n) ≥ pij(k)pji (n− k) = αpji (n− k). D’apres le critere de la matrice depotentiel, pii (n)→ 0 (la serie converge). Donc pji (n − k)→ 0.

Cas des chaınes non irreductiblesLes classes non terminales sont necessairement transitoires : une foisqu’on soit d’une telle classe, on ne peut plus y revenir.

Si i est un etat d’une classe non terminale tel que pij > 0 et j n’est pasdans cette classe, alors fii ≤ 1− pij < 1.

Mesure invariante canonique

{Xn} une CMH irreductible et recurrente ;0 ∈ E et T0 le temps de retour en 0.

Notation :

I Pour tout i ∈ E , Zi =∑

n>0 1Xn=i1n≤T0 , le nombre de visites en ientre le temps 0 (exclus) et T0 inclus.En particulier, Z0 = 1.

I xi := E0(Zi ) (on a x0 = 1).

TheoremePour toute chaıne de Markov irreductible et recurrente, x = (xi , i ∈ E)est une mesure invariante telle que 0 < xi <∞, i ∈ E .

S’il existe une mesure invariante, la chaıne n’est pas necessairementrecurrente ! (e.g. marche aleatoire non symetrique)

Notation :

I xi := E0(Zi ) (on a x0 = 1).

Notation :

I xi := E0(Zi ) (on a x0 = 1).

Distribution stationnaire et recurrence positive

TheoremeUne chaıne irreductible est recurrente positive si et seulement si elleadmet une probabilite stationnaire.

Demonstration.⇒ Si une chaıne est irreductible et recurrente, alors elle admet unemesure invariante x = (xi ), xi = E0(Zi ). De plus,∑

xi =∑i∈E

E0(Zi ) = E0(∑i∈E

Zi ) = E0(T0).

Par definition de la recurrence positive, cette quantite est finie.

TheoremeUne chaıne irreductible est recurrente positive si et seulement si elleadmet une probabilite stationnaire.

Demonstration.⇒ Si une chaıne est irreductible et recurrente, alors elle admet unemesure invariante x = (xi ), xi = E0(Zi ). De plus,∑

xi =∑i∈E

E0(Zi ) = E0(∑i∈E

Zi ) = E0(T0).

Par definition de la recurrence positive, cette quantite est finie.

⇐ Soit une chaıne admettant une probabilite stationnaire π.

On a π = πPn et πi =∑

j∈E πjpji (n) pour tout n ∈ N.

Si la chaıne etait transitoire, on aurait pij(n)→ 0 par le critere de lamatrice potentiel pour tout i , j , et donc on aurait πi = 0. La chaıne estdonc recurrente.

Comme la mesure invariante est unique a un multiple pres, on a∑xi <∞, et donc E0(T0) <∞.

Ceci est vrai pour tous les etats par symetrie. La chaıne est doncrecurrente positive.

On a montre en meme temps que la recurrence positive est une proprietede classe.

Temps moyen de recurrence

Soit {Xn} une CMH irreductible et recurrente positive de probabilitestationnaire π. On a, ∀i ∈ E ,

πi =1

Ei (Ti ).

En effet, d’apres les theoremes et preuves precedents,∑

i∈E xi = E0(T0)et x0 = 1. Donc π0 = 1/E0(T0).

Espace d’etats fini

TheoremeUne CMH irreductible ayant un nombre fini d’etats est recurrentepositive.

Demonstration.On montre d’abord la recurrence. Nous avons∑

pij(n) = 1,

et donc limn→∞∑

j∈E pij(n) = 1.

Si la chaıne etait transitoire, on aurait pij(n)→ 0, pour tout i , j , par lecritere de la matrice potentiel.

Puisque |E| <∞, on aurait limn→∞∑

j∈E pij(n) = 0, ce qui est encontradiction. Donc la chaıne est recurrente.

La chaıne admet une mesure invariante x telle que 0 < xi <∞, ∀i .Puisque |E| <∞, nous avons

∑i∈E xi <∞ et donc la chaıne admet une

probabilite stationnaire. Donc la chaıne est recurrente positive.

Espace d’etats fini

TheoremeUne CMH irreductible ayant un nombre fini d’etats est recurrentepositive.

Demonstration.On montre d’abord la recurrence. Nous avons∑

pij(n) = 1,

et donc limn→∞∑

j∈E pij(n) = 1.

Si la chaıne etait transitoire, on aurait pij(n)→ 0, pour tout i , j , par lecritere de la matrice potentiel.

Puisque |E| <∞, on aurait limn→∞∑

j∈E pij(n) = 0, ce qui est encontradiction. Donc la chaıne est recurrente.

La chaıne admet une mesure invariante x telle que 0 < xi <∞, ∀i .Puisque |E| <∞, nous avons

∑i∈E xi <∞ et donc la chaıne admet une

probabilite stationnaire. Donc la chaıne est recurrente positive.

Le theoreme ergodique

Hypothese : CMH irreductible et recurrente.

I Mesure invariante µ ( unique a un facteur multiplicatif pres),

µ(i) = E0(∑T0

n=1 1Xn=i ).

I ν(n) :=∑n

k=1 1Xk=0, le nombre de passages en 0 entre les temps 1et n.

TheoremeSoit {Xn} une CMH, irreductible et recurrente. Pour toute fonctionf : E → R verifiant la condition d’integrabilite (

∑i∈E |f (i)|µ(i) <∞), on

a presque surement, et pour toute loi initiale :

limn→∞

n∑k=1

f (Xk) =∑i∈E

f (i)µ(i).

Le theoreme ergodique

CorollaireSi la chaıne {Xn} est irreductible et recurrente positive, alors, presquesurement et pour toute loi initiale,

limn→∞

n∑k=1

f (Xk) =∑i∈E

f (i)π(i).

ou π est la distribution stationnaire.

Demonstration.On rappelle qu’on a ∀i ∈ E , π(i) = (

∑j∈E µ(j))−1µ(i). On a

limn→∞

n∑k=1

f (Xk) = limn→∞

n∑k=1

f (Xk)

Si on applique le theoreme a la fonction egale a 1 partout (integrable, carpositive recurrence), on obtient : limn→∞

nν(n)

j∈E µ(j). En appliquant letheoreme a la fonction f , on obtient le resultat souhaite.

Le theoreme Kolmogorov

DefinitionUne CMH irreductible, recurrente positive et aperiodique est diteergodique.

TheoremeSi {Xn} est une CM ergodique, alors

∀i , j ∈ E , limn→∞

pij(n) = π(j),

ou π est l’unique distribution stationnaire de la chaıne.

Demonstration : En exercice.

Idee de demonstration :

I Soient {X 1n } et {X 2

n } deux CMH, definies sur le meme espace desetats, et de meme matrice de transition P, de periode 1,irreductibles et recurrentes positives. Montrer que la chaıne produitZn = (X 1

n ,X2n ) est une CMH irreductible et recurrente positive.

DefinitionUne CMH irreductible, recurrente positive et aperiodique est diteergodique.

TheoremeSi {Xn} est une CM ergodique, alors

∀i , j ∈ E , limn→∞

pij(n) = π(j),

ou π est l’unique distribution stationnaire de la chaıne.

Demonstration : En exercice.

Idee de demonstration :

I Soient {X 1n } et {X 2

n } deux CMH, definies sur le meme espace desetats, et de meme matrice de transition P, de periode 1,irreductibles et recurrentes positives. Montrer que la chaıne produitZn = (X 1

n ,X2n ) est une CMH irreductible et recurrente positive.

I En deduire que τ , la premiere date n a laquelle X 1n = X 2

n est presquesurement fini.

I Montrer que le processus couplee {Xn} :

{X 1n , n ≤ τ

X 2n , n ≥ τ

est une CMH, et qu’elle a meme matrice de distribution P.

I Montrer que P(X 2n = i) ≤ P(Xn = i) + P(n < τ).

I Soit µ la distribution initiale de X 1 et ν celle de X 2. Montrer que|(νPn − µPn)i | ≤ P(n < τ).

I En deduire le theoreme de Kolmogorov.

Cas periodique

Si la chaıne est de periode d , alors on a pij(nd) 6= 0 si i et j sont dans lameme classe (et a partir d’un certain rang, c’est vrai pour tout n).

La chaıne Yn = Xnd est irreductible de periode 1 et recurrente positive(matrice de transition Pd restreinte a la classe de communication.

Le theoreme ergodique donne :∑

i∈C π(i) = 1/d .

Soit π la probabilite stationnaire sur la classe de communication C. On aπ(i) = dπ(i) et Kolmogorov donne limn→∞ pij(n) = dπ(j).

La matrice fondamentale d’une CMH ergodique avec un espace d’etatsfini E = {1, . . . , r} et distribution stationnaire π est la matrice

Z = (I − (P− Π))−1,

Π = 1tπ =

π(1) · · · π(r)π(1) · · · π(r)

......

π(1) · · · π(r)

TheoremeZ = I +

∑n≥1(Pn − Π). En particulier,

∑j Zij = 1.

DemonstrationOn note que

ΠP = Π (car πP = π et Π = 1tπ),

PΠ = Π (car P1t = 1t et Π = 1tπ),

Π2 = Π (car Π = 1tπ et π1t = 1).

En particulier, pour k ≥ 1, PΠk = Π = ΠkP et

(P− Π)n =n∑

)(−1)n−kPkΠn−k

= Pn + (n−1∑k=0

)(−1)n−k)Π = Pn − Π

Alors, pour A = P− Π,

(I − A)(I + A + A2 + · · ·+ An−1) = I − An = I − Pn + Π.

Quand n→∞, (I − A)(I +∑

n≥1 An) = I , ce qui montre que

I − (P− Π) est inversible, avec inverse

I +∑n≥1

(P− Π)n = I +∑n≥1

(Pn − Π).

Une extension

TheoremeP la matrice de CMH ergodique avec un espace d’etats fini E . Soit b unvecteur tel que

b1t 6= 0,

Alors Z = (I − P + 1tb)−1 existe et π = bZ .

Demonstration. Puisque π1t = 1 et π(I − P) = 0,

π(I − P + 1tb) = π1tb = b, (1)

et donc pour tout vecteur x tel que

(I − P + 1tb)x t = 0,

on a bx t = 0 et (I − P)x t = 0. Donc x doit etre un vecteur propre adroite, associe a la valeur propre λ1 = 1, et donc x est un multiple de 1(par le theoreme de Perron-Frobenius). Ceci est compatible avec bx t = 0et b1t 6= 0 seulement si x = 0. Donc (I − P + 1tb) est inversible et (1)implique le resultat.

Theoreme de Perron-Frobenius

Matrice T = (Tij) est

I positive si Tij ≥ 0, ∀i , j . Notation : T ≥ 0.

I strictement positive si Tij > 0, ∀i , j . Notation : T > 0.

Def. Une matrice carree T ≥ 0 est dite primitive si ∃k > 0 tq. T k > 0.

Thm. (Perron-Frobenius) Soit T une matrice positive et primitive. Alorsil existe une valeur propre r tq.

1. r ∈ R∗+, i.e. r > 0 ;

2. a r sont associes des vecteurs propres a gauche et a droitestrictement positifs ;

3. r > |λ| pour toute valeur propre λ 6= r ;

4. les vecteurs propres associes a r sont uniques a une constantemultiplicative pres.

Les temps d’atteinte

Notation

I Pour une matrice carree B on note d(B) la matrice diagonale qui ala meme diagonale que la matrice B.

En particulier, (d(Π)−1)(i , i) = π(i)−1.

I M = (mij)1≤i,j≤r , avec mij = Ei (Tj).

I 1t1 est une matrice avec tous les elements 1.

TheoremeM = (I − Z + 1t1d(Z ))d(Π)−1.

TheoremeSoit Z la matrice fondamentale defini a partir d’un vecteur b. Alors pourtout i 6= j ,

Ei (Tj) =zjj − zijπ(j)

Variance asymptotique

Soit {Xn} une CHM avec l’espace d’etats fini E = {1, . . . , r} etf : E → R. On va representer f par un vecteur colonnef = (f (1), . . . , f (r)).

Le theoreme ergodique implique que 1n

∑nk=1 f (Xk) est un estimateur

asymptotiquement sans biais de < f >π:= Eπ[f (X0)].

TheoremePour une distribution initiale quelconque µ,

limn→∞

n∑k=1

f (Xk)) = 2 < f ,Zf >π − < f , (I + Π)f >π,

ou Vµ denote que la variance est calculee par rapport a Pµ.

Intermede

Matrice stochastique P irreductible aperiodique

Methode de puissances :zk = zk−1P avec z0 un vecteur stochastique initial arbitraire

Convergence vers π ; taux de convergence |λ2| (tres lent si proche de 1).

Question : utiliser la multiplication vecteur-matrice ou puissances dematrices ?

zk = zk−1P vs. zk = z0Pk

m produits de matrices pour P2m

vs. 2m produits vecteur-matrice ?

Calcul naıf : utiliser puissances de matrices si

nm < 2m (mn3 < 2mn2)

Attention : si P tres large et creux, produit matrice-vecteur : nz , nombredes elements non-nuls de P.

Problemes memoire pour les produits de matrices.

Intermede

nm < 2m (mn3 < 2mn2)

Intermede

nm < 2m (mn3 < 2mn2)

Theoreme de Perron-Frobenius

Matrice T = (Tij) est

I positive si Tij ≥ 0, ∀i , j . Notation : T ≥ 0.

I strictement positive si Tij > 0, ∀i , j . Notation : T > 0.

Def. Une matrice carree T ≥ 0 est dite primitive si ∃k > 0 tq. T k > 0.

Thm. (Perron-Frobenius) Soit T une matrice positive et primitive. Alorsil existe une valeur propre r tq.

1. r ∈ R∗+, i.e. r > 0 ;

2. a r sont associes des vecteurs propres a gauche et a droitestrictement positifs ;

3. r > |λ| pour toute valeur propre λ 6= r ;

4. les vecteurs propres associes a r sont uniques a une constantemultiplicative pres.

Theoreme de Perron-FrobeniusDemonstration

(Notation : les vecteurs sont des vecteurs colonnes.)

Pour x ≥ 0 avec x 6= 0, on definit

r(x) = minj

∑i xiTij

avec∑

i xiTij

xj:=∞ si xj = 0.

Lemme 1. 0 ≤ r(x) <∞Preuve. Consequence directe de l’hypothese que x ≥ 0 et x 6= 0.

Lemme 2. r(x) est uniformement borne en x, i.e. ∃K ≥ 0 tq.r(x) ≤ K ,∀x .

Preuve.

r(x)xj ≤∑i

xiTij pour tout j

r(x)xt ≤ xtT

r(x)xt1 ≤ xtT1

Pour K = maxi∑

j Tij , on a T1 ≤ K1 et

r(x) ≤ xtK1

xt1= K .

r := supx≥0, x 6=0

r(x) = supx≥0, x 6=0

∑i xiTij

Lemme 3. 0 < r ≤ K .

Preuve. T est primitive ⇒ T ne contient pas de colonne nulle⇒ r(1) > 0. Donc,

0 < r(1) ≤ r ≤ K .

On peut normaliser x sans affecter r , donc

0 < r = supx≥0, xtx=1

r(x) = supx≥0, xtx=1

∑i xiTij

xj≤ K .

L’ensemble {x ≥ 0, xtx = 1} est un compact de Rn.

La fonction r est semi-continue superieurement (i.e.lim supx→x0

r(x) ≤ r(x0)).

⇒ r atteint sa borne superieure.

⇒ ∃ x ≥ 0, 6= 0 tq. ∑i

xiTij ≥ r xj , pour tout j , (2)

et avec egalite pour au moins un j .

Lemme 4. x est un vecteur propre a gauche pour T associe a la valeurpropre r .

Preuve. Soit zt := xtT − r xt ≥ 0t . Supposons par absurde que z 6= 0.Par hypothese, T est primitive, et donc ∃k tq. T k > 0. Donc

ztT k = xtTT k − r xtT k = xtT kT − r xtT k > 0t .

Posons yt = xtT k . Alors∑i

yiTij > ryj pour tout j ,

ce qui est une contradiction avec la definition de r . Donc, z = 0 etxtT = r xt

En iterant xtT = r xt , on a xtT k = rk xt

En choisissant T k > 0, et comme x ≥ 0, 6= 0, on a xtT k > 0t et doncx > 0.

r > |λ| pour toute valeur propre λ 6= r :

Soit λ une valeur propre de T , c.a.d. pour un x 6= 0 (ayant des valeurspossiblement complexes), xtT = λxt . En prenant le module on a pour|x| := (|xi |)i , ∑

|xi |Tij ≥ |λ||xj |,

donc |λ| ≤ r (par definition de r).

Supposons par l’absurde que |λ| = r , on a alors |x|tT ≥ r |x|t . Par leraisonnement similaire que pour (2), |x|tT = r |x|t > 0.On a

xiTkij | = |λk ||xj | =

|xi |T kij

et |xj | > 0, ∀j .Pour deux complexes z, z′ 6= 0, si |z + z′| = |z|+ |z′| alors z et z′ sontcolineaires. Donc tous les xj sont colineaires et∑

|xi |Tij = λ|xj |.

Comme |xj | > 0 pour tout j , λ est reel positif et donc λ = r .

Les vect. propres associes a r sont uniques a une constante multip. pres.

Soit y 6= 0 un vecteur propre a gauche associe a r . Pour tout c , levecteur η = x− cy (si pas nul) est un vect. propre a gauche associe a r

⇒ Si y n’est pas un multiple de x, on peut choisir c tq. η 6= 0 mais quecertaines composantes de η soient nulles.

Or par argument precedent, |η| est un vecteur propre associe a r et|η| > 0.

En contradiction avec le fait que y et x ne soient pas multiples.

Vecteurs propres a droite

Tous les arguments peuvent etre repetes pour les vecteurs propres adroite, pour une valeur propre r ′. Le point 3 montre que r ′ = r , enobservant que le spectre d’une matrice et sa transpose sont egaux.

MathExp 2018: Chaînes de Markov Chaînes de …matrice de transition P. Classes de communication On...

Documents

Transcript of MathExp 2018: Chaînes de Markov Chaînes de …matrice de transition P. Classes de communication On...