Chaînes de Markov (et applications) - UFR...

Chaînes de Markov (et applications)

Raphael Lachieze-Rey∗

26 janvier 2017

M1 Paris Descartes.

Table des matières0.1 Espérances et probas conditionnelles . . . . . . . . . . . . . . . . 30.2 Familles sommables et théorème de Fubini . . . . . . . . . . . . . 3

1 Chaînes de Markov homogènes 41.1 Exemples et définitions . . . . . . . . . . . . . . . . . . . . . . . 41.2 Loi des Xn . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8

2 Temps d’absorption 132.1 Temps d’arrêt . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 132.2 Probabilités et temps d’absorptions . . . . . . . . . . . . . . . . . 16

3 Classification des états 203.1 Récurrence et transience . . . . . . . . . . . . . . . . . . . . . . . 22

4 Distributions invariantes 274.1 Convergence à l’équilibre . . . . . . . . . . . . . . . . . . . . . . . 374.2 Théorème ergodique . . . . . . . . . . . . . . . . . . . . . . . . . 414.3 Arithmétique et chaîne de Markov . . . . . . . . . . . . . . . . . 454.4 Marche aléatoire sur un graphe. . . . . . . . . . . . . . . . . . . . 48

5 Chaines de Markov et simulation 525.1 Algorithme Hit-and-run . . . . . . . . . . . . . . . . . . . . . . . 525.2 Algorithme de Metropolis . . . . . . . . . . . . . . . . . . . . . . 53

6 Chaînes de Markov en temps continu, processus de Poisson 556.1 Lois sans mémoire . . . . . . . . . . . . . . . . . . . . . . . . . . 556.2 Processus de Poisson . . . . . . . . . . . . . . . . . . . . . . . . . 566.3 Générateur infinitésimal . . . . . . . . . . . . . . . . . . . . . . . 576.4 Processus de Poisson composé . . . . . . . . . . . . . . . . . . . 57

∗[email protected]

1

7 Modèles de Markov cachés 597.1 Estimation par maximum de vraisemblance . . . . . . . . . . . . 607.2 Algorithme EM . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61

7.2.1 Condition de Doeblin . . . . . . . . . . . . . . . . . . . . 63

8 Sujet d’examen 638.1 Juin 2011 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63

2

Ressource d’exercices en ligne :http://wims.unice.fr/wims/fr_U2~proba~oefmarkov.fr.htmlEn noir : l’essentielEn magenta : exemples, explications, exercices...

Rappels

0.1 Espérances et probas conditionnellesOn rappelle la formule de probabilités conditionnelles : P(A|B) = P(A ∩

B)/P(B), pour P(B) 6= 0. On note parfois PB(A) = P(A|B), rappelons quePB(·) est une mesure de probabilités à part entière.

Le double conditionnement se traite ainsi :

P(A ∩B ∩ C) = P(A ∩B|C)P(C) = PC(A ∩B)P(C) = PC(A|B)PC(B)P(C) = P(A|B,C)P(B|C)P(C).

Autrement dit,

“P(A|B|C)′′ = P(A|B ∩ C)

Etant donné des variables aléatoires X et Y ,

E(X|Y ) = ϕ(Y )

est une variable aléatoire qui est entièrement déterminée par Y . Par exemple,si X,Y sont des variables de Bernoulli de paramètre 1/2 indépendantes,

E((X + Y )2|Y ) = E(X2|Y ) + 2E(XY |Y ) + E(Y 2|Y ) = EX2 + 2Y EX + Y 2 =1

2+ Y + Y 2 = ϕ(Y ).

0.2 Familles sommables et théorème de FubiniEtant donné un espace mesuré (Ω, µ) et une fonction f : Ω→ R, on ne peut

pas toujours donner un sens à ∫Ω

f(x)µ(dx),

cette quantité n’a de sens que si

∫Ω

|f(x)|µ(dx) <∞

c’est-à-dire si f est intégrable. (exemple de x 7→ sin(x)x sur R). Par contre, si

f > 0, alors ∫Ω

f(x)µ(dx) ∈ R+ ∪ +∞

3

est défini sans ambiguité. De même, étant donné une série (an;n ∈ N),

∞∑n=0

an

n’a de sens que si an > 0 ou si (an;n > 0) est sommable, c’est-à-dire

∞∑n=0

|an| <∞.

Pour ce qui est de l’interversion, le théorème de Fubini nous dit que pour unefonction bi-mesurable f(x, y) sur un produit d’espaces mesurés Ω× Ω′,∫

Ω

(∫Ω′f(x, y)µ(dx)

)µ′(dy) =

∫Ω′

(∫Ω

f(x, y)µ′(dy)

)µ(dx)

n’est vrai que si f(x, y) > 0 ou si∫Ω×Ω′

|f(x, y)|µ(dx)µ′(dy) <∞

ou si, de manière équivalente,∫Ω

(∫Ω′|f(x, y)|µ(dx)

)µ(dy) <∞.

Les fonctions positives peuvent être intégrées dans l’ordre qu’on veut. Si µ estune mesure de probabilité, Ω′ = N et µ′ est la mesure de comptage, ça nousdonne

E∑n∈N

f(ω, n) =∑n∈N

Ef(ω, n)

sans besoin de justification si f(ω, n) > 0, ou si

E∑n∈N|f(ω, n)| =

∑n∈N

E|f(ω, n)| <∞.

1 Chaînes de Markov homogènes(Ω,P) est un espace probabilisé.

1.1 Exemples et définitionsIdée : Une chaîne de Markov est une suite d’événements aléatoires dans le

temps ou conditionnellement au présent, le futur ne dépend pas dupassé, ou autrement dit le futur ne dépend du passé que par le présent.

4

Exercice 1.Parmi les exemples suivants, lesquels correspondent a une chaîne de Markov ?

— Les records du monde du 100m— La population mondiale— La position d’une voiture (car le passé nous renseigne sur sa vitesse, et

donc sur sa position future)— Le nombre de personnes dans une file d’attente— Un marcheur aléatoire qui ne revient jamais sur ses pas.— Le couple (position, vitesse) d’une voiture de course— une marche aléatoire

Définition 1. Formellement, soit E un espace fini ou dénombrable. Ce seral’espace d’états. Soit X = Xn;n ≥ 0 une suite de variables aléatoires à va-leurs dans E. On dit que X est une chaîne de Markov si, pour tout x1, . . . , xn+1 ∈E, on a

P(Xn+1 = xn+1︸︷︷︸Le futur

| X1 = x1, X2 = x2, . . . , Xn = xn︸︷︷︸Le passé (et le présent)

) = P(Xn+1 = xn+1︸︷︷︸Le futur

| Xn = xn︸︷︷︸Le présent

)

Cette propriété des chaînes de Markov est aussi connue comme propriétéde Markov.

Exemple 1. Modélisation— Séquence d’ADN : ACGGTAACTC... peut-être vue en première approxi-

mation comme une chaine de Markov— Evolution de population : Chaque jour, un individu nait ou un individu

meurt— Généalogie/Epidémiologie : Chaque jour, un individu donne naissance

(ou contamine) un nombre aléatoire d’individu, ou meurt (guérit)— Intelligence artificielle : Le programme Alpha Go modélise le jeu de go

comme une chaîne de Markov, et évalue les probabilités de jeu de sonadversaire, en explorant plus les branches les plus probables (Markovtree).

— Simulation. Exemple : jeu de cartes mélangé. On part d’un jeu de cartes(fictif) dans l’ordre, et à chaque coup on applique l’interversion de 2cartes tirées au hasard. La “loi” du jeu de cartes converge vers la loi d’unjeu de cartes mélangé selon une permutation uniforme

Les questions auxquelles on va tenter de répondre dans ce cours :— Conaissant la loi de X0, quelle est la loi de Xn, n ∈ N ? La loi de Xn

converge-t-elle ?— Partant d’un certain x ∈ E, et pour y ∈ E, quelle est la proba que la

chaine passe par y, i.e. qu’il existe un temps T <∞, aléatoire, pour queXT = y ? Quel est l’espérance de T ?

— ...

Exercice 2. Soit Rn, n ≥ 0 des variables indépendantes à valeurs dans E = N.Montrer que Sn =

∑ni=1Ri et Pn =

∏ni=1Ri sont des chaînes de Markov.

5

Une chaîne de Markov peut être vue comme un système dynamique, cequi veut dire que Xn+1 = fn(Xn), ou fn est une “transformation aléatoire”indépendante du passé. Dans l’exemple précédent, fn(Xn) est la somme (ou leproduit) de Xn avec Rn+1.

Si la transformation aléatoire fn ne dépend pas de n, i.e. Xn+1 = f(Xn)pour tout n pour une certaine transformation f , on dit que X est une chaînede Markov homogène.

Cela veut dire que si à un certain instant n ≥ 0 la chaîne se trouve à l’étatx (Xn = x), alors la probabilité qu’elle se trouve à l’état y au temps n + 1 estla même que si l’on était au temps initial.

Définition 2. Une chaîne de Markov est homogène si pour tout n ≥ 0, x et ydans E

P(Xn+1 = y |Xn = x) = P(X1 = y |X0 = x).

Dans ce cas, on pose

Q(x, y) = P(X1 = y |X0 = x), x, y ∈ E.

Q est la matrice de transition de la chaîne X.

Dans ce cours, toutes les chaîne de Markov sont supposées homogènes.

Remarque 1. C’est éventuellement une matrice infinie

Une chaîne de Markov homogène “saute” donc aléatoirement d’états en états,et la probabilité de chaque saut est donnée par la matrice Q.

Exemple 2. Une grenouille monte sur une échelle. Chaque minute, elle peutmonter d’un barreau avec probabilité 1/2, ou descendre d’un barreau avec pro-babilité 1/2. L’échelle a 5 barreaux. Si la grenouille arrive tout en haut, ellesaute immédiatement en bas de l’échelle et recommence.

On appelle Xn la position de la grenouille sur l’échelle. L’espace d’étatsest donc E = 0, 1, 2, . . . , 5. Si a un instant n la grenouille est au niveaux ∈ 1, 2, 3, 4 de l’échelle, alors à l’instant n+ 1 elle sera

au barreau x+ 1 avec probabilité 1/2,

au barreau x− 1 avec probabilité 1/2,

ce qui se traduit par

P(Xn+1 = x+ 1 |Xn = x) = 1/2 (= P(X1 = x+ 1 |X0 = x)),

P(Xn+1 = x− 1 |Xn = x) = 1/2 (= P(X1 = x− 1 |X0 = x)

Comme les probabilités ne dépendent pas de n, il semble que l’on tienne le bonbout pour avoir une chaîne de Markov homogène. Si c’est le cas, on peut écrire

6

une partie de la matrice de transition :

Q =

? ? ? ? ? 0

1/2 0 1/2 0 0 00 1/2 0 1/2 0 00 0 1/2 0 1/2 00 0 0 1/2 0 1/2? ? ? ? ? ?

Si la grenouille se retrouve à l’état 5, alors elle peut soit passer à l’état 4,

soit passer à l’état 0. Il faut donc remplacer la dernière ligne de la matrice par

(1/2, 0, 0, 1/2, 0),

(encore une fois cela ne dépend pas de l’instant n). Si la grenouille est à l’état0, elle ne peut que passer à l’état 1. La première ligne de la matrice est donc

(0, 1, 0, 0, 0).

Xn est donc bien une chaîne de Markov homogène, avec matrice de transitionQ.

Exercice 3. Introduisons un facteur de fatigue f ∈ (0, 1), et imaginons qu’àchaque instant la grenouille reste à son état actuel avec probabilité f . Xn esttoujours une chaîne de Markov ? Si oui, quelle est sa matrice de transition ?

Imaginons désormais que le facteur de fatigue f = fn dépend du temps. Quecela change-t-il ?

Si désormais le facteur de fatigue dépend de tout le chemin parcouru parla grenouille (nombre de barreaux montés et descendus), a-t-on toujours unechaîne de Markov ?

Exercice 4. Le nombre d’individus d’une population évolue de la manière sui-vante : A chaque instant, un individu nait avec la probabilité p ∈ (0, 1), oumeurt avec la probabilité q = 1− p.

Ecrire la matrice de transition.Ecrire la chaîne de Markov en termes des variables introduites à l’exemple

2.Comment corriger la matrice de transition pour qu’il n’y ait pas un nombre

négatif d’individus ?

Définition 3. On dit qu’une matrice Q (éventuellement infinie) est stochas-tique ssi tous ses coefficients sont ≥ 0 et si la somme de chaque ligne fait 1 :∀x ∈ E, ∑

y∈EQ(x, y) = 1.

On dit aussi matrice markovienne.

7

Remarque 2. Les coefficients d’une matrice stochastique sont dans [0, 1], ilspeuvent donc représenter une probabilité...

Proposition 1. Si Q est la matrice de transition d’une chaîne de Markov, alorselle est stochastique.

Démonstration. Soit x ∈ E. Alors∑y∈E

Q(x, y) =∑y

P(X1 = y |X0 = x)

= P(“Xn aille quelque part après être allé en x...′′)

= 1.

Plus formellement,∑y

P(X1 = y |X0 = x) =∑y

E(1X1=y|X0 = x)

= E(∑y∈E

1X1=y|X0 = x)

Or ∑y∈E

1X1=y = 1

tout le temps car X1 est égal à un et un seul des y. Donc∑y

P(X1 = y |X0 = x) = E(1|X0 = x) = 1.

On va voir que réciproquement, pour toute matrice stochastique Q sur unproduit E×E, il existe une chaîne de Markov sur E qui admet Q comme matricede transition . Mais elle n’est pas unique, car il faut encore préciser la loi dupremier état X0.

1.2 Loi des Xn

Le comportement d’une chaîne de Markov X dépend entièrement de sa ma-trice de transition Q, et de la position initiale X0. On appelle µ0 la loi initialede X, c’est une mesure définie par

µ0(x) = P(X0 = x).

8

Mesure et notations Toutes les mesures que l’on va voir dans ce cours sontsur un espace fini ou dénombrable E. Cela veut dire qu’elles sont uniquementdéterminées par leurs valeurs sur les singletons : Pour A ⊂ E,

µ(A) =∑x∈A

µ(x).

On note en général abusivement µ(x) = µ(x) pour x ∈ E, et ces valeursdéterminent entièrement la mesure. On peut aussi noter la mesure comme levecteur (ou la suite si E est infini) de ses valeurs :

µ = (µ(x))x∈E .

Par exemple si E a 2 états et que la loi µ0 de X0 peut prendre indifféremmentles deux valeurs avec probabilité 1/2,

µ0 = (1/2, 1/2).

Connaissant µ0 et Q, on peut calculer directement la loi de Xn.

Proposition 2. Pour toute suite x0, x1, . . . , xn dans E, on a

P(X0 = x0, X1 = x1,X2 = x2, . . . , Xn = xn)

=µ0(x0)Q(x0, x1)Q(x1, x2) . . . Q(xn−1, xn).

Démonstration. On a (en utilisant la propriété de Markov)

P(X0 = x0, X1 = x1, X2 = x2, . . . , Xn = xn)

=P(Xn = xn, . . . , X1 = x1 |X0 = 0)P(X0 = x0)

=P(Xn = xn, . . . , X1 = x1 |X0 = 0)µ0(x0)

=P(Xn = xn, . . . , X2 = x2 |X1 = x1, X0 = 0)P(X1 = x1|X0 = x0)µ0(x0)

=P(Xn = xn, . . . , X2 = x2 |X1 = x1, X0 = 0)Q(x0, x1)µ0(x0)

=P(Xn = xn, . . . , X2 = x2 |X1 = x1)Q(x0, x1)µ0(x0)

en utilisant la propriété de Markov. En utilisant le même raisonnement, onmontre que

P(Xn = xn, . . . , X2 = x2 |X1 = x1) = P(Xn = xn, . . . , X3 = x3 |X2 = x2)Q(x1, x2).

P(X0 = x0, X1 = x1, X2 = x2, . . . , Xn = xn) = P(Xn = xn, . . . , X3 = x3 |X2 = x2)Q(x1, x2)Q(x0, x1)µ0(x0).

Par récurrence, on montre la formule proposée.

Pour une même chaîne X, on considère souvent plusieurs lois initiales diffé-rentes. Dans ce cas on précise la loi utilisée en notant

P = Pµ

9

dans chaque calcul de probabilité, et l’espérance est alors notée Ex. Si la loi estun “Dirac” µ = δx pour un certain x ∈ E (ce qui veut dire X0 = x p.s.), alorson note plus simplement Pδx = Px,Eδx = Ex.

Exemple 3. Pour reprendre l’exemple de la grenouille,

P0(X1 = 1) = 1,

P0(X1 = 3) = 0,

P2(X1 = 3) = 1/2,

P0(X3 = 3)= (1/2)3 = 1/8,

P0(X3 = 4) = 0,

...

On peut calculer directement la loi de Xn en utilisant le produit matriciel.

Exercice 5. Soit a ∈ (0, 1). On considère une chaîne de Markov dont la matricede transition est la suivante : (

a 1− a1− a a

)Calculer la probabilité de l’événement A3 de passer pour n ≤ 5 trois fois parl’état 2

1. Avec µ0 = (1, 0),2. Avec µ0 = (1/2, 1/2).

Correction :Il faut dénombrer tous les chemins possibles qui contiennent trois fois l’état

2. En partant de 1 :— x1 = (1, 1, 2, 2, 2)— x2 = (1, 2, 1, 2, 2)— x3 = (1, 2, 2, 1, 2)— x4 = (1, 2, 2, 2, 1)Pour le premier chemin, sa probabilité est, d’après la formule précédente,

P1(X = x1) = Q(1, 1)Q(1, 2)Q(2, 2)Q(2, 2) = a(1− a)a2 = a3(1− a).

Avec d’autres calculs, on montre

P1(A3) = a3(1− a) + 2a(1− a)3 + a2(1− a)2.

Pour la seconde question, il faut calculer P2(A3) de manière similaire, et ona

Pµ0(A3) = µ0(1)P1(A3) + µ0(2)P2(A3) = 1/2(...)

10

Notation 1. Pour une mesure µ0 et une matrice Q, on note la mesure

(µ0Q)(y) =∑x∈E

µ0(x)Q(x, y).

Cela revient à multiplier (matriciellement) la mesure µ0 vue comme un vecteurµ0 = (µ0(x1), µ0(x2), . . . ) par la matrice Q.

Proposition 3. Si µ est la loi de X0, alors (µQ) est la loi de X1.

Démonstration. Soit y ∈ E.

P(X1 = y) =∑x

P(X1 = y,X0 = x)

=∑x

P(X1 = y|X0 = x)P(X0 = x) =∑x

µ(x)Q(x, y) = (µQ)(y)

Proposition 4. Pour tout n, la loi de Xn est µQn.

Démonstration. D’après la proposition 3, la loi de X1 est µ1 = µQ.On peut alors “oublier” la variable X0, et ne considérer que la chaîne qui part

de X1 (formellement, poser X ′0 = X1, X′1 = X2, etc...). La matrice de transition

est toujours Q, par contre la loi initiale n’est plus µ, c’est µ1.La loi de X2 (i.e. X ′1) est donc, en réutilisant la proposition 3,

µ2 = (µ1Q) = ((µQ) ∗Q).

Comme le produit matriciel est associatif, ((µQ)∗Q) = µ∗Q∗Q = µ∗(Q∗Q) =µ ∗Q2.

La loi de X2 est donc bien µQ2, comme annoncé. En raisonnant par récur-rence, on montre bien µ3 = (µ ∗Q2) ∗Q = µQ3, . . . , ... et µn = µQn.

Exercice 6. Une chaîne de Markov avec états E = 1, 2 a la matrice detransition

Q =

(a 1− a

1− a a

)pour un nombre a ∈ (0, 1).

Calculer la loi de Xn pour tout n, sachant que l’on part de l’état X0 = 1.Donner par exemple P1(Xn = 1) la probabilité de retour en 1 en n coups.

Correction : On a µ = δ1. La loi de Xn est donnée par µQn, il faut donccalculer la puissance n-ème de Q (c’est la difficulté de ce type d’exercice).

Pour cela, le plus simple est de diagonaliser la matrice. Comme c’est unematrice stochastique,

Q ∗ 1 = 1 ,

11

ou 1 = (1, 1, ..., 1), et ∗ est le produit matriciel (Q ∗ 1(x) =∑y 1Q(x, y) = 1).

Cela veut dire que 1 est vecteur propre associé à la valeur propre 1.Comme la matrice Q est symétrique, elle est diagonalisable. La première

valeur propre est 1, et la trace est

Tr(Q) = 2a.

Il s’ensuit que la seconde valeur propre est λ = 2a− 1. Pour trouver le vecteurpropre associé, résolvons le système Q ∗ (u, v) = λ(u; v) :

au+ (1− a)v = (2a− 1)u

(1− a)u+ av = (2a− 1)v,

(1− a)v = (a− 1)u

(1− a)u = (a− 1)v,

i.e u = −v. Le vecteur propre (1;−1) correspond donc à la valeur propre λ.On décompose le vecteur µ0 = (1, 0) suivant la base de vecteurs propres :

(1, 0) =1

2[(1, 1) + (1,−1)]

Donc

Qn(1, 0) =1

2[Qn(1, 1) +Qn(1,−1)] =

1

2[(1, 1) + λn(1,−1)] =

(1

2+ λn/2,

1

2− λn/2

).

Après n coups, Xn a un tout petit peu plus de chances d’être en 1 qu’en 2,mais ce tout petit peu est en λn et s’atténue rapidement avec le temps. Plusa(=probabilité de rester à sa place) est grand, plus ça décroît lentement.

Exercice 7. (exercice 1.1.4 du Norris, p. 9) Une puce saute aléatoirement surles sommets d’un triangle, sans préférence. Quelle est la probabilité qu’après nsauts la puce soit de retour à son point de départ ?

Remarque : De manière similaire à l’exercice précédent, on devrait trouver1/3 plus un terme correctif qui décroît (vite) avec le temps.

Recommencer si cette fois la puce saute dans le sens des aiguilles d’unemontre avec probabilité 2/3 et dans l’autre sens avec probabilité 1/3.

Remarque 3. TRES IMPORTANT ! !

Qk(x, y) 6= Q(x, y)k.

membre de gauche : multiplication matricielle.membre de droite : multiplication de réels (beaucoup plus facile).

Proposition 5. On a pour n ≥ 0, k ≥ 0

P(Xn+k = y|Xn = x) = Qk(x, y)

12

Démonstration. Par la propriété de Markov,

P(Xn+k = y|Xn = x) = P(Xk = y|X0 = x).

Supposons que µ0 = δx, c’est-à-dire que la chaine démarre toujours en x. On a

Px(Xk = y|X0 = x) = Px(Xk = y) = (µ0Qk)(y) = (δxQ

k)(y) = Qk(x, y).

Dans le cas général (µ0 quelconque), on a également P(Xk = y|X0 = x) =Px(Xk = y) = Qk(x, y).

2 Temps d’absorptionDans ce chapitre on se pose la question suivante : Etant donné une chaîne

X et x dans l’espace d’états E, quel est le temps moyen (éventuellement infini)que met X à arriver au temps x.

Ce temps dépend évidemment de la loi initiale µ0 : Si µ0 = δx, le tempsd’attente est en moyenne 0. Si la chaîne n’est pas trop compliquée, il est possiblede mener des calculs explicites pour trouver ce temps moyen.

2.1 Temps d’arrêtAvant d’expliquer comment faire, il faut comprendre un fait fondamental sur

les chaînes de Markov. Pour x ∈ E on définit le temps aléatoire

Tx = minn ≥ 0 : Xn = x,

premier moment où la chaîne atteint x.

Définition 4. Soit T une variable aléatoire à valeurs dans N. T est un tempsd’arrêt si pour tout n, l’évènement (T = n) dépend uniquement du passé,c’est-a-dire si l’évènement (T = n) est entièrement déterminé par les variablesX1, . . . , Xn (c’est-à-dire mesurable par rapport à σ(X1, . . . , Xn)).

Exemple 4. Pour x ∈ E, le temps Tx est un temps d’arrêt : Pour n ∈ N,

(Tx = n) = (X1 6= x,X2 6= x, . . . ,Xn−1 6= x,Xn = x).

C’est bien un évènement qui est entièrement déterminé si on connait les valeursde X1, . . . , Xn.

Exercice 8. 1. (T = n) peut être remplacé par (T ≤ n), ou (T > n) dansla définition précédente.

13

2. Par contre on ne peut pas le remplacer par (T < n). Montrez que Sx =Tx − 1 est un contre-exemple.

On peut donc donner une autre preuve que Tx est un temps d’arrêt :

(Tx > n) = ∩nk=1(Xk 6= x) ∈ σ(X1, . . . , Xn)

On peut alors élargir la propriété de Markov aux temps aléatoires, àcondition que ceux-ci soient des temps d’arrêt .

Exercice 9. Soit Rk, k ≥ 1, des variables iid de Rademacher, c’est-à-direP(Rk = 1) = 1/2,

P(Rk = −1) = 1/2,

et Xn leur somme. Soit T le premier temps ou la chaîne est passé deux fois parl’état 10 :

T = minn : Xn = 10 et il existe un seul k < n tel que Xk = 10.

Montrer formellement que T est un temps d’arrêt.

Proposition 6 (propriété de Markov forte ). Soit k ≥ 1, et T un tempsd’arrêt . Pour x, y ∈ E,

P(XT+k = y|XT = x) = P(Xk = y|X0 = x) = Qk(x, y).

Démonstration. Prouvons-le pour T = Tx, pour un x quelconque de E, et k ≥ 1.

P(XTx+1 = y|XTx = x) =∑n

P(XTx+1 = y|XTx = x, Tx = n)P(Tx = n). (1)

Or Tx = n est équivalent à “X0 6= x,X1 6= x, . . . ,Xn−1 6= x,Xn = x”. On adonc

P(XTx+1 = y|XTx = x, Tx = n)

= P(Xn+1 = y|Xn = x;X0 6= x,X1 6= x, . . . ,Xn−1 6= x)

= P(Xn+1 = y|Xn = x) = Q(x, y)

car “le futur ne dépend que du présent” (propriété de Markov ). En reportantdans (1),

P(XTx+1 = y|XTx = x) =∑n

P(X1 = y|X0 = x)P(Tx = n)

= Q(x, y)∑n

P(Tx = n) = Q(x, y).

En appliquant ce raisonnement itérativement k fois, on obtient le résultat.

14

Exercice 10. Traiter le cas où T est un temps d’arrêt quelconque.

Si T est un temps d’arrêt quelconque, il faut juste remarquer que l’on peuttoujours écrire

P(Xn+1 = y|Xn = x, T = n) = P(Xn+1 = y|Xn = x),

car T = n ne dépend que du passé (incarné par les variable X1, . . . , Xn), et lapropriété de Markov nous dit que connaître le passé est équivalent à connaîtrela valeur de Xn : Xn = x.

Exercice 11. Soit Xn des variables aléatoires iid positives de même loi qu’unevariable X telle que

E(|X|) < +∞.On sait que

Sn =

n∑k=1

Xk

est une chaîne de Markov. Soit T un temps d’arrêt. Montrer que

E(

T∑k=1

Xk) = E(T )E(X).

(Indice : le terme de gauche est égal à E∑∞k=1Xk1T>k−1)

On pourra utiliser la formulation suivante de la propriété de Markov.

Proposition 7. Une autre manière de formuler la propriété de Markov est lasuivante : Pour tout temps d’arrêt T , la chaîne

X ′ = (X ′0 = XT , X′1 = XT+1, . . . )

est une chaîne de Markov dont la matrice de transition est Q et la loi initialeest XT . De plus, la loi de X ′ est indépendante de (X0, . . . , XT−1) conditionnel-lement à XT .

Démonstration. Soit x0, . . . , xn+1 ∈ E.

P(X ′n+1 = xn+1|X ′n = xn, X′n−1 = xn−1, . . . , X

′0 = x0)

= P(XT+n+1 = xn+1|XT+n, . . . , XT = x0)

=∑q≥0

P(T = q|Xq+n = xn, . . . , Xq = x0)P(Xq+n+1 = xn+1|T = q,Xq+n = xn, . . . , Xq = x0)

=∑q≥0

P(T = q|Xq+n = xn, . . . , Xq = x0)P(Xq+n+1 = xn+1|Xn+q = xn)

=∑q≥0

P(T = q|Xq+n = xn, . . . , Xq = x0)Q(xn, xn+1)

= Q(xn, xn+1)∑q≥0

P(T = q|Xq+n = xn, . . . , Xq = x0)

= Q(xn, xn+1)

15

2.2 Probabilités et temps d’absorptionsAvec le langage introduit dans la section précédente, on s’intéresse pour

A ⊂ E aux quantités

hA = P(TA <∞),

kA = E(TA).

Remarquons que si hA 6= 1, kA =∞, donc il faut calculer hA en premier, etensuite kA si ça a du sens.

Si l’on conditionne par l’état de départ x ∈ E, on a

hAx = Px(TA <∞) Probabilité d’arriver un jour en A en partant de x ,

kAx = Ex(TA) Temps moyen pour y arriver.

Si x ∈ A, hAx est trivialement 1, et TAx est trivialement 0. Si A = y estconstitué d’un unique point, on note hyx = hyx, k

yx = kyx.

Théorème 1. Si x /∈ A, pour les calculer efficacement il faut se persuader desdeux faits suivants :

hAx =∑y∈E

Q(x, y)hAy , pour tout x ∈ E

kAx = 1 +∑y∈E

Q(x, y)kAy , pour tout x ∈ E.

De plus, si ce système linéaire a plusieurs solutions, (hAx )x (resp.(kAx )x) est laplus petite solution positive du système vérifiant hAx = 1 (reps. kAx = 0) pourx ∈ A.

Traitons un exemple d’utilisation avant d’étudier la preuve :

Exemple 5. Une puce saute sur un triangle, avec une probabilité 2/3 dans lesens horaire, et 1/3 dans le sens anti-horaire.

— On numérote les sommets : 1,2,3. Matrice de transition :— Intéressons-nous aux temps d’atteinte. Soit A = x1 le sommet 1. On a

pour i = 2, 3 :

k1i = 1 +

3∑j=1

Q(i, j)k1j .

On a donc kA1 = 1 et 2 équations :

16

k12 = 1 +

3∑j=1

Q(2, j)k1j = 1 +

1

3k1

1 + 0 +2

3k1

3 = 1 +2

3k1

3.

k13 = 1 +

3∑j=1

Q(3, j)k1j = 1 +

2

3k1

1 +1

3k1

2 + 0 = 1 +1

3k1

2.

Il faut résoudre ce système à 2 équations à 2 inconnues.

Démonstration. Les deux expressions sont obtenues en conditionnant par lavaleur de X1 dans le calcul de P(Xn ∈ A) :

hAx = P(∃n ≥ 1, Xn ∈ A|X0 = x) =∑y∈E

P(∃n ≥ 1, Xn ∈ A|X1 = y,X0 = x)P(X1 = y|X0 = x)

=∑y∈E

P(∃n ≥ 1, Xn ∈ A|X1 = y)Q(x, y)

=∑y∈E

Q(x, y)hAy .

De même pour kAx :

kAx =∑n

nPx(TA = n|X0 = x) =∑n

n∑y∈E

P(TA = n|X1 = y)P(X1 = y|X0 = x)

=∑y

Q(x, y)E(TA|X1 = y)

TA est le temps que met la chaîne (X0 = x,X1, X2, . . . ) pour arriver en A.T ′A = TA − 1 est donc le temps mis par la chaîne X ′ = (X ′0 = X1 = y,X ′1 =X2, X

′2 = X3, . . . ) pour arriver en A (car au lieu de partir au temps 0 on part

au temps 1).On a donc

E(TA|X1 = y) = E(T ′A + 1|X1 = y) = 1 + Ey(TA′).

T ′A est le temps moyen mis par la chaîne X ′ = (X ′0 = X1, X′1 = X2, . . . )

pour arriver en A. Ce temps est exactement le même qua le chaîne (X0, X1, . . . )conditionnée par X0 = y pour arriver en y. Donc

Ey(T ′A) = kAy .

En reportant, on a

kAx =∑y

Q(x, y)(1 + kAy ) = 1 +∑y

Q(x, y)kAy

17

car Q est une matrice de transition .On admet la minimalité dans ce cours.

Exercice 12. Soit une population Xn qui s’éteint si n = 0 et autrement croît(ou décroît) à chaque temps n par

P(Xn+1 = Xn + 1) = p,

P(Xn+1 = Xn − 1) = q = 1− p.

La matrice de transition est

Q(x, y) =

p si x 6= 0, y = x+ 1

q si y = x− 1,

1 si x = y = 0,

et Q(x, y) = 0 partout ailleurs.Le but de l’exercice est de trouver la probabilité d’atteindre 0 en partant de

n ∈ N (extinction)

1. Trouver une relation entre h0n, h

0n−1, h

0n+1. La probabilité d’atteindre 0

en partant d’un état initial de X0 = n > 0 individus est h0n, et vérifie

h0n = qh0

n−1 + ph0n+1, n ≥ 1.

Rappel sur les suites récurrentes d’ordre 2 : Si (Un) vérifie aUn+2+bUn+1 + cUn = 0 pour tout n ≥ 0, il faut considérer les racines (éven-tuellement complexes) x1 et x2 du polynôme aX2 + bX + c. Si x1 6= x2,Un est de la forme

Un = αxn1 + βxn2 , n ≥ 0.

avec α et β a déterminer en calculant des valeurs particulières de la suite.Si x1 = x2 est une racine double,

Un = (α+ βn)xn1 .

2. En déduire la forme générale de la suite (h0n)n. La suite (Un = h0

n) estdonc une suite récurrente d’ordre 2 définie par

U0 = 1,

Un = qUn−1 + pUn+1.

Revenons au problème de la population :il faut poser le polynôme carac-téristique X = q + pX2 dont les racines sont

x1 = 1,

x2 = q/p.

18

La solution est donc de la formeUn = α1n + β(q/p)n si p 6= 1/2,

Un = (α+ βn)1n si p = 1/2.

pour α, β à déterminer.3. En utilisant le fait que h0

n ∈ [0, 1], montrer que si p ≤ 1/2, β = 0. Qu’endéduisez-vous pour la population ? Si p ≤ 1/2, comme x2 > 1, le termexn2 explose, ce qui contredit Un ∈ (0, 1), donc β = 0 et Un = U0 = 1 et lapopulation est sure de s’éteindre.

4. Donner la probabilité d’extinction en partant de n si p > 1/2. si p > 1/2,la probabilité de s’éteindre est de

Un = α+ β(q/p)n.

La contrainte U0 = 1 impose α + β = 1. Chaque α, β ≥ 0 tels queα + β = 1 donne une solution, mais (hAx ) est la plus petite solution !Comme (q/p)n < 1, elle est obtenue pour α = 0, donc β = 1 et

hextinctionn = (q/p)n.

C’est le seul cas ou la population a une chance de ne pas s’éteindre. Re-marquons que, logiquement, plus le nombre initial d’individus est grand,moins il y a de chances de s’éteindre.

Exercice 13. Un joueur joue à pile-ou face. La pièce a une probabilité p detomber sur pile, et q = 1 − p de tomber sur face. Le joueur mise 1$ a chaquefois et parie toujours sur pile.

1. Quel est la probabilité de perdre tout son capital de départ ? (Faire le lienavec l’exo précédent).

2. Le joueur décide que si jamais il atteint 10$, il repart avec son pactole.Quelle est la probabilité qu’il y parvienne ?

Exercice 14. Un joueur a 2$ et a besoin rapidement d’avoir 10$. Il peut jouerson argent à pile ou face selon les règles suivantes : Si il gagne, il double sa mise,et si il perd, il perd sa mise. Il décide d’adopter une stratégie où il joue toutson argent à chaque fois si il a moins de 5$, et sinon il ne joue que la quantiténécessaire pour arriver à 10$.

1. Identifier la chaine de Markov.2. Donner le graphe de la chaine de Markov.3. Quelle est la probabilité pour le joueur d’atteindre son objectif ?4. Quel temps mettra-t-il en moyenne pour que le jeu s’arrête (soit parce

qu’il perd tout soit parce qu’il atteint 10$) ?

19

Exercice 15. Pour la population de l’exercice 12, on souhaite calculer la dis-tribution du temps d’extinction T0 en partant de 1 individu. On note plus gé-néralement Tj le premier temps de passage à j.

La méthode la plus efficace consiste à considérer la fonction caractéristique

ϕ(s) = E1(sT0) =∑n≥0

snP1(T0 = n), 0 ≤ s < 1.

1. Montrer queE2(sT0) = E2(sT1)2 = ϕ(s)2.

2. Montrer queE1(sT0 |X1 = 2) = E2(s1+T0).

3. En déduire que pour tout s ϕ(s) vérifie la relation

psϕ(s)2 − ϕ(s) + qs = 0.

4. Montrer queE1(T0) = lim

s↑1ϕ′(s).

En déduire la valeur du temps moyen d’extinction (on peut utiliser les ré-sultats de l’exercice 12).

5*. Indiquer comment calculer P1(T0 = k), k ≥ 1. En déduire P1(T0 < ∞).Que remarquez-vous ?

On pourra utiliser la Proposition 7.

Exercice 16. Similaire au précédent : ex. 1.4.1 du Norris, p. 23.

3 Classification des étatsExemple 6. Considérons la chaine du graphe suivant : (chaque trait représenteune probabilité 1/3 dans les deux sens), et en chaque point x il y a une probabi-lité 1/3 de rester sur place. On observe que si la chaine part de 4, elle ne pourrajamais arriver en 6, 1, 2, 5. On regroupe les points en catégories sur le principequ’une chaine de Markov ne pourra jamais sauter d’une catégorie à l’autre. Icion se retrouve avec trois classes : 1, 2, 5, 3, 4, 6.

20

6

4

5

1

2

3

On s’intéresse à la “dynamique” des chaînes de Markov dans ce chapitre.On dit qu’un état x ∈ E mène à un état y ∈ E si

Px(∃n ≥ 0, Xn = y) > 0.

La probabilité de passer par y après être passée par x est non-nulle. On notedans ce cas

x y.

Si x y et y x, on notex! y

et on dit que x et y communiquent.

Exemple 7. Dans l’exemple d’une population, en général, pour tout n ≥ 1,n 0, mais 0 n pour aucun n excepté 0. On a aussi n ! m pour tousn,m > 0.

On dit que 0 est un état absorbant.

il est facile de voir que x y ssi il existe une suite d’états x0 = x, x1, . . . , xk =y qui “mène” de x à y et telle que Q(xm, xm+1) > 0. On appelle un tel cheminun chemin probable. La probabilité

P(x→ ...→ y) ≥ P(x→ x1 → x2 → · · · → xk = y) =∏m

Q(xm, xm++1) > 0.

Cette propriété d’existence d’un chemin est en fait nécessaire : Si aucunchemin possible ne mène de x à y, alors on n’a aucune chance d’atteindre y.

D’une manière différente, on sait que la loi deXn en partant de x est Qn(x, y)(proposition 4). Donc en notant Qn(x, y) les coefficients de la matrice de tran-sition Qn, x y ssi ∃n ≥ 0 tel que Qn(x, y) > 0 .

Théorème 2. La relation ! est une relation d’équivalence et on peut parti-tionner E par l’ensemble des classes d’équivalences

E = ∪x∈ECx

avec Cx = Cy si x! y, et Cx ∩ Cy = ∅ sinon.

21

Démonstration. Prouvons que si deux états x et y ne communiquent pas, alorsCx ∩Cy = ∅. En effet, s’il existe z ∈ Cx ∩Cy, alors il existe un chemin de x à zcar x z et il existe un chemin de z à y. En mettant ces chemins bout a bout,on obtient un chemin x z. En raisonnant en partant de y, on trouve aussi unchemin y x ; on a donc x! y, contradiction.

Cela revient en fait à montrer la transitivité et la réflexivité de ! (né-cessaires d’après la définition) pour montrer que c’est une relation d’équiva-lence.

Exercice 17. Un sondeur se déplace au hasard dans un immeuble, sonnant par-fois plusieurs fois chez la même personne. Cet immeuble comporte trois étages,et il n’y a qu’un ascenseur, qui de surcroît ne peut que monter. Trouvez la chaînede Markov, et déterminer ses classes d’équivalences.

Exercice 18. Une chaîne de Markov a la matrice de transition

Q =

1/2 1/2 0 0 0 00 0 1 0 0 0

1/3 0 0 1/3 1/3 00 0 0 1/2 1/2 00 0 0 0 0 10 0 0 0 0 1

Quelles sont ses classes d’équivalence ?

On pourra dessiner un diagramme expliquant comment passer d’un état àl’autre.

3.1 Récurrence et transienceDéfinition 5. On rappelle que Tx est le temps de 1er passage en x. Pour r ≥ 0,on note

T (r)x le temps de r-ème retour en x,

défini par récurrence par

T (0)x = Tx; T (r+1)

x = infn > T (r)x : Xn = x.

Définition 6. Un état x est dit récurrent si la probabilité de retour est 1, c’est-à-dire si

Px(T (1)x <∞) = 1.

Si cette propriété n’est pas vérifiée, on dit que l’état est transient.

Exemple 8. Marche aléatoire sur Zd.

Exercice 19. Dans l’exercice 17, quelles sont les classes récurrentes ? Tran-sientes ?

22

Remarque : T (1)x 6= Tx = 0 si X0 = x.

Montrons que T (r)x , r ≥ 0, est un temps d’arrêt :

Proposition 8. Pour tous x ∈ E, r ≥ 0, T (r)x est un temps d’arrêt.

Démonstration. On peut commencer par réfléchir à ce que ça veut dire et voirque c’est assez évident : “au temps n, je peux dire si oui ou non je suis passé rfois par x”...Plus formellement :

Il suffit de montrer que pour n ≥ 0 l’événement (T(r)x = n) est déterminé

par ce qui se passe avant n :

T (r)x = n⇔∃ une sous-partie P ⊆ 1, . . . , n− 1 de cardinal |P | = r

telle que (Xi = x) pour i ∈ P et Xi 6= x pour i /∈ P et Xn = x.

Donc

(T (r)x = n) =

⋃P⊆1,...,n−1,|P |=r

(Xn = x; Xi = x, i ∈ P ;Xi 6= x, i /∈ P ),

et voilà !On pouvait le montrer par récurrence en remarquant

(T (r)x = n) = ∪0≤k<n(T (r−1)

x = k;Xm 6= x, k < m < n;Xn = x).

On appelle r-ème excursion

S(r)x = T (r+1)

x − T (r)x

le temps passé loin de x entre le r-ème et le r + 1-ème passage.

Proposition 9. La loi de S(r)x ne dépend pas de r : Pour tout k ≥ 1

P(S(r)x = k) = P(S(1)

x = k) = Px(Tx = k).

De plus, S(r)x est indépendante de (Xk; k ≤ T (r)

x ). Les S(r)x , r > 0, forment donc

une suite de variables IID (indépendantes et identiquement distribuées).

Démonstration. En appliquant la propriété de Markov forte , la chaîne

X(r) = (X(r)0 = X

T(r)x

= x,X(r)1 = X

T(r)x +1

, X(r)2 = X

T(r)x +2

, . . . )

est est une chaîne de Markov de matrice de transition Q qui démarre deX(r)0 = x

(donc de loi initial µ0 = δx).On peut considérer simultanément plusieurs évènements du futur :

P(XT

(r)x +1

= y1, XT(r)x +2

= y2, . . . , XT(r)x +k

= yk|XT(r)x

= x) = Px(X1 = y1, . . . , Xk = yk).

En choisissant yk = x, yi 6= x pour i < k, on a

P(S(r)x = k) = P(Tx = k), k ≥ 0.

23

Une autre manière de voir les choses est de considérer le nombre de visitesen un point x après 0 sachant X0 = x :

Vx = #n ≥ 1 : Xn = x =

∞∑n=1

1Xn=x.

Remarquons que par le théorème de Fubini/Beppo-Levi

ExVx = Ex(∑n≥1

1Xn=x) =∑n≥1

Ex(1Xn=x) =∑n≥1

Px(Xn = x) =∑n≥1

Qn(x, x).

En particulier, cela implique que Vx <∞ p.s. si∑nQ

n(x, x) <∞.

Proposition 10. x ∈ E est récurrent ssi pour toute loi initiale

Vx =∞ p.s.

ssi ∑n≥0

Qn(x, x) =∞.

Démonstration. On a p.s. 1Vx>r → 1Vx=∞ quand r → ∞ et (TCD avec ladomination 1Vx<r ≤ 1 sur l’espace (Ω,Px))

P(Vx =∞) = limr→∞

P(Vx > r) = limrpr,

ou pr = Px(Vx > r) est la probabilité qu’il y ait plus de r visites, c’est-a-dire aumoins r retours.

Remarquons que (Vx > r) équivaut à (T(r)x <∞) (le r-ème passage survient

en un temps fini). Calculons pr par récurrence :

pr+1 = P(T (r+1)x <∞) = P(T (r)

x <∞ et T (r+1)x − T (r)

x <∞)

= P(T (r)x <∞ et S(r)

x <∞)

= P(S(r)x <∞|T (r)

x <∞)Px(T (r)x <∞)

= P(T (1)x <∞)P(T (r)

x <∞)

= p1pr.

On en déduit par récurrence cette formule importante :

P(T (r)x <∞) = P(Vx > r) = pr1

ou p1 = Px(Tx <∞).On a donc

P(Vx > r) = pr1 →

1 si p1 = 1,

0 si p1 < 1.

24

Comme p1 est la probabilité de retour en x, on voit que Vx est p.s. infini ssip1 = 1, c’est-à-dire ssi x est récurrent.

On a déjà montré que si∑nQ

n(x, x) <∞, alors Vx <∞ p.s. et donc x esttransient.

Pour la réciproque, supposons x transient : alors p1 < 1. On utilise unlemme :

Lemme 1. Soit V une variable aléatoire à valeurs dans N. Alors

E(V ) =∑r∈N

P(V ≥ r).

Démonstration.

E(V ) =∑r≥1

rP(V = r) =∑r≥1

r(P(V ≥ r)− P(V ≥ r + 1))

=∑r≥1

rP(V ≥ r)−∑r≥1

rP(V ≥ r + 1)

=∑r≥1

rP(V ≥ r)−∑

r≥2( ou 1)

(r − 1)P(V ≥ r)

=∑r≥1

(r − (r − 1))P(V ≥ r) =∑r≥1

P(V ≥ r).

DoncE(Vx) =

∑r

P(Vx ≥ r)− 1 =∑r

pr1 <∞ car p1 < 1.

Donc Vx <∞ p.s..

Exercice 20. Marche aléatoire sur Z

Soit Xn;n ≥ 1 des variables aléatoires iid de Rademacher (de loiP(X1 = 1) = 1/2,

P(X1 = −1) = 1/2.)

On définit la Marche aléatoire sur ZS0 = 0;

Sn = Sn−1 +Xn, n ≥ 1.

Le but de l’exercice est de montrer que la marche aléatoire est récurrente ;i.e. tout état est récurrent. Nous utiliserons 2 méthodes.

25

1. a)Montrer que pour tout x, x est récurrent ssi 0 est récurrent.b)Utiliser les résultats de l’exercice 12 pour montrer que la chaîne est récur-

rente. (Utiliser P0(Xn = 0) = (1/2)P1(Xn = 0) + (1/2)P−1(Xn = 0).)

2. On veut calculer explicitement la quantité Qn(0, 0) = P0(Xn = 0).a) Montrer que Qn(0, 0) = 0 si n est impair.b)En utilisant le fait que tout chemin menant de x à x en n coups est

constitué d’autant de “+1” que de “−1”, montrer que le nombre de tels cheminsest

Γn,0→0 =

0 si n est impair,

Cnn/2 =

(n

n/2

)si n est pair.

c) En montrant que chaque chemin a une probabilité 2−n, donner une ex-pression explicite de Qn(x, x).

d)En déduire le résultat. On pourra utiliser la formule de Stirling

n! ∼n→∞ nne−n√

2πn.

3) Qu’est-ce qui change si P(Xn = 1) = p ∈ (0, 1) et P(Xn = −1) = q =1− p ? La marche aléatoire est-elle toujours récurrente ?

Exercice 21. Marche aléatoire sur Z2. On définit Xn des variables aléatoiresiid telles que

P(Xn = (−1, 0)) = P(Xn = (1, 0)) = P(Xn = (0, 1)) = P(Xn = (0,−1)) = 1/4,

et S0 = 0;Sn+1 = Sn +Xn est la marche aléatoire sur Z2.On va montrer que c’est une chaîne de Markov récurrente.1. On appelle X+

n la projection de Xn sur la droite d’équation y = x, et X−nla projection sur la droite d’équation y = −x.

a)Montrer que

X+n =

1√2avec probabilité 1/2,

−1√2avec probabilité 1/2,

et qu’il en est de même de X−n .b)Montrer que X+

n et X−n sont indépendantes.2)a)On appelle S+

n =∑k≤nX

+n la projection de Sn sur la droite “y = x′′ et

S−n =∑k≤nX

−n . Quelle est la probabilité P0(S−n = S+

n = 0) ?b)En déduire que la chaîne est récurrente.3∗. Montrer que la marche aléatoire sur Zd est transiente pour d ≥ 3.

Théorème 3 (Polya,1921). La marche aléatoire sur Zd est récurrente (en touspoints) si d ≤ 2 et transiente (en tous points) si d ≥ 3.

26

Proposition 11. Au sein d’une même classe d’équivalence, les états sont soittous récurrents, soit tous transients. On parle alors de classe récurrente ou declasse transiente.

Démonstration. Soit x ! y deux états d’une même classe, avec x transient(donc

∑r Q

r(x, x) <∞). Il existe alors n,m tels que

Px(Xm = y) = Qm(x, y) > 0, Py(Xn = x) = Qn(y, x) > 0.

Pour r ≥ 0, on a

Px(Xn+m+r = x) ≥ Px(Xm = y;Xm+r = y;Xm+r+n = x),

qui correspond à la probabilité du chemin (xm→ y

r→ yn→ x). En décomposant

la chaîne selon les temps d’arrivée en x et de r-ème passage en y, on en déduit :

Px(Xn+m+r = x) ≥ Qm(x, y)Qr(y, y)Qn(y, x).

Donc ∑r

Qr(y, y)≤ 1

Qm(x, y)Qn(y, x)

∑r

Qr(x, x) <∞.

Donc y est transient.

Remarque 4. Si E est fini, il y a toujours au moins une classe récurrente. (Ilest impossible que tous les états n’aient été visités qu’un nombre fini de fois enun temps infini).

Il peut y avoir plusieurs classes récurrentes.

Définition 7. On dit qu’une chaîne de Markov est irréductible si il n’y a qu’uneseule classe.

Exemple 9. La marche aléatoire sur Z est irréductible. Attention : Il n’ya qu’une seule classe et pourtant cette classe peut être transiente ! (Lorsquep 6= 1/2).

4 Distributions invariantesAnalyse asymptotique d’une chaîne de Markov :1. Découper les états en classes.2. On analyse chaque classe séparément :

— Si la classe est transiente, la chaîne s’échappe “à l’infini”, donc asymp-totiquement elle n’est nulle part en particulier (ex : Marche aléatoireasymétrique sur Z)...(ou alors elle est passée dans une classe récur-rente et ne reviendra plus)

27

— Si la chaîne est récurrente, elle visite les états les uns après les autres,en revenant sur ses pas (C’est notamment le cas lorsque la classe estfinie). On se pose alors les questions suivantes :• Combien de temps passe-t-elle en moyenne dans chaque état ?• Y’a-t-il convergence (pour chaque x, y de la classe) de Px(Xn = y) ?

Si oui, la limite dépend-elle de x ?Pour simplifier, on considère qu’il n’y a qu’une seule classe (quand il y en

a plusieurs, on peut utiliser les résultats de la partie 2 pour savoir dans quelleclasse on finira et avec quelle probabilité)

Que se passe-t-il quand la chaine est transiente ? Soit x ∈ E. D’après laProposition 10, le nombre de visites en x est p.s. fini. Soit Sx le dernier tempspassé en x :

Sx = maxn : Xn = x.

Alors,

Px(Xn = x) 6 P(Sx > n),

et cette dernière probabilité est le reste de la série convergente

1 =∑n>1

P(Sx = n),

donc ce reste tend vers 0. Donc

Px(Sn = x)→ 0.

C’est d’autant plus vrai en partant d’un autre état y : Pour tous états x, y

Py(Xn = x)→ 0.

cela veut dire qu’asymptotiquement, la chaine n’est nulle part en particulier,elle “s’échappe a l’infini.”

Exemple 10. L’urne d’Ehrenfest N particules sont dans une boite, séparéespar un petit trou. A chaque instant une particule passe de la moitié gauche àla moitié droite, ou le contraire. On note Xn le nombre de particules à gaucheau temps n. (N −Xn est donc le nombre de particules à droite). La probabilitéqu’une particule soit éjectée dépend de la “pression” présente :

P(Xn+1 = Xn − 1) = Xn/N (pression à gauche),P(Xn+1 = Xn + 1) = (N −Xn)/N (pression à droite).

Montrer que c’est un chaîne de Markov irréductible et récurrente.

Définition 8. Soit µ une mesure sur E. On dit que µ est invariante pour lachaîne de Markov X de matrice de transition Q si µQ = µ.

28

µ est une mesure invariante ssi pour tout x ∈ E

µ(x) =∑y∈E

Q(y, x)µ(y).

(Il suffit de regarder la coordonnée x de l’égalité µ = µQ.)Rappel : Une distribution est une mesure dont la masse totale est 1 (c’est-

à-dire une mesure pour laquelle la somme des masses de tous les termes vaut1). On dit aussi une mesure de probabilité, ou juste une probabilité.

Donc une distribution invariante est une mesure invariante dont la massevaut 1.

La mesure est dite invariante car si le premier état est tiré au hasard seloncette loi µ, alors le second point aura la même loi (mais dans ce cas il ne peuts’agir que de lois de probabilités) :

Proposition 12. Si µ0 la distribution initiale est invariante, alors µ0 est éga-lement la distribution de X1, X2, . . . , c’est-à-dire pour tout x ∈ E

Pµ0(X1 = x) = Pµ0

(X2 = x) = · · · = µ0(x).

Démonstration. La preuve est évidente quand on se rappelle de la proposition4 qui stipule que le loi de X1 est µ0Q = µ0, celle de X2 est µ0Q

2 = (µ0Q)Q =µ0Q = µ0, etc...

L’idée cachée derrière une distribution invariante est la suivante (nous allonsla concrétiser dans cette partie) : Le temps moyen passé par la chaîne en unétat x est proportionnel à µ0(x). De plus dans certains cas, on a la convergencePy(Xn = x) → µ0(x) indépendamment de y (ces résultats sont faux dans uncadre général mais on précisera par la suite).

Quelle est la conséquence de l’existence d’une mesure invariante ? Intuitive-ment, la fréquence de retour à un état x dépend du nombre de points y qui“pointent” vers x, c’est-à-dire tels que Q(y, x) est “grand”, pondérés par la pro-babilité de passer vers ces points y. En d’autres termes, le temps moyen passéen x sera proportionnel à ∑

y

µ0(y)Q(y, x) = µ0(x)

car µ0 est invariante !Si la mesure de départ n’est pas invariante, on espère qu’on va “converger”

vers la distribution invariante. Ce sera l’objet du prochain chapitre.

Proposition 13. On suppose E fini. On sait que pour x ∈ E, pour tout n ≥ 0,µx,n = (Qn(x, y))y∈E = (Px(Xn = y))y∈E est une mesure de probabilité.

Si il existe x ∈ E et une mesure de probabilité π tel que pour chaque y

µx,n(y)→ π(y),

alors π est une distribution invariante.

29

Démonstration. Soit y ∈ E. Alors on conditionne par la valeur de Xn

π(y) = limn

Px(Xn+1 = y) = limn

∑z∈E

Px(Xn = z,Xn+1 = y)

= limn

∑z∈E

Px(Xn = z)Px(Xn+1 = y|Xn = z)

=∑z∈E

limn

Px(Xn = z)Q(z, y)

=∑z

π(z)Q(z, y) = (πQ)(y).

C’est en fait vrai pour toute mesure initiale. La réciproque est fausse en

général (considérer par exemple la matrice de transition(

0 11 0

), ou la marche

aléatoire sur Z). Elle est cependant vraie sous certaines hypothèses

Exemple 11. On considère la matrice de transition de l’exo 6

Q =

(a 1− a

1− a a

)On a vu à l’exo 6 que si a = 1/2,

P1(Xn = 1) = 1/2 + λn/2→ 1/2,

P1(Xn = 2) = 1/2− λn/2→ 1/2,

P2(Xn = 2) = 1/2 + λn/2→ 1/2,

P2(Xn = 1) = 1/2− λn/2→ 1/2,

ou λ = (2a−1) ∈ (−1, 1). donc µ = (1/2)δ1 + (1/2)δ2 est une mesure invariante.(On pouvait aussi faire le calcul directement...)

Exercice 22. Donner toutes les mesures invariantes, et les probabilités inva-riantes, en fonction de a.

Remarquons aussi que si µ est une mesure invariante, et t > 0, alors tµ aussiest invariante :

Q(tµ) = t(Qµ) = tµ.

En particulier, si la masse totale de µ, c’est-a-dire µ(E), est finie,

π(x) :=µ(x)

µ(E)

est une probabilité invariante.

Modulo cette liberté, y’a-t-il beaucoup de mesures invariantes ?

30

Théorème 4 (Admis). Toute chaîne de Markov irréductible récurrente admetau plus une mesure invariante à une constante multiplicative près (et donc auplus une probabilité invariante).

Aucun point n’est “oublié” par une mesure invariante :

Exercice 23. Soit µ une distribution invariante. Alors µ(x) 6= 0 pour toutx ∈ E.

Correction : Comme∑y∈E µ(y) = 1, il existe y ∈ E pour lequel µ(y) 6= 0.

Comme la chaîne est irréductible, ∃n ≥ 0 tel que Qn(y, x) > 0. Or

µ(x) =∑z∈E

µ(z)Qn(z, x) ≥ µ(y)Qn(y, x) > 0.

Il existe toujours une mesure invariante pour une chaîne récurrente. On laconstruit comme ceci :

Proposition 14. Soit X une chaîne de Markov IR, et x ∈ E. On appelle µxla mesure définie par

µx(y) = Ex(

T (1)x∑n=1

1Xn=y), y ∈ E

le nombre moyen de visites en y entre 2 passages en x. Alors pour tout x, µxest une mesure invariante.

De plus, 0 < µx(y) <∞ pour tout x, y ∈ E.

Comme la chaine est récurrente, on sait que T (1)x <∞ p.s.. Par contre, rien

n’indique que ET (1)x <∞.

Démonstration. Vérifions que cette mesure est bien invariante.

31

Soit y ∈ E.

µx(y) = Ex(∑n≥1

1Xn=y et n≤T (1)

x)

= (∑n≥1

Px(Xn = y et n ≤ T (1)x ))

=∑n≥1

∑z∈E

Px(Xn = y,Xn−1 = z, T (1)x ≥ n)

=∑n≥1

∑z∈E

Px(Xn = y|Xn−1 = z, T (1)x ≥ n)Px(Xn−1 = z, T (1)

x ≥ n) on conditionne par la valeur de Xn−1

=∑n≥1

∑z∈E

Px(Xn = y|Xn−1 = z)Px(Xn−1 = z, T (1)x ≥ n)

car T (1)x ≥ n⇔ (T (1)

x ≤ n− 1)c est mesurable par rapport à X0, X1, . . . , Xn−1

=∑n≥1

∑z∈E

Q(z, y)Px(Xn−1 = z, T (1)x ≥ n)

=∑z∈E

Q(z, y)∑n≥1

Px(Xn−1 = z, T (1)x ≥ n)

=∑z∈E

Q(z, y)∑n≥0

Px(Xn = z, T (1)x ≥ n+ 1)

=∑z∈E

Q(z, y)Ex(

T (1)x −1∑k=0

1Xn=z)

=∑z∈E

Q(z, y)µx(z)

Montrons que 0 < µx(y) < ∞. Comme x et y communiquent, il existen,m > 0 tels que Qn(x, y) > 0, Qm(x, y) > 0. Comme la mesure est invariante :

µx(y) = (Qnµx)(y) =∑z

Qn(z, y)µx(z) > Qn(x, y)µx(x) > 0.

De manière similaire,

1 = µx(x) =∑z∈E

Qm(z, x)µx(z) > Qm(y, x)µx(y),

donc µx(y) 6 (Qm(y, x))−1 <∞.

Comme µx est une mesure invariante, si sa masse est finie, alors

π(y) =µx(y)

µx(E), y ∈ E.

est une distribution invariante (et ne dépend pas de x).

32

On a

µx(E) =∑y∈E

ExT (1)x∑n=1

1Xn=y = ExT (1)x∑n=1

∑y

1Xn=y = ExT (1)x∑n=1

1 = ExT (1)x .

On en déduit

π(y) =µx(y)

ExT (1)x

Avec x = y, ça nous donne notamment une relation entre la valeur de la distri-bution invariante en x et le temps de retour moyen :

π(x) =1

ExT (1)x

Même si c’est théoriquement intéressant, ExT (1)x (ou πx(y)) est dur à calculer

en pratique : Il faut résoudre un systèmes de |E| équations a |E| inconnues.Voici un outil plus pratique :

Proposition 15. On dit qu’une distribution µ est réversible si

µ(x)Q(x, y) = µ(y)Q(y, x), x, y ∈ E.

Toute distribution réversible est aussi invariante

Démonstration.

Pµ(X1 = x) =∑y

µ(y)Q(y, x) =∑y

µ(x)Q(x, y) = µ(x)∑y

Q(x, y) = µ(x),

c’est-à-dire µQ = µ.

Exemple 12. Cherchons une éventuelle distribution invariante dans l’urned’Ehrenfest. Commençons par chercher une mesure réversible. Une telle mesureµ doit vérifier

µ(k)Q(k, k + 1) = µ(k + 1)Q(k + 1, k), 0 ≤ k < N

µ(k)(1− k/N)= µ(k + 1)(k + 1)/N

µ(k + 1) =N − kk + 1

µ(k).

On en déduit par récurrence

µ(k) =(N − (k − 1))(N − (k − 2)) . . .

k(k − 1) . . .µ(1) =

(N − k + 1)(N − k + 2) . . .

k(k − 1) . . .µ(0) = CkNµ(0).

33

Pour être en présence d’une distribution, il faut que la masse totale fasse 1,c’est-à-dire

µ(0)

N∑k=0

CkN = µ(0)(1 + 1)N = 1,

donc µ(0) = 2−N , donc µ = (2−NCkN )k=0...N est une distribution invariante(c’est la loi binomiale).

Exercice 24. 1. Donner une mesure invariante pour la marche aléatoiresur Z et montrer qu’il n’existe pas de distribution invariante.

2. Montrer que la marche aléatoire dissymétrique sur Z admet plus d’unemesure invariante (même à une constante près). Pourquoi cela ne contredit-il pas le Théorème 4 ? Existe-t-il une distribution invariante ?

Rappelons (Exercice 15) que dans le cas de la marche symétrique, le premiertemps de retour en 0 vérifie

E0(T0) =∞

Remarque 5. Les équations (où les inconnues sont les ax, x ∈ E)

ax =∑y∈E

Q(y, x)ay, x ∈ E,

qui caractérisent les mesures invariantes, sont a ne pas confondre avec les équa-tions

ax =∑y∈E

Q(x, y)ay,

dont la plus petite solution donne les probabilités d’absorption.

Exemple 13 (Moteur de recherche). On appelle N le nombre de pages web. Onconsidère un internaute qui surfe sur le web en cliquant au hasard sur chaquepage web. On note x → y si une page x pointe vers une page y. quelle est lamatrice de transition de cette chaîne de Markov ? On appelle crédit accordé parune page x à une page y la valeur

cx→y =1x→y

#liens dans la page x

Intuitivement, quel sera le temps moyen passé sur une page web ? Quel est lelien avec la distribution invariante ? Quel devrait être le temps de retour moyen ?

On a le théorème général :

34

Théorème 5. Soit X une chaîne de Markov irréductible. Alors on a les équi-valences suivantes :

(i)X admet une distribution invariante unique, définie par

π(x) =1

Ex(T(1)x )

(ii) Tout état x vérifieEx(T (1)

x ) <∞

(iii) Un état x le vérifie.

Démonstration. On suppose X0 = x p.s., donc Tx = T(1)x .

D’après la proposition 14, µx est une mesure invariante qui vérifie

µx(E) =∑y

ExTx∑n=1

1Xn=y = ExTx∑n=1

∑y

1Xn=y

= ETx∑n=1

1 = ExTx,

(iii)⇒ (i)Donc si Ex(Tx) <∞, µx

Ex(Tx) est une distribution invariante . Comme il existeau plus une distribution invariante (à constante près), tout autre distributioninvariante π′ vérifie π′ = Cπ pour une certaine constante C, mais la contrainte∑x∈E π(x) =

∑x∈E π

′(x) = 1 impose C = 1. Donc π = 1.

(i) ⇒ (ii) Si π est une distribution invariante, µx = λπ pour un certainλ <∞, et donc

Ex(Tx) = µx(E) = λ <∞,

pour tout x ∈ E.

Si X vérifie la condition (i) (ou de manière équivalente (ii) et (iii)), on ditque X est récurrente positive, sinon on dit qu’elle est récurrente nulle.

Théorème 6. Soit X une chaîne de Markov IR sur un espace d’états fini. AlorsX est IRP.

Démonstration. Soit x ∈ E,µx la mesure définie à la proposition 14. Commeµx(y) <∞ pour y ∈ E, µx(E) =

∑y∈E µx(y) <∞, et donc

π =µx

µx(E)

définit une distribution invariante.

35

Exercice 25. On considère une particule qui saute de sommets en sommets surun cube en trois dimensions. Elle ne peut sauter que sur un sommet adjacent,c’est-à-dire relié par une arête. Elle n’a pas de préférence de direction.

1. Pourquoi y’a-t-il une unique distribution invariante ? Quelle est-elle ?2. Quel est le temps moyen de retour en un sommet donné ?3. Soit x et y deux sommets du cubes. En moyenne, combien de temps la

puce passe-t-elle en x entre deux passages en y ?4. * Soit x et y deux sommets opposés du cube (c’est-à-dire pas sur la même

face). Quel est le temps moyen pour aller de x à y ?

A RENDRE : Ne rendre que les questions 1 et 2.

Exercice 26 (Remplacement de machines). On modélise le cycle de renouvel-lement d’une machine par une chaîne de Markov. Au temps 0 on affecte unemachine à une certaine fonction. La machine a une probabilité pi ∈ (0, 1) depasser de la i-ème à la i+ 1-ème année, et si elle flanche, elle est remplacée parune machine neuve identique.

1. Ecrire le graphe de la chaine de Markov.2. a) Montrer qu’il existe une mesure invariante µ telle que µ(0) = 1 ssi

vN :=

N∏k=0

pk → 0 quand N →∞.

b)En utilisant le rappel sur les produits infinis, vérifier que cette conditionest vérifiée ssi

∑k≥1(1− pk) =∞.

c)En déduire que si∑k≥0(1− pk) <∞, E(temps de remplacement) =∞.

3. On suppose qu’il n’y a pas de vieillissement : la probabilité de passerde l’année i à l’année i + 1 est la même pour tout i. On note p ∈ (0, 1) cetteprobabilité. Quel est le temps moyen de remplacement ? Qu’en déduit-on pourune machine qui vieillit normalement ?

Rappel sur les produits infinis.

Théorème 7. Pour toute suite de nombres pn ∈ (0, 1],

n∏k=1

pk → l ∈ [0, 1]

avecl = 0⇔

∑k≥0

(1− pk) =∞.

Preuve :On pose

Πn =

n∏k=1

pk,

36

on s’intéresse à la convergence de la suite Πn. On a Πn > 0 et

log(Πn) =

n∑k=1

log(pk)

et Πn converge ssi log(Πn) converge. Il faut donc au moins que log(pk) → 0 etdonc que pk → 1.

Remarquons que si pk ne tend pas vers 1 il existe η < 1 tel que pk ≤ η pourune infinité de k et donc pour tout q ≥ 0 on a Πn ≤ ηq pour n suffisammentgrand, d’ou Πn → 0.

Si par contre pk → 1 on pose qk = 1− pk → 0 et on a

log(pk) = log(1− qk) ∼ −qk

et donc les stg log(pk) et −qk ont même nature.Donc Πn → 0 ssi log(Πn)→ −∞ ssi

∑qk =∞.

4.1 Convergence à l’équilibrePeut-on dire que si π est une distribution invariante, alors la loi de Xn

converge vers π ? La réponse est vraie sous certaines hypothèses, mais il fauttout de même exclure certaines situation désagréables...

Exemple 14. Soit la matrice de transition(0 11 0

)Le distribution (1/2)(δ1 + δ2) est invariante, mais comme Xn oscille indéfini-ment entre 1 (n pair) et 2 (n impair), sa loi ne peut pas converger...

Définition 9. Une chaîne irréductible est dite apériodique ssi pour tout x ∈ EQn(x, x) > 0 pour n suffisamment grand.

A l’inverse, pour une chaine périodique, il existe un entier p > 1 minimal,appelée période, tel que pour un certain x ∈ E et un certain entier k, pour toutn ≥ 1,

Qk+np(x, x) = 0.

(admis)

Théorème 8. Une chaine est apériodique si pour un x ∈ E le pgcd de tous lestemps n tels que Qn(x, x) > 0 est 1 .

Démonstration. Si ce n’est pas le cas, soit p > 1 le pgcd. Pour k > 0, posonsn = kp+1. Alors, comme p ne divise pas n, on a Qn(x, x) = 0. Il y a une infinitéde n comme ca, donc la chaine a une période de p.

37

Montrons que si la propriété est vérifiée par un x, alors elle l’est par tous leséléments de E. Soit y ∈ E. Soit m,m′ > 0 tel que Qm

′(x, y) > 0, Qm(y, x) > 0.

Si Qk+np(y, y) > 0, on a Qm+k+np+m′(x, x) > 0, ce qui est faux. Donc y n’estpas périodique.

Théorème 9 (Convergence à l’équilibre). Soit X une chaîne de Markov IRPA.Supposons que π soit une distribution invariante pour X. Alors pour tout x ∈ E,

Px(Xn = y)→ π(y).

Démonstration. On va utiliser un couplage : Soit Y = (Yn)n∈N une chaîne deMarkov de matrice de transition Q et de distribution initiale π. Alors on définit

Xn = (Xn, Yn).

“Le futur ne dépend que du présent”, donc X est une chaîne de Markov .Elle est de plus irréductible car pour aller d’un état (x, x′) à un état (y, y′)

on choisit q > q′ tels que P(xq→ y) > 0 et P(x′

q′→ y′) > 0. On sait de plus quepour tout n ≥ n0, P(x

n→ x) > 0 et P(x′n→ x′) > 0. On a alors pour la chaîne

X :

P

(x

n0→ xq→ y

x′n0+q−q′→ x′

q′→ y′

)> 0

c’est-à-direP((x, x′)

n0+q→ (y, y′)) > 0,

donc X est irréductible.De plus la distribution Π(x, y) = π(x)π(y) est invariante pour X car

PΠ(X1 = (x, y)) = Pπ(X1 = x)Pπ(Y1 = y) = π(x)π(y)

. Le chaîne X est donc récurrente positive.On choisit arbitrairement un état x ∈ E et on pose

T = minn : Xn = (x, x) = minn : Xn = Yn = x.

T est un temps d’arrêt car c’est le temps de retour en (x, x). Comme X estirréductible récurrente, T <∞ p.s..

On pose

Zn =

Xn si n ≤ TYn si n > T .

On utilise une astuce pour montrer que Z = (Zn)n≥0 est une chaîne deMarkov de même matrice de transition que X et Y et de loi initiale (Z0 = X0 =x).

38

Comme T est un temps d’arrêt, d’après la Propriété de Markov forte,

(XT+n)n>0

est une chaîne de Markov de même matrice de transition que X , de loi initiale(x, x), et indépendante de (Xn, n 6 T ).

Soit X ′ = (Y,X) obtenue en échangeant les coordonnées de X . Pour lesmêmes raisons, (X ′T+n, n > 0) a la même loi que (X ′n, n > 0), et est indépendantede (X ′n, n 6 T ), et donc de (Xn, n 6 T ). Remarquons que (Xn, n 6 T ) et(X ′n, n 6 T ).

Donc, X ′′, qu’on construit en collant (Xn, n 6 T ), et (X ′n, T + n, n > 0), ala même loi que X . En regardant la 1re coordonnée de cette égalité en loi, onen déduit que Z a la même loi que X.

Donc pour tout n, Zn a la même loi que Xn (c’est-à-dire Px(Zn = y) =Qn(x, y)). Comme π est invariante et est la loi de Y0, c’est aussi la loi de Yn eton a

|P(Xn = y)− π(y)| = |P(Zn = y)− P(Yn = y)|= |P(Zn = y, n ≤ T ) + P(Zn = y, n > T )− P(Yn = y, n > T ) + P(Yn = y, n ≤ T )|= |P(Zn = y, n ≤ T ) + P(Zn = y, n > T )− P(Zn = y, n > T ) + P(Yn = y, n ≤ T )|= |P(Xn = y, n ≤ T )

≤ P(n ≤ T )→ 0

car T <∞ p.s..

Exercice 27. Soit Q une matrice stochastique de taille N , et λ une valeurpropre complexe de Q de module 1. Montrer que λ est une racine de l’unité.(Indication : Commencer par le cas ou la chaîne de Markov correspondante estirréductible et apériodique).

Conclusion : Une “bonne” chaîne de Markov est une chaîne de Markov IRPA ;car elle admet automatiquement une distribution invariante.

Exercice 28. Soit X une chaîne de Markov IRP. On suppose que X0 ∼ π suitla loi invariante. On pose

τ = minn ≥ 1 : Xn = X0.

1.Montrer que E(τ) = |E| est le nombre d’états possibles (en particulierE(τ) =∞ si il y a une infinité d’états). Est-ce en contradiction avec le fait quepour tout x ∈ E, Ex(T

(1)x ) = 1

π(x) <∞ ?2. En déduire que si E est infini, “de nombreux états ont un grand temps de

retour”, c’est-à-dire que pour chaque M > 0, il y a une infinité de x ∈ E telsque Ex(Tx) ≥ M . (En lien avec π(x) = Ex(Tx)−1, ce sont les états les “moinsprobables” qui ont les plus grands temps de retour).

39

Exercice 29 (Moteur de recherche). Le concepteur d’un moteur de recherchessouhaite classer les pages internet du web W (au nombre de N) dans l’ordred’importance, afin qu’après une requête les pages les plus importantes arriventen premier.

Il s’agit donc de définir la notion d’importance. On note x→ y si une page xpointe vers une page y, et on appelle crédit accordé par une page x à une pagey la valeur

cx→y =1x→y

#liens dans la page xOn décide qu’on appellera “importance” une grandeur Ix qui vérifie

Iy =∑x→y

cx→yIx,

autrement dit l’importance d’une page est la somme des importances des pagesqui pointent vers elle, pondérées par le crédit que chacune de ces pages apporteà y.

On suppose qu’il existe toujours une suite de liens qui mène d’une page versune autre.

1. Montrer qu’il existe bien une telle grandeur Ix, x ∈ W , et l’écrire commela distribution stationnaire d’une chaîne de Markov .

2. Donner un exemple (simpliste) ou cette chaîne est périodique. Montrerque si une des pages pointe vers elle-même, alors la chaîne est apériodique.L’hypothèse d’apériodicité est donc plausible...Donnez un autre exemple simpleoù la chaine est apériodique.

3. Un surfeur surfe le web en cliquant au hasard sur les liens de chaque page.On suppose que n pages x1, . . . , xn ont chacune un unique lien qui pointe versune page y. Montrer que

1

Ey(T(1)y )

=∑i

1

Exi(T(1)xi )

.

En quoi cela justifie-t-il dans ce cas particulier l’assertion que une page importantesera visitée plus souvent qu’une page moins importante ? (on suppose la chaineapériodique).

Démonstration. 1. La chaine est irréductible finie, donc récurrente positive,donc il existe une distribution invariante. On pose I = π et c’est bon.

2. Soit x ∈ E qui pointe vers lui-même.Le PGCD des temps de retour en xest donc 1.

3. La chaine est IRPA, donc d’après le théorème , π(x) = 1

ET (1)x

. Comme lamesure est invariante,

π(x) =∑y→x

π(y)Q(y, x).

Q(y, x) = 1 car le lien est unique, ce qui prouve la relation demandée.

40

Exercice 30. Soit X une chaîne de Markov à espace d’états E fini, avec desclasses récurrentes R1, R2, R3, . . . et des classes transientes T1, T2, T3, . . . .

1. Montrer que toute mesure invariante µ vérifie µ(Ti) = 0 pour tout i.2. Comme les classes récurrentes sont fermées (on ne peut pas passer d’une

classe récurrente à une autre classe), on peut considérer la chaîne de Markovsur chaque classe séparément. On note µi une mesure invariante pour la classeRi.

Pour tout i, soit λi ≥ 0 un nombre positif. Montrer que

µ(x) =

λiµi(x) si i ∈ Ri,0 si x ∈ Tj pour un certain j,

est une mesure invariante.3. Montrer que toute mesure invariante peut s’écrire de cette manière.4. En déduire qu’il peut y avoir plusieurs distributions invariantes.

4.2 Théorème ergodiqueBilan :— Quelconque : On divise entre classes récurrentes et transientes. Une me-

sure invariante vaut 0 sur les points transients.— Irréductible récurrente (ou LA classe récurrente d’une chaine irréduc-

tible) : Il existe une mesure invariante.— Irréductible récurrente positive : Il existe une distribution invariante π.— Irréductible récurrente positive apériodique : Xn converge en loi vers π

ET théorème ergodique (voir après).Le théorème 9 nous dit que si X est une chaîne IRPA la loi de Xn converge

vers la distribution invariante π,

XnL→ π.

En revanche, pour chaque trajectoire, Xn ne converge pas car il ne cesse desauter d’un état à l’autre. On peut par contre dire que p.s. Xn converge enmoyenne en un certain sens (rappelons-nous que Xn n’est pas forcément unnombre...)

Le théorème de convergence en moyenne p.s. par excellence est la loi desgrands nombres :

Théorème 10 (LGN). Soit (Vn)n des variables IID positives. Alors p.s.

1

n

n∑k=1

Vk → E(V1).

Rappel : Convergence de Césaro.Soit (Un)n>1 une suite. On appelle moyenne (de Césaro) de Un la suite

Mn =U1 + · · ·+ Un

n.

41

Théorème 11. Si Un → l, alors Mn → l.

Par contre la réciproque est fausse. Par exemple, la suite Un = (−1)n

converge en moyenne vers 0, alors que Un ne converge pas. La théorème er-godique est un résultat de convergence en moyenne, plus faible que le résultatde convergence à l’équilibre (par contre, il demande moins d’hypothèses).

Pour les chaines de Markov on a le même phénomène :

Théorème 12 (Théorème ergodique). Soit X une chaîne de Markov irréduc-tible de distribution initiale une probabilité µ0. Pour n ≥ 1, on note Vx(n) lenombre de visites en x avant le temps n

Vx(n) =

n∑k=1

1Xk=x.

Alors pour tout état x ∈ E p.s.

1

nVx(n) =

1

n

n∑k=1

1Xk=x →1

Ex(T(1)x )

.

Remarque 6. Comme on a pas fait d’hypothèse de récurrence, cette dernièrequantité peut être nulle.

Démonstration. Si la chaîne est transiente, le nombre de visites est p.s. fini et

Vx(n)

n→ 0 =

1

E(T(1)x )

p.s..Supposons la chaîne récurrente. Supposons X0 = x, et posons T (0)

x = 0. Onappelle Srx = T

(r)x −T (r−1)

x la r-ème excursion entre 2 passages en x, pour r ≥ 1.On a vu que les Srx sont des variables iid d’espérance

E(S1x) = E(T (1)

x ).

D’après la LGN,

Ut = S(1)x + S

(2)x + · · ·+ Stxt

→ Ex(T (1)x )p.s. (2)

quand t→∞. Comme il y a eu Vx(n) visites au temps n, on a

UVx(n) ≤ n ≤ UVx(n)+1.

UVx(n)

Vx(n)≤ n

Vx(n)≤UVx(n)+1

Vx(n)=

UVx(n)+1

Vx(n) + 1

Vx(n) + 1

Vx(n),

en utilisant 2 et le fait que Vx(n)→∞ p.s. on an

Vx(n)→ Ex(T (1)

x )p.s.

42

Exercice 31. A l’aide du théorème ergodique, démontrer la proposition ci-dessous.

Proposition 16. Soit X une chaîne de Markov irréductible récurrente positivede loi stationnaire π.

Soit f une fonction bornée de E 7→ R. On appelle

f =∑x

f(x)π(x)

la valeur moyenne de f par rapport à la mesure π.Alors

1

n

n∑k=1

f(Xk)→ f .

Démonstration. : Exercice : Commencer par le cas ou E est fini.

Exercice 32. On reprend l’exercice de renouvellement des machines. On sup-pose désormais que la casse d’une machine a un cout très élevé, noté a > 0.L’utilisateur décide alors d’adopter la politique suivante : Il fixe un âge limiteL, et si la machine arrive à l’âge L, alors il la remplace par une nouvelle machine,ce qui lui occasionne un cout b > 0. On suppose évidemment que b < a, sinoncette politique est inutile.

1. Ecrire la chaîne de Markov correspondante. Etudier les mesures et proba-bilités invariantes.

2. Montrer que le cout au temps n s’écrit

Cn = (b− a)VL(n) + aV0(n)− a,

ou Vx(n) est le nombre de visites en x avant le temps n.3. On note vk = p0 . . . pk−1 pour k ≥ 1. Calculer le cout limite moyen

m = limn

Cnn.

4. Calculer le cout moyen quand on suppose un vieillissement constant deparamètre p ∈ (0, 1)).

4) Dans le cas d’un vieillissement constant, on a pk = p, et donc

s =

L−1∑k=0

pk =1− pL

1− p,

et donc

π(0) =µ(0)

s=

1− p1− pL−1

π(L) =µ(L)

s=pL−1(1− p)

1− pL−1,

43

et donc le cout moyen est

γ(L) =Cnn

=1− p

1− pL−1

(bpL−1 + (b− a)

)

44

4.3 Arithmétique et chaîne de MarkovOn jette un dé à 6 faces n fois, et on appelleXn la somme de tous les résultats

obtenus. On veut calculer

limn

P(Xn est un multiple de 13).

1. Montrer queXn est une chaîne de Markov. Pourquoi ne peut-on appliquerle théorème de convergence vers l’équilibre ?

2. On considère Xn13 ∈ 0, 1, 2, . . . , 12 le reste de la division euclidienne

de Xn par 13. Montrer que c’est une chaîne de Markov irréductible ré-currente positive apériodique. En déduire le résultat.

3. On pose Yn = 5Xn. Calculer

limn

P(Yn est un multiple de 13).

Calculerlimn


4. On considère cette fois Pn le produit de tous les résultats obtenus aprèsn lancers, en supposant P0 = 1.a)Calculer

limn

P(Pn est un multiple de 13)

limn

P(Pn ≡ 1[13])

b) Etudier Yn4le reste de la division euclidienne de Xn par 4. Calculer

limn


Que se passe-t-il si on remplace 4 par un autre nombre ?5. Dans toutes les situations précédentes, calculer le nombre moyen de vi-

sites à l’état désiré, c’est-à-dire

limn

#n : Xn est un multiple de 13/10/4...n

.

Correction :1. Xn n’est pas récurrente.2. Soit deux états x, y ∈ 0, 1, 2, . . . , 12. Supposons par exemple x < y. Si

on fait y−x 1 de suite (ce qui a une probabilité non-nulle), alors on passede x à y, donc Qn(x, y) > 0 pour n = y − x. Si x > y, on peut suivrele chemin x → x + 1 → . . . 13 = 0 → 1 → · · · → y avec une probabiliténon-nulle. Donc la chaîne est irréductible. Comme l’espace d’états estfini, elle est aussi récurrente positive.

45

Comme chaque point x à 6 antécédents x− 1, . . . , x− 6 et 6 destinationséquiprobables (x+1, . . . , x+6), on montre facilement que la distributionuniforme π(x) = 1

13 est la distribution stationnaire.Pour montrer qu’elle est apériodique, on considère x ∈ E. Comme onpeut faire six 1 de suite avec probabilité > 0, Q6(x, x) > 0. Si on faitun 2 puis quatre 1, on retombe sur x, et on a donc Q5(x, x) > 0. On adonc Qn0(x, x) > 0 et Qn0+1(x, x) > 0 avec n0 = 5, et la chaîne est doncapériodique. En utilisant le théorème de convergence à l’équilibre, on endéduit

limn

P(Xn est un multiple de 13) = limn

P(Xn13

= 0)→ π(0) =1

13.

3. La situation est un peu plus compliquée car on fait des sauts de 5 en 5(modulo 13), on a le graphe suivant

0→ 5→ 10→ 15 = 2→ 7→ 12→ 17 = 4→ 9→ 14 = 1→ 6→ 11→ 16 = 3→ 8→ 0→ etc...

On peut encore aller de n’importe quel point à n’importe quel autre pointen faisant suffisamment de 1 de suite, la chaîne est donc irréductible, etdonc récurrente positive. La distribution stationnaire est encore π(x) =1/13.L’apériodicité se traite comme dans le cas précédent : En considérantdeux chemins allant d’un point x à lui-meme, l’un ne comportant que des1, et l’autre comportant un 2 et que des 1, on montre que la chaîne estapériodique. On a donc la même conclusion qu’à la question précédente.Si on s’intéresse désormais à la chaîne Xn

10, la situation n’est pas la

même. On ne peut effectuer que des transitions du type

0→ 5→ 10 = 0→ 5→ 10...

Donc Xn ∈ 0, 5 tout le temps. Si on est en 0 et qu’on fait 2, 4 ou 6,on reste en 0, autrement on reste en 5. La chaîne a donc la matrice detransition (

1/2 1/21/2 1/2

)et la distribution invariante (1/2, 1/2).

4. a) Regardons cette fois ce qui se passe si on ne fait que des 2.

1→ 2→ 4→ 8→ 16 = 3→ 6→ 12→ 24 = 11→ 22 = 9→ 18 = 5→ 10→ 20 = 7→ 14 = 1

On ne passera jamais par 0 ! Donc P(Xn est un multiple de 13) = 0 →0... A part 0, on peut passer par tous les états, donc la chaîne est IRP.Elle est aussi apériodique pour des raisons similaires aux questions pré-cédentes car un chemin 2, 2, 2, ... peut être raccourci d’une longueur enfaisant 4, 2, 2, ...

46

La distribution stationnaire est encore π(x) = 1/12, et on a pour 1 commepour un autre état non-nul

P(Xn = 1[13])→ 1

12.

b) Cette fois on considère la valeur de Yn modulo 4. On a

0→ 0

1→ 1, 2, 3, 0

2→ 2, 0

3→ 3, 2, 0.

Donc 0 est une classe récurrente, et comme tout autre état mène à 0,les autres états sont transients. On en déduit que la chaîne passera par0 et qu’elle y restera constamment, donc

limn

Pn(Xn = 0[4]) = 1.

La différence avec 13 est la suivante : Si Xn = 13, cela signifie qu’on apu multiplier les lancés successifs L1, L2, . . . pour obtenir 13 :

13 = D1D2...Dn.

Ceci dit, comme la seule décomposition de 13 en nombres premiers est

13 = 1× 13,

cela veut dire qu’un des lancés est égal à 13, ce qui est impossible.On peut en déduire de la même manière que tout nombre k pour lequel unnombre premier différent de 1, 2, 3, 4, 5, 6 apparait dans sa compositionvérifiera

P(Xn = 0[k])→ 0.

Si par contre k peut s’écrire

k = p1p2...pq

avec pq ∈ 0, 1, 2, . . . , 6, ce n’est qu’une question de temps avant que lachaîne n’effectue la séquence

p1, p2, ..., pq

ce qui implique que k sera inéluctablement un facteur de Xn pour un nsuffisamment large, et donc

limP(Xn = 0[k])→ 1.

5. Le théorème ergodique s’applique à toute chaîne irréductible. Pour lesquestions 1→ 5.b), on a donc

...→ π(x)

qui vaut selon les questions 113 ,

110 ,

12 ,

112 ou 1.

47

4.4 Marche aléatoire sur un graphe.On appelle graphe un ensemble de points E, et un ensemble d’arêtes A qui

à chaque paire de points x, y associe a(x, y) qui vaut 0 ou 1. Si a(x, y) = 1, ondit que x et y sont connectés, ou voisins, et on note x ∼ y. On appelle degré dex et on note d(x) le nombre de voisins de x.

On considère la chaîne de MarkovXn qui se déplace aléatoirement en sautantd’un point à un autre, sachant que :

1. D’un point x, on ne peut aller que sur un voisin de x,2. Tous les voisins de x ont la même probabilité d’être choisis.

1. Introduction. Donner une expression deQ(x, y), la matrice de transition.2. Irréductibilité.On dit que deux points x et y sont reliés dans le graphe si il existe une suite

de points x0 = x, x1, . . . , xk = y tels que xi ∼ xi+1. On dit que le graphe estconnexe si tous les points sont reliés.

Donner un exemple de graphe qui n’est pas connexe. Donner une conditionnécessaire et suffisante pour que la chaîne soit irréductible.

On suppose dans la suite que le graphe est connexe.3. récurrence.a) On suppose que E est fini. Montrer que la chaîne est irréductible récur-

rente positive.b) Donner des exemples de graphes ou la chaîne est récurrente mais pas

récurrente positive, et ou la chaîne de Markov n’est même pas récurrente. (Onpourra utiliser les résultats sur la marche aléatoire dans Zd).

Calculer d(x) pour la marche aléatoire symétrique sur Zd. 4. mesures in-variantes On définit la mesure suivante sur le graphe :

µ(x) = d(x).

a) Montrer que µ est une mesure réversible.b) On suppose que E est fini. Donner une distribution invariante de la chaîne

de Markov. En existe-t-il d’autres ?c) On suppose le graphe fini et connexe. Donner l’espérance du temps de

retour en un point x.d) On suppose dans cette question que le graphe est fini, mais plus qu’il est

connexe. Peut-il exister plusieurs mesures invariantes ? Donner la forme généralede toutes les mesures invariantes.

5. Mesure d’occupationa) Donner un exemple de graphe non-apériodique.b) On considère le graphe suivant : ... A votre avis, la chaîne va-t-elle passer

plus de temps en x ou en y ? Le graphe est-il apériodique ?c) On suppose le graphe apériodique. Soit x un point du graphe. Montrer

que, quelle que soit la distribution initiale,

P(Xn = x)→ d(x)

2#A.

48

En déduire la vraie réponse à la question b).6. Théorème ergodique. Déterminer le temps moyen passé par la chaîne

en un point x.7. Application aux échecs.a) On considère une tour que l’on déplace aléatoirement sur un échiquier

(8x8 cases). Chacune des cases qui lui sont accessibles ont même probabilité àchaque coup. On rappelle qu’une tour ne peut faire qu’un mouvement horizontalou vertical à chaque coup. Quel est le temps moyen de retour au point de départ ?(en fonction du point de départ ?). Quelle est la période ?

b) même question pour un cavalier (mouvements autorisés : 2 cases dans unedirection puis 1 case dans l’autre direction).

c) même question pour un fou (mouvement uniquement diagonaux).

correction : 1.Q(x, y) =

1xvoisin de y

d(x).

2. La chaîne est irréductible si pour tous points x, y il existe des états x1 =x, . . . , xq = y tels que chaque transition Q(xi, xi+1) soit > 0, c’est-à-dire si legraphe est connexe.

3.a) Toute chaîne de Markov irréductible finie est récurrente positive.b)On a vu dans l’exo correspondant que la marche aléatoire sur Z2 était

récurrente, mais pas récurrente positive. La marche aléatoire sur Zd, d ≥ 3 n’estmême pas récurrente. Pourtant ces chaîne de Markov ont bien une structure degraphe, les voisins d’un point x étant tous les points reliés à x dans la grille Zd(on a d’ailleurs dans ce cas d(x) = 2d).

4. a) Soit x, y. On a

µ(x)Q(x, y) = d(x)1x∼yd(x)

= 1x∼y = µ(y)Q(y, x),

donc la mesure est réversible.b) Comme la chaîne est IRP il existe une unique distribution stationnaire π.

Comme µ est réversible, elle est invariante, et comme elle a une masse finie etest invariante, on a

π(x) =µ(x)

µ(E).

On aµ(E) =

∑x∈E

µ(x) =∑x∈E

d(x) =∑

x∈E,y∈E1x∼y = 2#A,

le facteur 2 dans la somme précédente venant du fait que chaque couple (x, y)est compté 2 fois ((x, y) et (y, x)).

On a doncπ(x) =

d(x)

2#A.

d) Supposons que E soit l’union disjointe de sous-ensembles E1, E2, . . . ,chaque sous-ensemble Ei étant connexe pour la structure d’arêtes A. Sur chaque

49

Ei, on note πi l’unique distribution invariante correspondante, donnée d’aprèsc) par

πi(x) =d(x)

#Ai, x ∈ Ei,

Ai étant le nombre d’arêtes impliquant des points de Ei.Soit α1, α2, . . . des nombres positifs tels que∑

i

αi = 1.

On poseπ(x) =

αiπi(x) si x ∈ Ei.

π est une mesure, et c’est une mesure de probabilités car

µ(E) =∑i

µ(Ei) =∑i

αiπi(Ei) =∑i

αi = 1.

Montrons que π est stationnaire.

Pπ(X1 = x) =∑i

∑x∈Ei

P(X0 = x)Px(X1 = x)

=∑i

αi(∑x∈Ei

πi(x)Px(X1 = x))

=∑i

αiπi(x) = π(x)

ou à l’avant-dernière ligne on a utilisé le fait que πi est stationnaire pour larestriction de la chaîne à Ei.

On remarque en particulier qu’il y a une infinités de distributions invariantes.

Supposons pour la réciproque que π soit une distribution invariante. Onappelle toujours πi l’unique distribution invariante sur Ei.

On pose αi = π(Ei) = P(X0 ∈ Ei) si X0 a probabilité π. Si αi 6= 0 onconsidère la chaîne X(i) définie comme X conditionnée par le fait que X0 ∈ Ei.C’est une chaîne de Markov à valeurs dans Ei. Sa distribution initiale est, pourx ∈ Ei,

P(X(i)0 = x) = P(X0 = x|X0 ∈ Ei) =

P(X0 = x)

P(X0 ∈ Ei)=π(x)

αi.

La distribution de X(i)1 est, pour x ∈ Ei,

P(X(i)1 = x) =

Pπ(X1 = x,X0 ∈ Ei)P(X0 ∈ Ei)

==Pπ(X1 = x)

P(X0 ∈ Ei)=π(x)

αi

50

car π est invariante pour X. La troisième inégalité provient du fait que si X1 ∈Ei, comme les Ei sont non-connectés, alors X0 est aussi nécessairement dansEi. On en déduit que π

αiest une distribution stationnaire pour X(i), elle est

donc égale à l’unique distribution stationnaire πi sur Ei. On a donc

π(x) = αiπi(x), x ∈ Ei

(le cas αi = 0 se traite aisément). On a de plus

1 =∑x

π(x) =∑i

∑x∈Ei

αiπi(x) =∑i

αi.

On a donc montré que toute distribution invariante s’écrivait sous cetteforme.

5.c) Il faut appliquer le théorème de convergence à l’équilibre, la chaîne étantIRPA.

6)La chaîne étant irréductible, on a

Vn(x)

x→ π(x) =

d(x)

2#A.

7)a) Chaque case de l’échiquier est connectée avec 7 autres cases horizonta-lement, et 7 autres cases verticalement. On a donc pour tout x d(x) = 14. Lachaîne est irréductible (la tour peut aller n’importe ou en 2 coups), et donc IRP.La distribution invariante est

π(x) =d(x)∑x∈E

=14

64 ∗ 14=

1

64,

c’est la distribution uniforme.On a donc pour tout x

Ex(T (1)x ) =

1

π(x)= 64.

Comme la tour peut aller n’importe ou en n0 = 2 ou n0 + 1 = 3 coups, lachaîne est apériodique (on peut donc appliquer le théorème de convergence àl’équilibre.)

b)Cette fois, les cases n’ont pas toutes le même nombre de voisins. Les casessituées à au moins 2 cases du bord, de type 1, au nombre de n1=4x4=16, ontchacune v1 = 8 voisins.

Les cases situés à une case d’un bord et au moins 2 cases d’un autre, de type2, au nombre de n2 =16, ont chacune v2 = 6 voisins.

Les cases situées sur un bord, et à au moins 2 cases d’un autre bord, de type3, au nombre de n3 =16, ont chacune v3 = 4 voisins.

Les cases situées en diagonale d’u coin, c’est-à-dire B2 et symétriques, aunombre de n4 =4, de type 5, ont chacune v4 = 4 voisins.

Les cases à une case du coin, c’est-à-dire A2, B1 et symétriques, de type 5,au nombre de n5 =8, ont chacune v5 = 3 voisins.

51

Enfin les coins, de type 6, au nombre de n6 = 4, ont chacun v6 = 2 voisins.On a bien

∑i ni =16+16+16+4+8+4=64 cases.

Pour calculer la distribution de retour, il faut connaître le nombre totald’arêtes,∑x

d(x) =1

2

∑i

nivi =1

2(16(8+6+4)+4∗4+8∗3+4∗2) =

16

2(19+2) = 8∗21 = 168.

Le temps de retour en partant d’une case x qui est de type i est donc

Ex(T (1)x ) =

vi168

.

Nous allons montrer que la période est de 2. Etant donné une case x sur lai-ème ligne et la j-ème colonne, on pose

nx = i+ j[2] ∈ 0, 1.

Si l’on bouge le cheval d’une case x = (i, j) à une case y = (i′, j′), on a

nx − ny = i− i′ + j − j′ = 2 + 1 = 1[2].

Donc si Xn est la position de la chaîne de Markov la suite nXn effectue ...0 →1→ 0→ 1→ 0→ .... Il est donc impossible pour Xn de revenir sur ses pas enun nombre impair de coups (si on part à nX0

= 0, pour n impair on a nXn = 1donc Xn 6= X0). La période est donc un multiple de 2.

On peut montrer avec un dessin qu’on peut revenir sur ses pas en n0 = 4 oun0 + 2 = 6 coups. La période est donc au maximum de 2. On en déduit que lapériode est de 2.

c) Concernant le fou, il faut tout d’abord noter que la chaine n’est pasirréductible (le fou reste soit sur les cases noires, soit sur les cases blanches). Ilfaut donc étudier la chaine au sein des 2 classes irréductibles. Il faut comptertous les cas comme dans le cas du cavalier pour obtenir les temps de retour.Comme pour la tour, la chaine est apériodique.

5 Chaines de Markov et simulationEtant donné une probabilité π, le but de cette section est de proposer des

méthodes algorithmiques pour simuler π, c’est-à-dire construire une variablealéatoire de loi π, ou proche de π.

L’idée principale est de construire une chaîne de Markov IRPA, de partird’un état initial arbitraire, et de laisser évoluer la chaine un grand nombred’itérations (et d’utiliser le théorème de convergence à l’équilibre).

5.1 Algorithme Hit-and-runExercice 33 (Simulation de la loi uniforme, Hit-and-Run Algorithm). Soit Aun sous-ensemble mesurable de Rd tel que λ(A) > 0, où λ est la mesure de

52

Lebesgue d-dimensionnelle. On rappelle qu’une variable uniforme sur A a la loi

µA(dx) =λ(dx)

λ(A).

Pour certains ensembles A, les méthodes accept-or-reject sont très peu efficaces,typiquement lorsque A est très “mince”, ou que la dimension d est très grande.Les chaines de Markov peuvent fournir une alternative.

Pour simplifier et parce qu’on travaille dans un cadre discret, on suppose icique A est un sous-ensemble fini de Z2. On suppose de plus que A est connexe,où un point est relié à un autre ssi ils sont reliés par une arête de Z2.

On considère la suite de variables aléatoires au comportement suivant :— X0 ∈ A.— A chaque temps n, on choisit avec probabilité 1/2 la ligne sur laquelle se

situe Xn ou la colonne sur laquelle se situe Xn.— On tire uniformément Xn+1 ∈ A sur cette ligne ou cette colonne.

1. Identifier la matrice de transition Q et les propriétés de la chaîne deMarkov .

2. Montrer que la distribution uniforme sur A est invariante.3. En déduire une manière de simuler approximativement une variable uni-

forme sur A. Quelle convergence a-t-on ?4. Comment pourrait-on généraliser cette méthode dans le cadre continu

(informel) ?

5.2 Algorithme de MetropolisEtant donné une mesure de probabilité π sur un espace E, le but de l’algo-

rithme de Metropolis est de construire une chaine de Markov X = (Xn) telleque la loi de Xn converge vers π,

XnL→ π.

On suppose sans perte de généralité que π(x) > 0 sur E (autrement il suffitd’ôter de E les points où π s’annule). Une manière pour approximer π de cettemanière est de trouver une matrice stochastique Q(x, y) telle que la chaine deMarkov correspondante soit IRPA et π est invariante pour Q. L’algorithme deMetropolis consiste en les étapes suivantes :

— Construire matrice de transition P (x, y) quelconque telle que la chaînede Markov correspondante qui vit dans le bon espace d’états E soit ir-réductible apériodique. Il faut de plus que P soit symétrique : P (x, y) =P (y, x). Pour le bon fonctionnement de l’algorithme de simulation, il fautque la chaine de Markov correspondante soit facile à simuler, c’est-à-direque la loi P (x, ·) doit être facile à calculer.

— Tirer X1 suivant une loi quelconque µ (typiquement µ = δx pour unecertaine configuration x ∈ E)

53

— Pour chaque n, tirer Yn+1 suivant la loi P (Xn, ·) (c’est-à-dire tirer Yn+1

comme si (Xn, Yn+1, . . . ) était une chaîne de Markov de matrice de tran-sition P (x, y))

— Tirer Un une variable de loi uniforme sur [0, 1] indépendamment de (Xn)et (Yn).

— Si π(Yn+1)/π(Xn) > Un, poser Xn+1 = Yn+1

— Sinon, garder Xn+1 = Xn.En d’autre termes, on fait évoluer X = (Xn) comme une chaîne de Markovnormale de matrice de transition P , à la différence qu’à chaque itération onne garde la nouvelle valeur Xn+1 que si le nouveau ratio π(Xn+1)/π(Xn) estsuffisamment élevé, autrement on laisse l’ancienne valeur Xn+1 = Xn.

Exercice 34. Pourquoi (Xn) est une chaîne de Markov (homogène) ? Quelle estsa matrice de transition ? Montrer qu’elle est irréductible et réversible. Qu’endéduisez-vous sur la limite de Xn ? Par quel type plus général de conditionpeut-on remplacer

Un ≤π(Yn+1)

π(Xn)?

Barker a proposé la condition

Un ≤π(Yn+1)

π(Xn) + π(Yn+1)

Exercice 35. Proposer une chaine de Markov pour approximer une variable dePoisson de paramètre θ > 0. Quelle est la matrice de transition correspondantesi l’on utilise la règle de Barker ?

Exercice 36 (Simulation d’un processus de répulsion). On lance n particuleschargées positivement dans [0, 1]2, que l’on approxime par

X = (k/N, j/N); 0 ≤ k, j ≤ N =

(1

NZ)2

∩ [0, 1]2.

Une étude des propriétés électromagnétiques du système permet de montrer quela probabilité d’une configuration (x1, . . . , xn) ∈ Xn est proportionnelle à∏

1≤i<j≤n

‖xi − xj‖.

Proposer une procédure informatique pour simuler informatiquement approxi-mativement ce processus, en se basant sur l’algorithme de Metropolis.

54

6 Chaînes de Markov en temps continu, proces-sus de Poisson

6.1 Lois sans mémoireOn s’intéresse a la file d’attente qui se forme a l’entrée d’un bureau de

Poste. Comme vu précédemment, le nombre de personnes présents dans la fileaprès n évènements (évènement=une personne part ou une personne arrive) estune chaîne de Markov homogène. Les clients arrivent cependant a des tempsaléatoires, on peut donc se demander : Au temps t, quel est le nombre Z(t) declients ayant franchi la porte d’entrée, où t est un nombre réel positif ?

Pour cela il faut modéliser le temps aléatoire entre deux évènements. A priori,on peut choisir ce qu’on veut, mais la réalité nous impose un certain modèle.

Faisons les hypothèses suivantes :— Les temps qui s’écoulent entre les évènements sont des variables aléatoires

IID.— Le temps T qui s’écoule entre deux évènement satisfait au principe sui-

vant : Si après une durée t > 0, il ne s’est toujours rien passé, la probabi-lité qu’il se passe quelque chose dans la prochaine minute (ou n’importequelle durée) est la même probabilité qu’il ne se passe rien dans la pre-mière minute d’attente.

Comment modéliser la seconde propriété ?Pour t, s > 0,

P(T ∈ [t, t+ s])|T > t) = P(T ∈ [0, s]).

Cette propriété caractérise ce qu’on appelle les lois sans mémoire, et il y apeu de solutions.

Exercice 37. Les seules variables aléatoires sans mémoire sont les variablesexponentielles, c’est-a-dire avec fonction de distribution

P(T > t) = exp(−λt), t > 0,

où λ > 0 est le paramètre de la loi.

Toute la liberté de choix que l’on a est donc de choisir le paramètre λ >0, qu’on appelle intensité de la file d’attente, et qui représente la fréquencemoyenne d’arrivée des clients.

55

6.2 Processus de PoissonLe processus décrit précédemment est appelé le processus de Poisson. For-

mellement, on le définit ainsi :— Soit λ > 0.— Soit Ti, i > 1, une famille de variables aléatoires IID exponentielles de

paramètre λ.— Soit Sn =

∑nk=1 Tk, n > 0 (avec S0 = 0),

— Pour t > 0, on pose

X(t) = maxn : Sn 6 t = minn : Sn+1 > t =

∞∑k=1

1Sk6t.

Ce processus possède la propriété de Markov continue :

∀n > 1, 0 < t1 < t2 < · · · < tn, x1 ∈ N, . . . , xn ∈ N,P(Xtn = mn|Xt1 = x1, . . . , Xtn−1 = xn−1) = P(Xtn = mn|Xtn−1 = xn−1)

Au lieu de matrice de transition, on parle pour le processus Xt de noyau detransition Qt(x, y), t > 0, x, y ∈ N,

Qt(x, y) = P(Xt = y|X0 = x).

Proposition 17. Pour t > 0, soit Nt une variable de Poisson de paramètre λt.Pour le processus de Poisson,

Qt(x, y) = P(Nt = y − x), t > 0, x 6 y ∈ N.

Exercice 38. :Preuve ! On remarque que P(Xt = k) = P(T1 + · · · + Tk 6t, T1 + · · ·+ Tk+1 > t)

1. Ecrire la densité fk+1(t1, . . . , tk+1) de (T1, . . . , Tk+1)

2. Calculer

E[1T1+···+Tk6tP(Tk+1 > t− (T1 + · · ·+ Tk)|T1, . . . , Tk)

]et en déduire le résultat.

1

Proposition 18. On déduit de l’exercice précédent le résultat suivant : Le pro-cessus de Poisson est à accroissements stationnaires, c’est-à-dire

∀t1, t2, s > 0, Xt1+s −Xt1

(d)= Xt2+s −Xt2 .

56

6.3 Générateur infinitésimalPlutôt que la matrice de transition, avec un processus de MarkovXt en temps

continu, on préfère travailler avec le générateur infinitésimal du processus, définide la manière suivante : Soit f une fonction bornée et dérivable. On pose

Lf(x) = limε→0

E [f(Xt+ε)− f(Xt)]

ε

en supposant que la limite existe. Remarquons que si le processus est homogène,la limite ne dépend pas de t.

Si de plus le processus est à accroissements stationnaires, comme c’est lecas pour le processus de Poisson, cet opérateur ne dépend pas de t : En effet,

Xt+ε −Xε(d)= Xε −X0 pour tous t, ε > 0.

Dans ce cas, l’opérateur L transforme une fonction en une autre fonction,qui dénote la manière dont f(Xt) varie au voisinage de 0 si X0 = x.

Dans le cas Poissonien, Xε − X0 est une variable de Poisson de paramètreλε. Pour ε petit, on a

P(Xε = 0) = exp(−ελ),

P(Xε = 1) = exp(−ελ)λε

1!

P(Xε > 2) =

∞∑k=2

(λε)ke−λε

k!6∞∑k=0

(λε)k+2 1

(k + 2)!6 ε2

∞∑k=0

λk

(k + 2)!︸︷︷︸<∞

.

Donc

E[f(Xε)− f(X0)|X0 = x] = (f(x+ 0)− f(x)) ∗ exp(−λε) + (f(x+ 1)− f(x))λε exp(−λε) + 2‖f‖∞o(ε)Lf(x) = λ(f(x+ 1)− f(x))

— On dit que Xt est un processus de sauts, car il ne peut varier que pardiscontinuités.

— Dans ce cas, Xt est un processus de saut à taux constant λ : λ estl’intensité avec laquelle le processus saute, sous-entendu la répartitiondes sauts est Poissonnienne, c’est-à-dire que les sauts sont séparés pardes variables exponentielles IID.

6.4 Processus de Poisson composéModifions le modèle précédent de la manière suivante. Chaque personne qui

arrive à la poste va soit retirer, soit déposer de l’argent. Comme les compor-tements des clients sont à priori indépendants entre eux, et que de l’extérieur,sans plus d’hypothèse, tous les clients sont “identiques” (i.e. ils ont tous la mêmeprobabilité d’emprunter/de retirer une certaine somme d’argent), on modélisel’argent total apporté à la banque de la manière suivante.

57

On introduit une loi de probabilité µ sur R, qui représente la variable aléa-toire de la quantité d’argent déposée par un client.

Par exemple, si un client a une probabilité 1/2 de retirer de l’argent, celanous donne µ(] −∞, 0[) = 1

2 , et µ(]0,∞[) = 12 . On suppose qu’il n’y a pas de

client qui vient pour ne rien faire (ou plutôt, on ne les comptabilise pas).Pour modéliser la quantité d’argent déposée à un instant t > 0, on intro-

duit une suite de variables iid Yk, k > 1, indépendants de µt, avec comme loicommune µ, et on suppose que le i-ème client a apporté une quantité d’argentYk ∈ R.

En appelant Xt le processus de Poisson défini au chapitre précédent (avecparamètre d’intensité λ > 0), la quantité d’argent déposée à l’instant t est donc

Zt =

∞∑k=1

Yk1Xt>k,

en gros, on comptabilise les sommes de tous les clients qui sont effectivementdéjà passés à l’instant t.

En utilisant le fait que Xt est une variable de Poisson de paramètre λt, etque les Yi sont IID de loi µ, on peut déterminer la loi de Zt, via la fonctioncaractéristique.

Rappel sur les fonctions caractéristiques Pour toute variable aléatoireY ∈ R, on introduit sa fonction caractéristique (ou transformée de Fourier)

ψY (θ) = E[exp(iθY )] =

∫Reiθyµ(dy),

où µ est la loi de Y . Cette fonction possède de nombreuses propriétés, commepar exemple

— ψY (0) = 1

— |ψY (θ)| 6 1

— ψY caractérise la loi de Y , dans le sens où ψY = ψY ′ implique Y(d)= Y ′.

Donc, déterminer la loi de Y revient à déterminer sa fonction caractéristique.De plus, si E[|Y |] < ∞, on peut calculer l’espérance de Y avec sa fonctioncaractéristique

E[Y ] = −iψ′Y (0) = −i ddθ|θ=0ψY (θ).

Si E[Y 2] <∞, on peut calculer son moment d’ordre 2,

E[Y 2] = −ψ′′Y (0) = − d2

dθ2|θ=0ψY (θ).

Théorème 13. Avec les notations précédentes, pour t > 0, la fonction caracté-ristique de Zt est

ψZt(θ) = exp (λt (ψY1(θ)− 1)) , θ ∈ R.

58

Démonstration.

E[exp(iθZt)] =

∞∑n=0

P(Xt = n)E

[exp

(iθ

∞∑k=1

1Xt6kYk

)|Xt = n

]

= e−λt∞∑n=0

(λt)n

n!E

[exp

(iθ

n∑k=1

Yk

)]

= e−λt∞∑n=0

(λt)n

n!E[exp(iθY1)]n grâce à l’indépendance entre les Yk

= e−λt exp(λtE[exp(iθY1)])

Cela nous permet par exemple de déterminer les premiers moments de Zt :

EZt = −i ddθ|θ=0ψZt(θ) = −iλtψ′Y1

(0) exp

λt(ψY1(0)︸︷︷︸=1

−1)

= λtE[Y1]

EZ2t = − d2

dt2|t=0ψZt(θ) = − exp (...)

[λtψ′′Y1

(0) + (λtψ′Y1(0))2

]= (λtEY 2

1 + λ2t2(EY1)2)

Du coup, la variance est

Var(Zt) = E[Z2t ]− (EZt)2 = λtEY 2

1 .

Exercice 39. Quel est le générateur infinitésimal du processus Zt ?

Le GI de Zt est

Lf(x) = λE[f(x+ Y1)− f(x)].

Exercice 40. Supposons que la quantité d’argent déposée par chaque clientsoit le produit de 10 par une variable de Poisson de paramètre 2. Déterminer lafonction caractéristique, l’espérance, et la variance, de Zt pour t > 0.

7 Modèles de Markov cachésOn considère le modèles biologique suivant. Un brin d’ADN est une séquence

de lettres parmi A,C,G, T. Parmi la succession de séquences d’ADN, certainessont codantes, et d’autres sont non-codantes. Un des enjeux des généticiens estde distinguer ces deux types de séquences, afin de mieux comprendre l’inter-dépendance entre les différentes séquences génétiques (codantes) du génome.L’hypothèse de base pour y parvenir est que la fréquence d’apparitions desdifférentes nucléotides diffère selon que l’on se trouve sur un brin codant ounon-codant.

59

On propose dans ce chapitre le modèle simplifié suivant : Chaque nucléotideest représentée par un couple (s, y), où s ∈ I = 1 (codant) ,−1 (non-codant),et y ∈ A = A,C,G, T. La séquence de nucléotides est une suite de variablesaléatoires Xk = (Sk, Yk)k≥1. On suppose qu’à chaque transition k → k + 1 laprobabilité de passer d’une séquence codante à une séquence non-codante estε > 0 et la probabilité de passer d’une séquence non-codante à une séquencecodante est ε′ > 0. La loi de Yk ne dépend que de la valeur de Sk. On appelleµ+ la loi de Yk si Sk = 1, et µ− la loi de Yk si S− = −.

On observe uniquement les variables Yk. Le problème biologique est le sui-vant :

— Identifier les parties codantes.— Estimer les paramètres ε, ε′, µ+, µ−.Schéma :

Exercice 41. 1. Ecrire la matrice de transition de Sk. La suite (Yk)k est-elle une chaîne de Markov ? La suite (Sk, Yk)k est-elle une chaîne deMarkov ? Ecrire la matrice de transition correspondante.

2. En vue d’estimer le paramètre θ = (ε, ε′, µ−, µ+), définir l’espace desparamètres Θ.

7.1 Estimation par maximum de vraisemblanceOn rappelle le principe de l’estimateur de maximum de vraisemblance dans

un problème statistique, via un exemple. Un joueur possède une pièce de mon-naie biaisée dont la probabilité de faire pile est θ0 ∈ [0, 1]. Après 10 lancers, il aobtenu 4 pile. Intuitivement, la meilleure estimation de θ0 que l’on puisse avoirà ce stade est θ10 = 4/10. De manière générale, en comptant Xn = 1 pour pileau n-ème lancer et Xn = 0 autrement, on a

θN :=1

N

N∑k=1

Xk → θ p.s.

d’après la loi des grands nombres, où N est le nombre de lancers observés. Ona de plus

1√N

(θN − θ)→ N

où N est une variable gaussienne (théorème central limite). L’estimateur θN esten fait ce qu’on appelle un estimateur par maximum de vraisemblance. En appe-lant Θ = θ possibles = [0, 1], θN est la valeur qui maximise la vraisemblance,définie par

µN (X, θ) = P( observer la séquence X sachant que θ0 = θ).

Autrement dit,

µN (X, θN ) ≥ µN (X, θ)

60

pour tout θ ∈ Θ. Dans notre cas,

µN (X, θ) =

N∏k=1

θ si Xk = 1

1− θ si Xk = 0= θ

∑Xk(1− θ)N−

∑Xk

Il est utile en pratique d’observer que, comme la fonction log est monotone,trouver le maximum de la fonction θ 7→ p(x, θ) est pareil à trouver le maximumde la fonction θ 7→ L(x, θ) := log(p(x, θ)). Dans notre cas,

L(X, θ) =∑

Xk log(θ) + (N −∑k

Xk) log(1− θ).

Si l’on dérive par rapport à θ, on a

∂L

∂θ=

∑Xk

θ−∑Xk

1− θ,

et le maximum s’annule pour

θ

1− θ=

∑Xk

N −∑Xk

=m

1−m

où m = 1N

∑Xk, on en déduit que la dérivée s’annule pour θ = m. Une rapide

étude nous montre que le maximum est en effet atteint enm, ce qui nous indiqueque dans ce cas l’EMV est bien l’estimateur

θEMVN := m =

1

N

∑Xk = θN

proposé naturellement.

Exercice 42. Soit X1, . . . , XN N variables iid de Poisson de paramètre λ > 0.1. Ecrire L(X,λ) la log-vraisemblance.2. Dériver par rapport à λ.3. Déterminer λEMV

N . Que remarquez-vous ?

7.2 Algorithme EMNous allons tenter d’applique l’EMV pour estimer les paramètres du MMC.

On appelle µ0 la loi de S0. Commençons par calculer la vraisemblance. Soitθ ∈ Θ, et soit une observation

x = ((s1, y1), . . . , (sN , yN ))

où si ∈ I = 1,−1, yi ∈ A = A,B,C,D. On a

pN (x, θ) = µ0(s0)Q(s0, s1) . . . Q(sN−1, sN )ps0(y0) . . . psN (yN ).

61

Le problème est qu’on le ne dispose pas de toute l’observation x, mais uni-quement de l’observation y = (y1, . . . , yN ). Il faut donc calculer la vraisem-blance du modèle caché, en conditionnant par toutes les valeurs possibles des = (s1, . . . , sN ) ∈ IN :

pcN (y, θ) =∑s∈IN

pN ((s, y), θ).

La log-vraisemblance de pN est très facile à calculer,

log pN = log(µ0(s0)) +∑k

log(Q(sk, sk+1)).

Calculons la log-vraisemblance :

log(pcN ) = log(∑s∈IN

pN ((s, y), θ))

Pour la maximiser, le point de départ est un lemme d’entropie :

Lemme 2. Soit µ(x) > 0 une probabilité sur un espace discret E. Soit l’entropiede µ définie par

H(µ) =∑x

µ(x) log(µ(x)).

Etant donné une autre probabilité µ′(x), on définit

Hµ(µ′) =∑x

µ(x) log(µ′(x)).

Alors Hµ(µ′) ≤ H(µ) = Hµ(µ). Il y a de plus égalité ssi µ = µ′.

Démonstration. Si µ′(x0) = 0 pour un certain x0 ∈ E, alors log(µ′(x0)) = −∞,et donc l’inégalité est triviale. Autrement on a

Hµ(µ′)−Hµ(µ) =∑x∈E

µ(x) (log(µ′(x))− log(µ(x))) =∑x∈E

µ(x) log

(µ′(x)

µ(x)

)≤∑x∈E

µ(x)

(µ′(x)

µ(x)− 1

)par l’inégalité log(u) ≤ 1− u, u > 0

≤∑x∈E

µ′(x)−∑x∈E

µ(x) = 1− 1 = 0,

d’où l’inégalité demandée. Il n’y a égalité que si il y a log(µ′(x)µ(x)

)= µ′(x)

µ(x) − 1

pour tout x, ce qui implique µ′(x) = µ(x) pour tout x ∈ E.

62

On note Pθ la probabilité du modèle sous l’hypothèse que la vraie valeur duparamètre est θ ∈ Θ : On applique ce lemme d’entropie aux distributions

py,θ(s) = Pθ(S = s|Y = y) =Pθ(S = s, Y = y, )

Pθ(Y = y)=pN (s, θ, y)

pcN (θ, y)

et py,θ0(s) et on a

Hpy,θ0(py,θ) ≤ H(py,θ0)∑

s

py,θ(s) log(py,θ0(s)) ≤∑s

py,θ0(s) log(py,θ0(s))

7.2.1 Condition de Doeblin

Soit X = (Xn) une chaîne de Markov de matrice de transition Q.

Définition 10. On dit que X vérifie la condition de Doeblin ssi il existe l ∈N∗, α > 0 et µ une probabilité sur E telle que

Ql(x, y) ≥ αµ(y).

L’intérêt de cette condition est qu’elle est plus simple à vérifier que la récur-rence positive.

Théorème 14. Supposons que X vérifie la condition de Doeblin. Alors X estIRPA.

Avant de montrer le théorème, voyons un exemple.

Exercice 43. Retour sur l’exercice 33.1. On cherche à déterminer l∗ ∈ N ∪ ∞ le plus petit l ∈ N∗ tel que

Ql(x, y) > 0

pour tous x, y ∈ A. Trouver des exemples pour lesquels l∗ = 3, 5, 10.Montrer que l∗ <∞ pour n’importe quel A comme décrit dans l’exercice33.

2. Montrer que la chaine vérifie la condition de Doeblin.

Exercice 44. Montrer le théorème précédent dans le cas où E est fini.

8 Sujet d’examen

8.1 Juin 2011Exercice 45. On considère une chaîne de Markov (Xn) dans E = 1, 2, 3 avecmatrice de transition

Q =

0 1/2 1/21/2 0 1/21 0 0

63

1. Quelles sont les classes de récurrence/transience ?2. Calculer une mesure de probabilité invariante. Est-elle unique ? Est-elle

réversible ?3. Calculer pour tout x ∈ E le temps moyen de retour à x, E(T

(1)x ). Calculer

la période de tout x ∈ E. Quelle est la limite des probabilités

Qn(x, y) = Px(Xn = y)

quand n→∞.4. Calculer le temps moyen de trajet entre 1 et 3

E1(T3).

5. Répéter les questions 1-3 avec la matrice de transition

Q′ =

0 1/2 1/2 0

1/2 0 1/2 01 0 0 00 1 0 0

.

Exercice 46 (Théorie du renouvellement). Un homme possède un stock de boisaléatoire. Il a au jour 0 un nombre X0 de bûches, et chaque jour il consommeune bûche. On appelle Xn le nombre de bûches à la fin du n-ème jour. Si à unjour n il utilise sa dernière bûche, il renouvelle son stock le lendemain en allantramasser des bûches, il en ramène un nombre aléatoire Xn ≥ 1 tel que, poury ≥ 1,

P(Xn = y) = f(y),

ouf : N∗ → R+

satisfait∑y≥1 f(y) = 1. Le jour du ramassage, il consomme également immé-

diatement une bûche.(Ce modèle s’appelle modèle de renouvellement, et peut s’appliquer à tout

stock qui se renouvelle par un nombre aléatoire dont la loi ne varie pas.)1. Montrer que (Xn) est une chaîne de Markov avec pour matrice de transi-

tion

Q(x, y) =

1 si y = x− 1 ≥ 0,

f(y + 1) si x = 0,

0 autrement.

2. Montrer que (Xn) est une chaîne de Markov irréductible.3. Montrer que (Xn) est une chaîne de Markov récurrente.4. On appelle

Z = y ∈ N : f(y) 6= 0.

Donner une condition simple sur Z pour que la chaîne soit apériodique.

64

5. On définit la mesure sur N

λ(x) =

∞∑y=x+1

f(y), x ∈ N.

Montrer que λ est invariante.6. On suppose que la condition de la question 4. est vérifiée. On pose

m =∑n≥0

nf(n).

Montrer que si m <∞, on peut définir à partir de λ une distribution invarianteπ. Existe-t-il dans ce cas d’autres distributions invariantes ?

7. On poseu(n) = P0(Xn = 0).

Donner la limite de u(n) quand n→∞. Que dire sur la limite de u(n) lorsqueµ =∞ ?

8. On considère désormais le problème de renouvellement de machines : Unemachine est affectée à une fonction particulière, et elle est remplacée par unemachine identique neuve lorsqu’elle casse. La durée de vie d’une machine suit laloi Y , d’espérance µ < ∞. On s’intéresse à la probabilité v(n) qu’une machinese cassé précisément à l’instant n. On note f(n) = P(Y = n).

a) On appelle Yn l’âge de la machine en marche à l’instant n ≥ 0. Montrerque Yn est une chaîne de Markov et donner sa matrice de transition.

b) En définissant judicieusement f(n), montrer que Yn peut s’écrire de ma-nière explicite en fonction de (Xn) définie au début de l’exercice.

c) En déduire la valeur de limn v(n).

Exercice 47 (Question de cours). Rappeler ce qu’est une mesure réversible etmontrer que toute mesure réversible est invariante.

65

Chaînes de Markov (et applications) - UFR...

Documents

Transcript of Chaînes de Markov (et applications) - UFR...