Probabilité d’absorption d’un état

Difficulté
Moyen 50%

Absorption d’un état

Une chaîne de Markov est absorbante (absorption d’un état) si et seulement si : il y a au moins un état absorbant, de tout état non absorbant, on peut atteindre un état absorbant. Pour toute chaîne de Markov absorbante et pour tout état de départ, la probabilité de se trouver dans un état absorbant au temps t tend vers 1 lorsque t tend vers l’infini.

Lorsque l’on a affaire à une chaîne de Markov absorbante, on est généralement intéressé par les deux questions suivantes :

  • Combien de temps faudra-t-il en moyenne pour arriver dans un état absorbant, étant donné son état initial ?
  • S’il existe plusieurs états absorbants, quelle est la probabilité de tomber dans un état absorbant donné ?

Si une chaîne de Markov est absorbante, on placera au début les états absorbants ; on
aura alors une matrice de transition de la forme suivante (I est une matrice unité et 0
une matrice de 0) :

Absorption d'un état

La matrice N = (I-Q)-1 est appelée la matrice fondamentale de la chaîne absorbante. Prenons la matrice stochastiques suivante :

Absorption d'un état

Nous avons alors pour calculer N :

Absorption d'un état
Le nombre moyen eij de passages à l’état j (non absorbant) avant l’absorption quand on part de l’état i (non absorbant) est donnée par eij = (N)ij.
Le nombre moyen d’étapes avant absorption sachant que l’on part de l’état i (non
absorbant) est la somme des termes de la i-ème ligne de N.

Dans l’exemple précédent, on tire de la première ligne le nombre moyen d’étapes avant absorption en partant de l’état 1 : 320/37+160/37+100/37 = 15.67.

Dans une chaîne de Markov absorbante avec P mise sous forme canonique, le terme bij de la matrice B = NR est la probabilité d’absorption par l’état absorbant j sachant que l’on part de l’état i.

Dans le même exemple :

Absorption d'un état

La probabilité d’être absorbé par l’unique état absorbant est 1 quel que soit l’état initial !

Équations linéaires

D’un point de vue équations linéaires, le vecteur des probabilités d’absorption est la plus petite solution positive du système :

Absorption d'un état

Le vecteur des temps moyen d’atteinte est la plus petite solution positive du système :

Absorption d'un état