Absorption d’un état
Une chaîne de Markov est absorbante (absorption d’un état) si et seulement si : il y a au moins un état absorbant, de tout état non absorbant, on peut atteindre un état absorbant. Pour toute chaîne de Markov absorbante et pour tout état de départ, la probabilité de se trouver dans un état absorbant au temps t tend vers 1 lorsque t tend vers l’infini.
Lorsque l’on a affaire à une chaîne de Markov absorbante, on est généralement intéressé par les deux questions suivantes :
- Combien de temps faudra-t-il en moyenne pour arriver dans un état absorbant, étant donné son état initial ?
- S’il existe plusieurs états absorbants, quelle est la probabilité de tomber dans un état absorbant donné ?
Si une chaîne de Markov est absorbante, on placera au début les états absorbants ; on
aura alors une matrice de transition de la forme suivante (I est une matrice unité et 0
une matrice de 0) :
La matrice N = (I-Q)-1 est appelée la matrice fondamentale de la chaîne absorbante. Prenons la matrice stochastiques suivante :
Nous avons alors pour calculer N :
Le nombre moyen d’étapes avant absorption sachant que l’on part de l’état i (non
absorbant) est la somme des termes de la i-ème ligne de N.
Dans l’exemple précédent, on tire de la première ligne le nombre moyen d’étapes avant absorption en partant de l’état 1 : 320/37+160/37+100/37 = 15.67.
Dans le même exemple :
La probabilité d’être absorbé par l’unique état absorbant est 1 quel que soit l’état initial !
Équations linéaires
D’un point de vue équations linéaires, le vecteur des probabilités d’absorption est la plus petite solution positive du système :
Le vecteur des temps moyen d’atteinte est la plus petite solution positive du système :
