Chaines de Markov en temps continu

Difficulté
Moyen 50%

Chaines de Markov en temps continu

Dans le cas du temps discret, nous observons les états sur des moments instantanés et immuables. Dans le cadre des chaines de Markov en temps continu, les observations se dont de façon continu, c’est à dire sans interruption temporelle.

Temps continu

Soient M + 1 états mutuellement exclusifs. L’analyse débute au temps 0 et le temps s’écoule de façon continue, on nomme X(t) l’état du système au temps t. Les points de changement d’états ti sont des points aléatoires dans le temps (ils ne sont pas nécessairement entiers). Il est impossible d’avoir deux changements d’états en même temps.

Chaines de Markov en temps continu

Considérons trois points consécutifs dans le temps où il y a eu un changement d’états r dans le passé, s à l’instant présent et s + t dans le futur. X(s) = i et X(r) = l . Un processus stochastique en temps continu à la propriété de Markov si :

Chaines de Markov en temps continu

Les probabilités de transition sont stationnaires puisqu’elles sont indépendantes de s. On note pij(t) = P(X(t) = j , X(0) = i ) la fonction de probabilité de transition en temps continu.

Notons Ti une variable aléatoire dénotant le temps passé dans l’état i avant de se déplacer vers un autre état, i∈{0, …,M}. Supposons que le processus entre dans l’état i au temps t’ = s. Alors pour une durée t > 0, Ti > t ⇔ X(t’ = i ), ∀t’∈[s, s + t].

La propriété de stationnarité des probabilités de transition entraîne : P(Ti > s + t, Ti > s) = P(Ti > t). La distribution du temps restant d’ici la prochaine sortie de i par le processus est la même quel que soit le temps déjà passé dans l’état i . La variable Ti est sans mémoire. La seule distribution de variable aléatoire continue ayant cette propriété est la distribution exponentielle.

La distribution exponentielle Ti possède un seul paramètre qi et sa moyenne (espérance mathématique) est R[Ti ] = 1/qi. Ce résultat nous permet de décrire une chaîne de Markov en temps continu d’une façon équivalente comme suit :

  • La variable aléatoire Ti a une distribution exponentielle de paramètre λ
  • quand le processus quitte l’état i, il passe à l’état j avec  une probabilité pij telle que (similaire à une chaîne de Markov en temps discret) : Chaines de Markov en temps continu
  • le prochain état visité après i est indépendant du temps passé dans l’état i.
  • La chaîne de Markov en temps continu possède les mêmes propriétés de Classe et d’Irréductibilité que les chaînes en temps discret.
Chaines de Markov en temps continu

Voici quelques propriétés de la loi exponentielle :

Chaines de Markov en temps continu

Modèle de durée

Ainsi, si on considère μi le paramètre de la variable aléatoire exponentielle associé à l’état i, nous pouvons représenter la chaîne de Markov à temps continue comme suit :

Chaines de Markov en temps continu

Nous voyons bien la chaîne de Markov à temps discret incluse, d’où la possibilité d’effectuer une étude du modèle discret. A noter qu’il n’existe pas de notion de périodicité dans ce cadre.

Si l’on considère qu’on se déplace de l’état i à l’état j après un temps Tij et que l’on considère ce temps comme une variable aléatoire exponentielle de taux μij, alors il est possible d’écrire la chaîne de Markov en temps continu sous un modèle de durée :

Chaines de Markov en temps continu

Attention, il existe un grand changement entre le côté stochastique du mouvement d’un état à un autre et le côté continue dans le temps. Il est important de comprendre que la matrice de transition d’une chaîne de Markov en temps continue est toujours un modèle de durée.

La matrice de transition d’un modèle de durée à les propriétés suivantes :

Chaines de Markov en temps continu

Cette matrice est appelé le générateur infinitésimale.

Ainsi, à partir du graphe de Markov discret suivant (la loi exponentielle est la même dans les trois états) :

Chaines de Markov en temps continu

Il est possible d’obtenir le modèle de temps suivant :

Chaines de Markov en temps continu