Cadenas de Markov de tiempo continuo

Cadenas de Markov de tiempo continuo

En el caso del tiempo discreto, observamos los estados sobre momentos instantáneos e inmutables. En el contexto de las cadenas de Markov de tiempo continuo, las observaciones son continuas, es decir, sin interrupción temporal.

Tiempo continuo

Sean M + 1 estados mutuamente excluyentes. El análisis comienza en el tiempo 0 y el tiempo corre continuamente, llamamos X (t) al estado del sistema en el tiempo t. Los puntos de cambio de estado t_I son puntos aleatorios en el tiempo (no son necesariamente números enteros). Es imposible tener dos cambios de estado al mismo tiempo.

Considere tres puntos consecutivos en el tiempo donde ha habido un cambio de estados r en el pasado, s en el momento presente y s + t en el futuro. X (s) = i y X (r) = l. Un proceso estocástico de tiempo continuo con la propiedad de Markov si:

Las probabilidades de transición son estacionarias ya que son independientes de s. Tomamos nota p_ij(t) = P (X (t) = j, X (0) = i) la función de probabilidad de transición en tiempo continuo.

Denotar por T_I una variable aleatoria que denota el tiempo pasado en el estado i antes de pasar a otro estado, i∈{0, …,M}. Suponga que el proceso entra en el estado i en el tiempo t' = s. Entonces, para una duración t > 0, T_I > t ⇔ X(t' = i ), ∀t'∈[s, s + t].

La propiedad de estacionariedad de las probabilidades de transición da como resultado: P (T_I > s + t, T_I > s) = P (T_I > t). La distribución del tiempo restante hasta la próxima salida de i por parte del proceso es la misma independientemente del tiempo que ya pasó en el estado i. La variable T_I no tiene memoria. La única distribución de variable aleatoria continua que tiene esta propiedad es la distribución exponencial.

La distribución exponencial T_I tiene un solo parámetro q_I y su media (expectativa matemática) es R [T_I ] = 1 / q_I. Este resultado nos permite describir un cadena de markov en tiempo continuo de manera equivalente como sigue:

• La variable aleatoria T_I tiene una distribución exponencial del parámetro λ
• cuando el proceso sale del estado i, pasa al estado j con probabilidad p_ij como (similar a una cadena de Markov de tiempo discreto): 
• el siguiente estado visitado después de i es independiente del tiempo pasado en el estado i.
• La cadena de Markov de tiempo continuo tiene las mismas propiedades de clase e irreductibilidad que las cadenas de tiempo discreto.

Estas son algunas propiedades de la ley exponencial:

Modelo de duración

Por tanto, si consideramos μ_I el parámetro de variable aleatoria exponencial asociado con el estado i, podemos representar la cadena de Markov de tiempo continuo de la siguiente manera:

Vemos claramente incluida la cadena de Markov en tiempo discreto, de ahí la posibilidad de realizar un estudio del modelo discreto. Cabe señalar que no existe la noción de periodicidad en este contexto.

Si consideramos que pasamos del estado i al estado j después de un tiempo T_ij y que consideramos este tiempo como una variable aleatoria exponencial de tasa μ_ij, entonces es posible escribir la cadena de Markov en tiempo continuo bajo un modelo de duración:

Tenga en cuenta que hay un gran cambio entre el lado estocástico del movimiento de un estado a otro y el lado continuo en el tiempo. Es importante comprender que la matriz de transición de una cadena de Markov de tiempo continuo es siempre un modelo de tiempo.

La matriz de transición de un modelo de duración tiene las siguientes propiedades:

Esta matriz se llama generador infinitesimal.

Así, desde el grafico siguiendo la ecuación discreta de Markov (la ley exponencial es la misma en los tres estados):

Es posible obtener el siguiente modelo de tiempo: