Cadenas de Markov de tiempo continuo

Dificultad
Promedio 50%

Cadenas de Markov de tiempo continuo

En el caso del tiempo discreto, observamos los estados en momentos instantáneos e inmutables. En el marco de las cadenas de Markov en tiempo continuo, las observaciones son continuas, es decir sin interrupción temporal.

Tiempo continuo

Sean M + 1 estados mutuamente excluyentes. El análisis comienza en el tiempo 0 y el tiempo corre continuamente, llamamos X (t) al estado del sistema en el tiempo t. Los puntos de cambio de estado tI son puntos aleatorios en el tiempo (no son necesariamente completos). Es imposible tener dos cambios de estado al mismo tiempo.

Cadenas de Markov de tiempo continuo

Considere tres puntos consecutivos en el tiempo donde ha habido un cambio de estados r en el pasado, s en el momento presente y s + t en el futuro. X (s) = i y X (r) = l. Un proceso estocástico de tiempo continuo con la propiedad de Markov si:

Cadenas de Markov de tiempo continuo

Las probabilidades de transición son estacionarias ya que son independientes de s. Denotamos por pij(t) = P (X (t) = j, X (0) = i) la función de probabilidad de transición en tiempo continuo.

Denotar por TI una variable aleatoria que denota el tiempo pasado en el estado i antes de pasar a otro estado, i∈ {0,…, M}. Suponga que el proceso entra en el estado i en el tiempo t '= s. Luego, para una duración t> 0, TI > t ⇔ X (t '= i), ∀t'∈ [s, s + t].

La propiedad de estacionariedad de las probabilidades de transición da como resultado: P (TI > s + t, TI > s) = P (TI > t). La distribución del tiempo restante hasta la próxima salida de i por parte del proceso es la misma independientemente del tiempo que ya pasó en el estado i. La variable TI no tiene memoria. La única distribución de variable aleatoria continua que tiene esta propiedad es la distribución exponencial.

La distribución exponencial TI tiene un solo parámetro qI y su media (expectativa matemática) es R [TI ] = 1 / qI. Este resultado nos permite describir un cadena de markov en tiempo continuo de manera equivalente como sigue:

  • La variable aleatoria TI tiene una distribución exponencial del parámetro λ
  • cuando el proceso sale del estado i, pasa al estado j con una probabilidad pij como (similar a una cadena de Markov de tiempo discreto): Cadenas de Markov de tiempo continuo
  • el siguiente estado visitado después de i es independiente del tiempo pasado en el estado i.
  • La cadena de Markov de tiempo continuo tiene las mismas propiedades de clase e irreductibilidad que las cadenas de tiempo discreto.
Cadenas de Markov de tiempo continuo

Estas son algunas propiedades de la ley exponencial:

Cadenas de Markov de tiempo continuo

Modelo de duración

Por tanto, si consideramos μI el parámetro de la variable aleatoria exponencial asociada con el estado i, podemos representar la cadena de Markov en tiempo continuo de la siguiente manera:

Cadenas de Markov de tiempo continuo

Podemos ver claramente la cadena de Markov en tiempo discreto incluida, de ahí la posibilidad de realizar un estudio del modelo discreto. Tenga en cuenta que no existe una noción de periodicidad en este contexto.

Si consideramos que pasamos del estado i al estado j después de un tiempo Tij y que consideramos este tiempo como una variable aleatoria exponencial de tasa μij, entonces es posible escribir la cadena de Markov en tiempo continuo bajo un modelo de duración:

Cadenas de Markov de tiempo continuo

Tenga cuidado, hay un gran cambio entre el lado estocástico del movimiento de un estado a otro y el lado continuo en el tiempo. Es importante comprender que la matriz de transición de una cadena de Markov en tiempo continuo es siempre un modelo de duración.

La matriz de transición de un modelo de duración tiene las siguientes propiedades:

Cadenas de Markov de tiempo continuo

Esta matriz se llama generador infinitesimal.

Así, desde el grafico siguiendo la ecuación discreta de Markov (la ley exponencial es la misma en los tres estados):

Cadenas de Markov de tiempo continuo

Es posible obtener el siguiente modelo de tiempo:

Cadenas de Markov de tiempo continuo
Compartir, repartir
es_ESES