Probabilidad de absorción de un estado

Dificultad
Promedio 50%

Absorción de un estado

A cadena de markov es absorbente (absorción de un estado) si y sólo si: hay al menos un estado absorbente, de cualquier estado no absorbente se puede llegar a un estado absorbente. Para cualquier cadena de Markov absorbente y para cualquier estado inicial, la probabilidad de estar en un estado absorbente en el tiempo t tiende a 1 cuando t tiende a infinito.

Cuando se trata de una cadena de Markov absorbente, generalmente nos interesan las dos preguntas siguientes:

  • ¿Cuánto tardará en promedio en llegar en estado absorbente, dado su estado inicial?
  • Si hay varios estados absorbentes, ¿cuál es la probabilidad de caer en un estado absorbente dado?

Si una cadena de Markov es absorbente, colocaremos los estados absorbentes al principio; nosotros
entonces tendrá una matriz de transición de la siguiente forma (I es una matriz unitaria y 0
una matriz de 0):

Absorción de un estado

La matriz N = (IQ)-1 se llama la matriz fundamental de la cadena absorbente. Considere la siguiente matriz estocástica:

Absorción de un estado

Luego tenemos que calcular N:

Absorción de un estado
El número medio eij de cambios al estado j (no absorbente) antes de la absorción cuando se parte del estado i (no absorbente) viene dado por eij = (N)ij.
El número medio de pasos antes de la absorción sabiendo que partimos del estado i (no
absorbente) es la suma de los términos de la i-ésima fila de N.

En el ejemplo anterior, el número medio de pasos antes de la absorción se toma de la primera línea, comenzando desde el estado 1: 320/37 + 160/37 + 100/37 = 15,67.

En una cadena de Markov absorbente con P colocado debajo forma canónica, el término bij de la matriz B = NR es la probabilidad de absorción por el estado absorbente j sabiendo que partimos del estado i.

En el mismo ejemplo:

Absorción de un estado

La probabilidad de ser absorbido por el estado absorbente único es 1, sea cual sea el estado inicial.

Ecuaciones lineales

Desde el punto de vista de una ecuación lineal, el vector de probabilidades de absorción es la solución positiva más pequeña del sistema:

Absorción de un estado

El vector de tiempo medio para llegar es la solución positiva más pequeña del sistema:

Absorción de un estado