Probabilidad de llegar a un estado
La probabilidad de llegar a un estado y por extensión el tiempo para llegar a un estado designa el número de veces antes de llegar a un estado de la cadena de Markov.
(Xno)no significa un cadena de markov homogéneo de espacio de estado finito o numerable X de matriz de transición Q: podemos interpretar Xno como modelar el estado de un sistema en el tiempo n.
La ley de la cadena inicial (Xno) una vez fijados, sólo los estados susceptibles de ser alcanzados intervienen en el estudio de la evolución de la cadena. Ponemos XPara = {x ∈ X, existe n ≥ 0, P (Xno = x)> 0}.
Para un estado e ∈ XPara, denotaremos por T(no)mi el tiempo que tarda la cadena en alcanzar el estado e estrictamente después del tiempo n:
- T(no)mi por lo tanto, denote el entero más pequeño k> 0 tal que Xn + k = e si la cadena pasa por e después del tiempo n
- T(no)mi = +∞ si la cadena no pasa por el estado e después del tiempo n.
- Para simplificar las notaciones T(0)mi también se denotará simplemente Tmi.
Sea i, e ∈ XPara.
- Para todos n ∈ N y k ∈ N∗ , la probabilidad de alcanzar el estado e en el tiempo n+k por primera vez después del tiempo n sabiendo que Xno = i no depende de n, lo denotaremos fes decir(k) = P (T(no)mi = k | Xno = yo). Verifica la siguiente ecuación: fes decir(1) = Q (i, e) yfes decir(k) = ∑j∈X \ {e} Q (i, j) fI(k - 1) para todo k ≥ 2.
La ecuación para fes decir(k) simplemente traduce el hecho de que para llegar por primera vez al estado e en k pasos, partiendo del estado i, es necesario pasar del estado i al estado j≠e, luego partiendo de j , llegar por primera tiempo en e en k − 1 pasos.
- La probabilidad de alcanzar un estado e después del tiempo n, sabiendo que Xno = i no depende de n, lo denotaremos fes decir : fes decir = P (T(no)mi <+ ∞ | Xno = i). Ella comprueba: fes decir = Q (es decir) + ∑j∈X \ {e} Q (i, j) fI.
La ecuación para fes decir traduce el hecho de que la cadena llega a e desde un estado i directamente, o pasa del estado i al estado j≠e y luego llega a e desde el estado j.
Tenga en cuenta que fes decir= 1 si y solo si fI= 1 para cualquier estado j ≠ e tal que Q (i, j)> 0.
Cuando la cuerda es ergódico, es posible calcular el tiempo para volver a un estado calculando la inversa de la probabilidad estacionaria. Para eso es necesario que todos los estados sean recurrentes positivos, es decir que su expectativa sea positiva y no infinita:
Ejemplo de probabilidad de alcanzar un estado
Para mostrar cómo calcular la probabilidad de llegar a un estado, tomaremos el siguiente ejemplo.
Supongamos que el jugador tiene 1 euro y juega un juego de azar donde la apuesta es de 1 euro hasta llegar a la suma de 3 euros o hasta arruinarlo.
Recuerde que p denota la probabilidad de que gane un juego y, por lo tanto, gane 1 euro y 1 - p es la probabilidad de que pierda el juego y, por lo tanto, pierda 1 euro.
Buscamos la probabilidad de que así logre tener 3 euros, es decir f1,3. La ecuación con i=1 y e=3 se escribe f1,3 = pf2,3 + (1 - p) f0,3. Nosotros af0,3 = 0 ya que el jugador no puede jugar si inicialmente no tiene dinero (0 es un estado absorbente). Queda por escribir la ecuación para f2,3 que es la probabilidad de que un jugador logre sacar 3 euros si tiene 2 euros al inicio. obtenemos: f2,3 = 1 - p + (1 - p) f1,3. Por tanto, tenemos que resolver un sistema de 2 ecuaciones con 2 incógnitas: {f1,3 = pf2,3; F2,3 = p + (1 - p) f1,3}.
Este sistema tiene una sola solución que es f2,3 = p / (1 - p (1 - p) yf1,3 = p² / 1 - p (1 - p).
En particular, si el juego es justo, es decir, si p = 1/2, tenemos1,3 = 1/3, lo que significa que si el jugador inicialmente tiene 1 euro, tiene una posibilidad entre tres de obtener 3 euros. La probabilidad de que el juego se detenga porque el jugador está arruinado se calcula de manera similar escribiendo las ecuaciones satisfechas por f1,0, f2,0 y F3,0 y resolviendo el sistema obtenido. Este cálculo muestra que f1,0 + f1,3 = 1, lo que significa que el jugador necesariamente se detiene después de un número finito de juegos porque ha logrado obtener 3 euros o porque está arruinado.
Tiempo medio para llegar desde una configuración
El tiempo medio de acierto es la solución positiva más pequeña del sistema:
donde la clase absorbente designa los estados en los que comienza el sistema. De hecho, dado que partimos de estos estados, el tiempo medio para llegar a ellos es 0 movimiento.
Ejemplo de tiempo medio para llegar
Una ficha salta sobre un triángulo, con una probabilidad de 2/3 en el sentido de las agujas del reloj y 1/3 en el sentido contrario.
- Los vértices están numerados: 1,2,3.
- Echemos un vistazo a los tiempos de éxito. Partimos de la cumbre 1. Tenemos
para i = 1: x1=0 - Para i = 2, 3, tenemos que resolver los siguientes sistemas:
- X2= 1 + 1/3 x1 + 0 x2+ 2/3 x3
- X3= 1 + 2 / 3x1+ 1/3 x2+ 0 x3
Lo que da como solución el vector (0, 15/7, 12/7)
