Probabilidad de alcanzar una condición
La probabilidad de alcanzar un estado y, por extensión, el tiempo para llegar a un estado se refiere al número de veces antes de alcanzar un estado en la cadena de Markov.
(Xno)no significa un cadena de markov homogéneo de espacio de estado finito o numerable X de matriz de transición Q: podemos interpretar Xno como modelar el estado de un sistema en el tiempo n.
La ley de la cadena inicial (Xno) una vez fijada, sólo los estados susceptibles de alcanzarse intervienen en el estudio de la evolución de la cadena. Ponemos XPara = {x ∈ X, existe n ≥ 0, P (Xno = x)> 0}.
Para un estado e ∈ XPara, denotaremos por T(no)mi el tiempo que tarda la cadena en alcanzar el estado e estrictamente después del tiempo n:
- T(no)mi por lo tanto, denote el entero más pequeño k> 0 tal que Xn + k = e si la cadena pasa por e después del tiempo n
- T(no)mi = + ∞ si la cadena no pasa por el estado e después del tiempo n.
- Para simplificar las notaciones T(0)mi también se denotará simplemente Tmi.
Sea i, e ∈ XPara.
- Para todos n ∈ N y k ∈ N∗ , la probabilidad de alcanzar el estado e en el tiempo n + k por primera vez después del tiempo n sabiendo que Xno = i no depende de n, lo denotaremos fes decir(k) = P (T(no)mi = k | Xno = i). Satisface la siguiente ecuación: fes decir(1) = Q (i, e) yfes decir(k) = ∑j∈X \ {e} Q (i, j) fI(k - 1) para todo k ≥ 2.
La ecuación para fes decir(k) simplemente traduce el hecho de que para llegar por primera vez al estado e en k pasos, partiendo del estado i, es necesario pasar del estado i al estado j ≠ e, luego partiendo de j, llegar por primera vez en e en k - 1 paso.
- La probabilidad de alcanzar un estado e después del tiempo n, sabiendo que Xno = i no depende de n, lo denotaremos fes decir : fes decir = P (T(no)mi <+ ∞ | Xno = i). Ella comprueba: fes decir = Q (es decir) + ∑j∈X \ {e} Q (i, j) fI.
La ecuación para fes decir refleja el hecho de que la cadena llega a e desde un estado i directamente, o pasa del estado i a un estado j ≠ e luego llega a e desde el estado j.
Tenga en cuenta que fes decir= 1 si y solo si fI= 1 para cualquier estado j ≠ e tal que Q (i, j)> 0.
Cuando la cuerda es ergódico, es posible calcular el tiempo para volver a un estado calculando la inversa de la probabilidad estacionaria. Para eso es necesario que todos los estados sean recurrentes positivos, es decir que su expectativa sea positiva y no infinita:
Ejemplo de probabilidad de alcanzar un estado
Para mostrar cómo calcular la probabilidad de alcanzar un estado, tomaremos el siguiente ejemplo.
Supongamos que el jugador tiene 1 euro y juega un juego de azar en el que la apuesta es de 1 euro hasta que alcanza la suma de 3 euros o hasta que se arruina.
Recuerde que p denota la probabilidad de que gane un juego y, por lo tanto, gane 1 euro y 1 - p es la probabilidad de que pierda el juego y, por lo tanto, pierda 1 euro.
Buscamos la probabilidad de que así logre tener 3 euros, es decir f1,3. La ecuación con i = 1 y e = 3 se escribe f1,3 = pf2,3 + (1 - p) f0,3. Nosotros af0,3 = 0 ya que el jugador no puede jugar si no tiene dinero inicialmente (0 es un estado absorbente). Queda por escribir la ecuación para f2,3 que es la probabilidad de que un jugador logre sacar 3 euros si inicialmente tiene 2 euros. Obtenemos: f2,3 = 1 - p + (1 - p) f1,3. Por tanto, tenemos que resolver un sistema de 2 ecuaciones con 2 incógnitas: {f1,3 = pf2,3; F2,3 = p + (1 - p) f1,3}.
Este sistema tiene una sola solución que es f2,3 = p / (1 - p (1 - p) yf1,3 = p² / 1 - p (1 - p).
En particular, si el juego es justo, es decir, si p = 1/2, tenemos1,3 = 1/3, lo que significa que si el jugador inicialmente tiene 1 euro, tiene una posibilidad entre tres de obtener 3 euros. La probabilidad de que el juego se detenga porque el jugador está arruinado se calcula de manera similar escribiendo las ecuaciones satisfechas por f1,0, f2,0 y F3,0 y resolviendo el sistema obtenido. Este cálculo muestra que f1,0 + f1,3 = 1, lo que significa que el jugador se detiene necesariamente después de un número finito de juegos, ya sea porque ha logrado obtener 3 euros, o porque está arruinado.
Tiempo medio para llegar desde una configuración
El tiempo medio para alcanzar es la solución positiva más pequeña del sistema:
donde la clase absorbente designa los estados en los que comienza el sistema. De hecho, dado que partimos de estos estados, el tiempo medio para llegar a ellos es 0 movimiento.
Ejemplo de tiempo medio para llegar
Una ficha salta sobre un triángulo, con una probabilidad de 2/3 en el sentido de las agujas del reloj y 1/3 en el sentido contrario.
- Los vértices están numerados: 1,2,3.
- Echemos un vistazo a los tiempos de éxito. Partimos de la cumbre 1. Tenemos
para i = 1: x1=0 - Para i = 2, 3, tenemos que resolver los siguientes sistemas:
- X2= 1 + 1/3 x1 + 0 x2+ 2/3 x3
- X3= 1 + 2 / 3x1+ 1/3 x2+ 0 x3
Lo que da como solución el vector (0, 15/7, 12/7)
ES 
FR 
EN