Ley invariable y comportamiento asintótico
Buscamos comprender el comportamiento asintótico de una cadena de Markov homogénea. Es decir el límite de las probabilidades de transición Qno(i, j) cuando n se vuelve muy grande (la ley invariante).
Idea
Buscamos responder a la siguiente pregunta: "¿Cuál es la probabilidad de que después de n
ahí no cadena de markov estar en un estado dado? ". Tome la siguiente matriz de transición P:
Suponga que ninguna de las máquinas se apaga el primer día. Luego tenemos como vector inicial (1, 0), para calcular la siguiente distribución multiplicamos el vector inicial por P, etc. Lo que da los siguientes resultados:
Esto significa que después de 10 iteraciones, si consideramos que partimos del estado 0, tenemos 99% en el estado 0 y 1% en el estado 1. Esto también se puede interpretar de la siguiente manera: en una población inicial, considerando la distribución inicial por el vector (1,0), entonces 99% de la población estará en el estado 0 y 1% en el estado 1.
Observamos que la cuarta y la décima iteración tienen resultados similares (aquí idénticos a 4 dígitos significativos). Entonces hablamos de una ley de convergencia, y esta ley no depende de la distribución en el origen.
Periodicidad
Tomemos el ejemplo de la siguiente matriz P = {0, 1; 1, 0}. Observamos que P² = Id lo que implica la siguiente relación: ∀n∈Ν, P2n + 1= P.
Tal cadena no converge, decimos que es 2-periódica o de período 2.
Antes de calcular la ley invariante de una cadena de Markov, es necesario verificar que esta última es irreducible y aperiódica (también llamada ergódica).
Por tanto, una cadena es ergódica si se puede alcanzar cualquier estado desde cualquier otro estado y para una potencia Pk todos los elementos son estrictamente positivos. Por tanto, es posible pasar de un estado a otro en como máximo k etapas, independientemente de los puntos de inicio y finalización. Una cadena ergódica tiene una ley invariante (cuidado, también es posible calcular la distribución estacionaria de las otras cadenas, entonces la interpretación no es la misma).
Ley invariante
Se dice que una medida de probabilidad π es invariante o estacionaria si para una matriz de transición P tenemos πP = π. Tenga en cuenta que dado que π es una medida, la suma de estos términos es igual a 1.
Sea (Xn) que define una cadena de Markov homogénea con P una matriz de transición aperiódica irreducible que tiene una medida invariante π. Entonces :
- P (Xn = x) → π (x) cuando n → ∞ para todo x
- pagno(x, y) → π (y) cuando n → ∞ para todo x, y
La velocidad de convergencia hacia la ley estacionaria es del orden de | ζ |no donde ζ es el autovalor de P diferente de 1 y de mayor módulo (que es estrictamente menor que 1).
Si la cadena es ergódica (irreductible y aperiódica) entonces todos los estados son alcanzables desde cualquier otro estado. Tal cadena tiene una ley invariante.
Cálculo exacto de la medida
Tomemos la definición µP = µ sabiendo que µ es estocástico (¡y sí, cambié el nombre de la distribución inicial!). Esto da el siguiente sistema lineal:
Una medida µ en E es invariante (para P) si µ = µP, es decir, para todo y ∈ E
Hablamos de ley invariante si además µ es una probabilidad (µ (E) = 1). También decimos ley / probabilidad invariante / estacionaria.
Dada la relación µn + 1 = µnoP, vemos inmediatamente que, si µ es una ley invariante y X0 ∼ µ, luego Xno ∼ µ para todos los n. También notamos que µ no depende del vector de distribución inicial.
Tomemos, por ejemplo, una cadena de Markov de tres estados, cuya matriz de transición es la siguiente:
Notamos de inmediato que la matriz forma una cadena irreductible y aperiódica, ya que todos los estados se comunican y que pii > 0. Buscamos resolver el sistema µP = µ con para la solución µ * = (p, q, r) tal que p + q + r = 1 y 0 <p,q,r <1 ce qui donne les équations suivantes :
Encontramos como solución el vector µ * = (2/53, 10/53, 41/53).
Cálculo exacto de la medida (caso no ergódico)
Considere la siguiente cadena de Markov
Encontramos que el estado 1 forma un clase de transición, el estado 2 forma una clase absorbente y los estados 3, 4 forman una clase recurrente. Hagamos el análisis del comportamiento asintótico sin tener en cuenta su carácter no ergótico (sin garantía de convergencia).
Resolvamos el siguiente sistema:
El sistema no permite una sola solución. Sea α entre 0 y 1, entonces encontramos una solución admitiendo que α es una solución de π2:
Observamos en la clase {3,4} que las probabilidades son iguales en una frecuencia de 2k, deducimos que la clase es periódica durante un período de 2 (que podríamos haber calculado por la potencia de la matriz). La clase {2} es absorbente, no hay período. La clase {1} es transitoria, por lo que no hay más población después de un tiempo k.
En el caso de una cadena no periódica, es posible deducir del comportamiento asintótico las clases de los estados así como las periodicidades de las clases y de la cadena.
ES 
FR 
EN