Processus de Markov 101

Processus de Markov

Un processus de Markov représente tous processus ayant des arguments d’expérience aléatoire.

Une expérience aléatoire, notée E est une expérience dont l’issue est soumise au hasard. On note Ω l’ensemble de tous les résultats possibles à cette expérience, et est appelé univers, espace des possibles ou encore espace d’états. Un résultat de E est un élément de Ω noté ω.

Par exemple dans le jeu pile ou face, l’univers de l’expérience « lancer une pièce » est Ω={P, F}. Pour l’expérience « lancer deux pièces l’une après l’autre », l’univers est Ω={PP, PF, FP, FF}.

Un événement aléatoire A lié à l’expérience E est un sous-ensemble de Ω dont on peut dire au vu de l’expérience s’il est réalisé ou non. Sur l’exemple précédent l’événement aléatoire « obtenir pile » dans pile ou face peut facilement être observer en lançant une pièce. Un événement aléatoire est un ensemble et possède donc les principales propriétés de la théorie des ensembles.

Opérations élémentaires sur les parties d’un ensemble :

• Intersection : l’intersection des ensembles A et B notée A ∩B est l’ensemble
  des points appartenant à la fois à A et à B.
• Réunion : la réunion de deux ensembles A et B notée A∪B est l’ensemble des
  points appartenant à au moins l’un des deux ensembles.
• Ensemble vide : l’ensemble vide, noté Ø, est l’ensemble ne contenant aucun
  élément.
• Ensembles disjoints : les ensembles A et B sont dits disjoints si A ∩B = Ø.
• Complémentaire : le complémentaire de l’ensemble A ⊂ Ω dans Ω, noté A^c ou Ω\ A, est l’ensemble des éléments n’appartenant pas à A. Les ensembles A
  et A^c sont disjoints.

Opérations ensemblistes :

• Non : la réalisation de l’événement contraire à A est représenté par A^c: le
  résultat de l’expérience n’appartient pas à A.
• Et : l’événement « A et B sont réalisés » est représenté par A∩B; le résultat de
  l’expérience se trouve à la fois dans A et dans B.
• Ou : l’événement « A ou B sont réalisés » est représenté par A∪B; le résultat
  de l’expérience se trouve soit dans A soit dans B soit dans les deux.
• Implication : le fait que la réalisation de l’événement A entraîne la réalisation
  de B se traduit par A ⊂ B.
• Incompatibilité : si A∩B = Ø, A et B sont dits incompatibles. Un résultat de
  l’expérience ne peut être à la fois dans A et dans B.

A chaque événement, nous cherchons à associé une mesure (que nous ne définirons pas dans ce cours) compris entre 0 et 1 et représentant la probabilité que l’événement soit réalisé. Pour une expérience A, cette mesure est notée P(A).

Formellement, soit E une expérience aléatoire d’univers Ω. On appelle mesure de probabilité sur Ω (ou plus simplement probabilité) une application P qui associe à tout événement aléatoire A un nombre réel P(A) telle que
(i) Pour tout A tel que P(A) existe, on a 0 ≤ P(A) ≤ 1.
(ii) P(Ø) = 0 et P(Ω) = 1.
(iii) A∩B = ; implique que P(A ∪B) = P(A)+P(B).

La probabilité d’un événement peut se comprendre ainsi P(A)=nombre de cas réalisables/nombre de cas possible. Le « nombre de cas » est le cardinal d’un événement/univers.

Variables aléatoires et probabilité

Une variable aléatoire est une fonction dont la valeur dépend de l’issue d’une
expérience aléatoire E d’univers Ω. On dit qu’une variable aléatoire X est discrète si elle prend un nombre de valeurs fini ou dénombrables. L’ensemble des issues ω sur lesquelles X prend une valeur fixée x forme l’évènement {ω : X(ω) = x} que l’on note [X = x]. La probabilité de cet événement est notée P(X = x).

La fonction p_X : x → P(X = x) est appelée la loi de la variable aléatoire X. Si {x₁,x₂,…} est l’ensemble des valeurs possibles pour X, on a :

Soit S₂ le nombre de piles obtenus lors du lancer de deux pièces. L’ensemble des valeurs possibles pour S₂ est {0,1,2}. Si l’on munit l’univers Ω associé à cette expérience aléatoire de la probabilité uniforme P, il vient les solutions suivantes :

Lorsqu’elle existe (l’espérance est toujours définie si X prend un nombre fini de valeurs, ou bien si X est à valeurs positives.), on appelle espérance ou moyenne d’une variable aléatoire discrète X la quantité notée E(X) définie par :

Lorsqu’elle existe, on appelle variance d’une variable aléatoire discrète X la
quantité notée Var(X) définie par :

L’idée de base du conditionnement est la suivante : une information supplémentaire concernant l’expérience modifie la vraisemblance que l’on accorde à l’événement étudié.

Par exemple, pour un lancer de deux dés (un rouge et un bleu), la probabilité de
l’événement « la somme est supérieure ou égale à 10 » vaut 1/6 sans information
supplémentaire. En revanche si l’on sait que le résultat du dé rouge est 6, elle est
égale à 1/2 tandis qu’elle est égale à 0 si le résultat du dé rouge est 2.

Soient P une mesure de probabilité sur Ω et B un évènement tel que P(B) > 0. La
probabilité conditionnelle de A sachant B est le réel P(A|B) défini par :

Les événements A et B sont dits indépendants si :

On peut étendre l’indépendants à n événements. Soient A₁, A₂,…, A_n des événements. Ils sont dits indépendants (dans leur ensemble) si pour tout k ∈ {1,…,n} et pour tout ensemble d’entiers distincts {i₁,…,i_k } ⊂ {1,…n}, on a :

Des variables aléatoires peuvent être indépendantes deux à deux, sans être indépendantes dans leur ensemble :