Quiz — Chaînes de Markov

Question 1 : Laquelle de ces matrices peut être la matrice de transition d'une chaîne de Markov à deux états ?

• ✓ $\begin{pmatrix} 0{,}2 & 0{,}8 \\ 0{,}5 & 0{,}5 \end{pmatrix}$
• $\begin{pmatrix} 0{,}2 & 0{,}5 \\ 0{,}8 & 0{,}5 \end{pmatrix}$
• $\begin{pmatrix} 0{,}6 & 0{,}6 \\ 0{,}4 & 0{,}4 \end{pmatrix}$
• $\begin{pmatrix} 1{,}2 & -0{,}2 \\ 0 & 1 \end{pmatrix}$

Explication : D'après le **Théorème 1 (matrice stochastique)**, une matrice de transition a des coefficients compris entre $0$ et $1$ et chaque **ligne** a pour somme $1$ (la ligne $i$ est la loi de l'état suivant sachant qu'on est en $i$, **Définition 2 — matrice de transition et graphe pondéré**). Seule la première convient : $0{,}2 + 0{,}8 = 1$ et $0{,}5 + 0{,}5 = 1$, option A. Dans la deuxième et la troisième, ce sont les colonnes qui somment à $1$ ; la quatrième contient un coefficient négatif.

Question 2 : Soit $P = \begin{pmatrix} 0{,}7 & 0{,}3 \\ 0{,}4 & 0{,}6 \end{pmatrix}$ et $\pi_0 = (0{,}5 \ \ 0{,}5)$. Que vaut $\pi_1$ ?

• $(0{,}5 \ \ 0{,}5)$
• $(0{,}7 \ \ 0{,}3)$
• ✓ $(0{,}55 \ \ 0{,}45)$
• $(0{,}45 \ \ 0{,}55)$

Explication : **Méthode 2 — calculer la distribution après $n$ transitions** : d'après le **Théorème 2 (évolution de la distribution)**, $\pi_1 = \pi_0P = (0{,}5 \times 0{,}7 + 0{,}5 \times 0{,}4 \ \ \ 0{,}5 \times 0{,}3 + 0{,}5 \times 0{,}6) = (0{,}55 \ \ 0{,}45)$ : option C. On contrôle que la somme vaut bien $1$. La réponse $(0{,}45 \ \ 0{,}55)$ correspondrait au produit avec les colonnes au lieu des lignes.

Question 3 : Soit $P$ la matrice de transition d'une chaîne de Markov. Que représente le coefficient $(i, j)$ de $P^n$ ?

• La probabilité d'être dans l'état $j$ à l'étape $n$
• ✓ La probabilité de passer de l'état $i$ à l'état $j$ en exactement $n$ transitions
• Le nombre de chemins de longueur $n$ de $i$ à $j$ dans le graphe
• La probabilité de passer de $j$ à $i$ en $n$ transitions

Explication : D'après le **Théorème 3 (interprétation de $P^n$)**, $(P^n)_{ij} = P(X_n = j \mid X_0 = i)$ : probabilité conditionnelle d'être en $j$ après $n$ transitions sachant qu'on est parti de $i$, option B. Elle se démontre par récurrence avec la formule des probabilités totales, exactement comme le comptage des chemins avec la matrice d'adjacence (cours sur les graphes), les nombres d'arêtes étant remplacés par des probabilités.

Question 4 : Quelle est la distribution invariante de la chaîne de matrice $P = \begin{pmatrix} 0{,}9 & 0{,}1 \\ 0{,}3 & 0{,}7 \end{pmatrix}$ ?

• $(0{,}5 \ \ 0{,}5)$
• $(0{,}9 \ \ 0{,}1)$
• $(0{,}25 \ \ 0{,}75)$
• ✓ $(0{,}75 \ \ 0{,}25)$

Explication : **Méthode 3 — déterminer la distribution invariante** : on cherche $\pi = (a \ \ b)$ avec $\pi P = \pi$ (**Définition 4 — distribution invariante**) et $a + b = 1$. Première coordonnée : $0{,}9a + 0{,}3b = a \iff 0{,}3b = 0{,}1a \iff a = 3b$. Avec $a + b = 1$ : $b = 0{,}25$ et $a = 0{,}75$ : option D. Vérification : $0{,}75 \times 0{,}1 + 0{,}25 \times 0{,}7 = 0{,}25$.

Question 5 : Le graphe ci-dessous représente une chaîne de Markov à deux états $S$ et $R$. Quelle est sa matrice de transition (états rangés dans l'ordre $S$, $R$) ?

• ✓ $\begin{pmatrix} 0{,}8 & 0{,}2 \\ 0{,}5 & 0{,}5 \end{pmatrix}$
• $\begin{pmatrix} 0{,}8 & 0{,}5 \\ 0{,}2 & 0{,}5 \end{pmatrix}$
• $\begin{pmatrix} 0{,}2 & 0{,}8 \\ 0{,}5 & 0{,}5 \end{pmatrix}$
• $\begin{pmatrix} 0{,}5 & 0{,}5 \\ 0{,}2 & 0{,}8 \end{pmatrix}$

Explication : **Méthode 1 — passer du graphe pondéré à la matrice de transition** : la ligne d'un état liste les probabilités des arcs qui en **partent** (**Définition 2 — matrice de transition et graphe pondéré**). Ligne $S$ : boucle $0{,}8$ et arc vers $R$ de poids $0{,}2$ ; ligne $R$ : arc vers $S$ de poids $0{,}5$ et boucle $0{,}5$. Chaque ligne somme à $1$ (**Théorème 1 (matrice stochastique)**) : option A. La deuxième proposition est la transposée (convention colonne, non retenue par le programme).

Question 6 : Soit $P = \begin{pmatrix} 0{,}7 & 0{,}3 \\ 0{,}4 & 0{,}6 \end{pmatrix}$ (états $1$ et $2$). Quelle est la probabilité d'être dans l'état $2$ après deux transitions, sachant qu'on part de l'état $1$ ?

• $0{,}3$
• $0{,}18$
• ✓ $0{,}39$
• $0{,}61$

Explication : D'après le **Théorème 3 (interprétation de $P^n$)**, c'est $(P^2)_{12} = p_{11}p_{12} + p_{12}p_{22} = 0{,}7 \times 0{,}3 + 0{,}3 \times 0{,}6 = 0{,}21 + 0{,}18 = 0{,}39$ : option C. On distingue les deux chemins $1 \to 1 \to 2$ et $1 \to 2 \to 2$ (formule des probabilités totales, comme dans la démonstration du **Théorème 2**). Le complémentaire $0{,}61 = (P^2)_{11}$ est la probabilité d'être revenu en $1$.

Question 7 : Dans une chaîne de Markov à trois états $A, B, C$, la ligne de $A$ de la matrice de transition est $(0{,}2 \ \ x \ \ 0{,}5)$. Que vaut $x$ ?

• $0{,}7$
• ✓ $0{,}3$
• $0{,}2$
• On ne peut pas le savoir sans les autres lignes

Explication : D'après le **Théorème 1 (matrice stochastique)**, chaque ligne de $P$ est une loi de probabilité, de somme $1$ : depuis $A$, on va nécessairement en $A$, $B$ ou $C$, donc $0{,}2 + x + 0{,}5 = 1$ et $x = 0{,}3$ : option B. Les autres lignes n'interviennent pas ; c'est la somme de chaque **ligne** qui vaut $1$, pas celle des colonnes.

Question 8 : Laquelle des phrases exprime correctement la propriété de Markov ?

• La probabilité de chaque état est la même à toutes les étapes
• Le système finit toujours par rester dans un seul état
• Les transitions sont équiprobables entre tous les états
• ✓ La loi de l'état à l'étape $n+1$ ne dépend que de l'état à l'étape $n$, pas des états antérieurs

Explication : D'après la **Définition 1 — chaîne de Markov et propriété de Markov** : $P(X_{n+1} = j \mid X_n = i, X_{n-1} = i_{n-1}, \ldots) = P(X_{n+1} = j \mid X_n = i) = p_{ij}$. Le processus « oublie » le passé, seul le présent compte : option D. Les autres phrases décrivent respectivement une distribution invariante (**Définition 4**), un état absorbant et une chaîne particulière (équiprobable), qui ne sont pas des propriétés générales.

Question 9 : Avec la convention du programme (distributions en matrices lignes), une distribution invariante $\pi$ est caractérisée par :

• $P\pi = \pi$ et coefficients de somme $1$
• ✓ $\pi P = \pi$ et coefficients positifs de somme $1$
• $\pi P = 0$
• $\pi P^n = P^n$ pour tout $n$

Explication : D'après la **Définition 4 — distribution invariante**, une distribution est invariante si elle est inchangée par une transition : $\pi P = \pi$, avec les contraintes d'une distribution (coefficients positifs, somme $1$) : option B. L'écriture $P\pi$ n'a pas de sens pour une matrice ligne $\pi$ (tailles incompatibles). D'après le **Théorème 2 (évolution de la distribution)**, on a alors $\pi P^n = \pi$ pour tout $n$.

Question 10 : Question type bac. Une chaîne de Markov à trois états $A, B, C$ a pour matrice de transition $P = \begin{pmatrix} 0{,}5 & 0{,}5 & 0 \\ 0{,}2 & 0{,}6 & 0{,}2 \\ 0 & 0{,}5 & 0{,}5 \end{pmatrix}$. Quelle est sa distribution invariante ?

• ✓ $\left(\dfrac29 \ \ \dfrac59 \ \ \dfrac29\right)$
• $\left(\dfrac13 \ \ \dfrac13 \ \ \dfrac13\right)$
• $\left(\dfrac14 \ \ \dfrac12 \ \ \dfrac14\right)$
• $\left(\dfrac15 \ \ \dfrac35 \ \ \dfrac15\right)$

Explication : **Méthode 3 — déterminer la distribution invariante** : avec $\pi = (a \ \ b \ \ c)$, $\pi P = \pi$ (**Définition 4**) donne $0{,}5a + 0{,}2b = a$ (soit $b = 2{,}5a$) et $0{,}2b + 0{,}5c = c$ (soit $c = 0{,}4b = a$). Avec $a + b + c = 1$ : $a(1 + 2{,}5 + 1) = 1$, donc $a = \dfrac29$, $b = \dfrac59$, $c = \dfrac29$ : option A. Vérification de la coordonnée $B$ : $0{,}5 \times \dfrac29 + 0{,}6 \times \dfrac59 + 0{,}5 \times \dfrac29 = \dfrac{1 + 3 + 1}{9} = \dfrac59$.