Que dit l'inégalité de Bienaymé-Tchebychev ?

Pour une variable aléatoire $X$ d'espérance $\mu$ et de variance $V$, et tout réel $\delta > 0$ : $P(|X - \mu| \geq \delta) \leq \dfrac{V}{\delta^2}$. Un écart à l'espérance de plusieurs écarts-types est donc peu probable : pour $\delta = 2\sigma$, la probabilité est au plus $\tfrac14$ ; pour $\delta = 3\sigma$, au plus $\tfrac19$.

Comment choisir la taille d'un échantillon pour une précision et un risque donnés ?

On utilise l'inégalité de concentration $P(|M_n - \mu| \geq \delta) \leq \dfrac{V}{n\delta^2}$. Pour garantir un risque au plus $\alpha$ avec une précision $\delta$, il suffit que $\dfrac{V}{n\delta^2} \leq \alpha$, soit $n \geq \dfrac{V}{\alpha\delta^2}$. C'est une condition suffisante : la taille obtenue est souvent bien plus grande que nécessaire.

L'inégalité de Bienaymé-Tchebychev donne-t-elle la valeur exacte d'une probabilité ?

Non, seulement un majorant, valable pour toutes les lois. Elle est loin d'être optimale : elle affirme qu'un écart supérieur à $2\sigma$ a une probabilité au plus $0{,}25$, alors que les simulations montrent souvent une probabilité proche de $0{,}05$.

Loi des grands nombres

Définitions

Définition 1 — Moyenne d’un échantillon (rappel). Un échantillon de taille $n$ d’une variable aléatoire d’espérance $\mu$ et de variance $V$ est une liste $(X_1, \ldots, X_n)$ de variables indépendantes de même loi. Sa moyenne est $M_n = \dfrac{X_1 + \cdots + X_n}{n}$ , avec $E(M_n) = \mu$ , $V(M_n) = \dfrac{V}{n}$ et $\sigma(M_n) = \dfrac{\sigma}{\sqrt{n}}$ (voir « Somme de variables aléatoires »).

Définition 2 — Fréquence. Si les $X_i$ suivent une loi de Bernoulli de paramètre $p$ , la moyenne $F_n = M_n$ est la fréquence de succès de l’échantillon : $E(F_n) = p$ et $V(F_n) = \dfrac{p(1 - p)}{n}$ .

Théorèmes et propriétés

Théorème 1 (inégalité de Bienaymé-Tchebychev). Pour une variable aléatoire $X$ d’espérance $\mu$ et de variance $V$ , et tout réel $\delta > 0$ : $\boxed{P\big(|X - \mu| \geq \delta\big) \leq \frac{V}{\delta^2}}$ De façon équivalente : $P\big(|X - \mu| < \delta\big) \geq 1 - \dfrac{V}{\delta^2}$ . C’est un majorant universel (toutes les lois), mais grossier.

Théorème 2 (écarts mesurés en écarts-types). En prenant $\delta = k\sigma$ dans le Théorème 1 : $P\big(|X - \mu| \geq k\sigma\big) \leq \frac{1}{k^2} \qquad (k = 2 : \tfrac14, \quad k = 3 : \tfrac19).$ L’écart-type est l’unité naturelle de l’éloignement à $\mu$ : des écarts de plusieurs $\sigma$ deviennent improbables.

Théorème 3 (inégalité de concentration). Pour la moyenne $M_n$ d’un échantillon de taille $n$ d’une variable d’espérance $\mu$ et de variance $V$ , et tout $\delta > 0$ : $\boxed{P\big(|M_n - \mu| \geq \delta\big) \leq \frac{V}{n\delta^2}}$ (Bienaymé-Tchebychev appliqué à $M_n$ , dont la variance est $\tfrac{V}{n}$ .)

Théorème 4 (cas d’une fréquence). Comme $p(1 - p) \leq \dfrac14$ : $P\big(|F_n - p| \geq \delta\big) \leq \frac{p(1 - p)}{n\delta^2} \leq \frac{1}{4n\delta^2}.$

Théorème 5 (loi des grands nombres). Pour un échantillon d’une variable d’espérance $\mu$ et de variance $V$ , et pour tout $\delta > 0$ : $\lim_{n \to +\infty} P\big(|M_n - \mu| \geq \delta\big) = 0.$ Démonstration : $0 \leq P(|M_n - \mu| \geq \delta) \leq \dfrac{V}{n\delta^2}$ (Théorème 3) et $\dfrac{V}{n\delta^2} \to 0$ ; on conclut par encadrement. Interprétation : la moyenne d’un grand échantillon est, avec une probabilité proche de 1, aussi proche que l’on veut de $\mu$ ; pour une fréquence, c’est la justification de l’estimation d’une probabilité par une fréquence observée (théorème d’or de Jacques Bernoulli, 1713). Attention : la loi des grands nombres ne dit ni que $M_n$ finit par être égale à $\mu$ , ni que $E(M_n)$ tend vers $\mu$ (c’est vrai pour tout $n$ ) : c’est un énoncé sur une probabilité.

Méthodes

Méthode 1 — appliquer Bienaymé-Tchebychev.

Identifier $\mu$ , $V$ et l’écart $\delta$ (mettre l’événement sous la forme $|X - \mu| \geq \delta$ ).
Majorer : $P(|X - \mu| \geq \delta) \leq \dfrac{V}{\delta^2}$ (Théorème 1) — c’est un majorant, jamais une valeur exacte.
Pour un intervalle ouvert centré en $\mu$ , passer au contraire : $P(\mu - \delta < X < \mu + \delta) \geq 1 - \dfrac{V}{\delta^2}$ .

Exemple. $\mu = 10$ , $V = 4$ , $\delta = 4$ : $P(|X - 10| \geq 4) \leq 0{,}25$ et $P(6 < X < 14) \geq 0{,}75$ .

Méthode 2 — appliquer l’inégalité de concentration.

Vérifier que $M_n$ est la moyenne d’un échantillon ; identifier $V$ , $n$ et $\delta$ .
Majorer par $\dfrac{V}{n\delta^2}$ (Théorème 3) ; pour une fréquence, utiliser $p(1 - p) \leq \tfrac14$ (Théorème 4).

Exemple. $V = 1$ , $n = 100$ , $\delta = 0{,}5$ : majorant $\dfrac{1}{100 \times 0{,}25} = 0{,}04$ .

Méthode 3 — déterminer une taille d’échantillon.

Traduire l’objectif : $P(|M_n - \mu| \geq \delta) \leq \alpha$ (précision $\delta$ , risque $\alpha$ ).
Il suffit que $\dfrac{V}{n\delta^2} \leq \alpha$ , soit $n \geq \dfrac{V}{\alpha\delta^2}$ (condition suffisante : $n$ est souvent très surestimé).

Exemple. $V = 1$ , $\delta = 0{,}1$ , $\alpha = 0{,}05$ : $n \geq 2\,000$ . Sondage ( $\tfrac{1}{4n\delta^2} \leq \alpha$ ) : même valeur, alors qu’en pratique 1 000 personnes suffisent.

Méthode 4 — juger la pertinence du majorant.

Comparer le majorant à 1 : si $\delta \leq \sigma$ , le majorant $\dfrac{V}{\delta^2} \geq 1$ n’apporte aucune information.
Garder en tête que l’inégalité est universelle mais loin d’être optimale : pour $\delta = 2\sigma$ , elle donne $\tfrac14$ alors qu’on observe souvent $\approx 0{,}05$ .

Exemple. $\delta = \tfrac{\sigma}{2}$ : majorant $4 > 1$ , inutilisable.

Méthode 5 — simuler des échantillons pour tester la concentration. On simule $N$ échantillons de taille $n$ , on calcule l’écart-type $s$ des $N$ moyennes et on le compare à $\dfrac{\sigma}{\sqrt{n}}$ .

from random import randint
from math import sqrt

def moyenne_de(n):                    # moyenne de n lancers de dé
    s = 0
    for _ in range(n):
        s = s + randint(1, 6)
    return s / n

moyennes = [moyenne_de(100) for _ in range(1000)]
m = sum(moyennes) / len(moyennes)
s = sqrt(sum((x - m)**2 for x in moyennes) / len(moyennes))   # à comparer à sigma / sqrt(n)

Exemple. Pour un dé ( $\sigma \approx 1{,}708$ , $n = 100$ ), on observe $s \approx 0{,}17$ , et les proportions de moyennes à moins de $k\tfrac{\sigma}{\sqrt{n}}$ de $\mu$ sont proches de $0{,}68$ , $0{,}95$ et $0{,}997$ pour $k = 1, 2, 3$ — bien au-dessus des minorations $0$ , $0{,}75$ et $0{,}89$ de l’inégalité. Autre illustration : la marche aléatoire ( $\pm 1$ équiprobables), de position $S_n$ après $n$ pas avec $E(S_n) = 0$ et $\sigma(S_n) = \sqrt{n}$ .

Définitions

Théorèmes et propriétés

Méthodes

Reste informé