Cours et exercices corrigés de terminale : Sommes de variables aléatoires et loi des grands nombres

1. Espérance et variance de la moyenne d'un échantillon

Soient $X_1, \dots, X_n$ des variables indépendantes de même loi, d'espérance $\mu$ et de variance $\sigma^2$.

• Moyenne empirique : $M_n = \frac{1}{n} \sum_{i=1}^n X_i$.
• $E(M_n) = \mu$ et $V(M_n) = \frac{\sigma^2}{n}$, d'où $\sigma(M_n) = \frac{\sigma}{\sqrt{n}}$.

2. Inégalités de Bienaymé-Tchebychev et de concentration

• Bienaymé-Tchebychev : Pour toute variable aléatoire $X$ d'espérance $\mu$ et de variance $\sigma^2$ :

$$P(|X - \mu| \ge \delta) \le \frac{\sigma^2}{\delta^2} \quad (\delta > 0)$$

• Inégalité de concentration appliquée à $M_n$ :

$$P(|M_n - \mu| \ge \delta) \le \frac{\sigma^2}{n \delta^2} \xrightarrow[n \to +\infty]{} 0$$

3. Somme de variables aléatoires

Soient $X$ et $Y$ deux variables aléatoires définies sur le même univers, et $a$, $b$ deux réels.

• Linéarité de l'espérance (toujours vraie) : $E(X + Y) = E(X) + E(Y)$ et $E(aX + b) = aE(X) + b$.
• $V(aX + b) = a^2 V(X)$ et donc $\sigma(aX + b) = |a|\,\sigma(X)$.
• Si $X$ et $Y$ sont indépendantes : $V(X + Y) = V(X) + V(Y)$.
• Pour un échantillon $(X_1, \dots, X_n)$ de variables indépendantes de même loi (espérance $\mu$, variance $\sigma^2$), la somme $S_n = X_1 + \dots + X_n$ vérifie $E(S_n) = n\mu$ et $V(S_n) = n\sigma^2$.

4. Autre forme de Bienaymé-Tchebychev

En passant à l'événement contraire, pour tout $\delta > 0$ :
$$P(|X - \mu| < \delta) \ge 1 - \frac{V(X)}{\delta^2}$$
Avec $\delta = k\sigma$ ($k > 0$) : $P(|X - \mu| < k\sigma) \ge 1 - \dfrac{1}{k^2}$. Ainsi, quelle que soit la loi de $X$, au moins $75\,\%$ des valeurs sont à moins de $2\sigma$ de la moyenne ($k = 2$) et au moins $\frac{8}{9} \approx 89\,\%$ à moins de $3\sigma$ ($k = 3$).

5. Loi faible des grands nombres

Soit $(X_1, \dots, X_n)$ un échantillon de variables indépendantes de même loi d'espérance $\mu$, et $M_n = \frac{X_1 + \dots + X_n}{n}$. Pour tout réel $\delta > 0$ :
$$\lim_{n \to +\infty} P(|M_n - \mu| \ge \delta) = 0$$
Interprétation : plus l'échantillon est grand, plus la moyenne observée a de chances d'être proche de l'espérance. Pour des variables de Bernoulli de paramètre $p$, $M_n$ est la fréquence de succès : elle se rapproche de $p$. C'est ce qui justifie l'estimation d'une probabilité par une fréquence (simulations).

6. Démonstration : espérance et variance de la loi binomiale

Soit $X \sim \mathcal{B}(n, p)$. On écrit $X = X_1 + \dots + X_n$, où $X_i$ vaut $1$ si la $i$-ème épreuve est un succès et $0$ sinon.

• Chaque $X_i$ suit la loi de Bernoulli de paramètre $p$ : $E(X_i) = 1 \times p + 0 \times (1 - p) = p$ et, comme $X_i^2 = X_i$, $V(X_i) = E(X_i^2) - E(X_i)^2 = p - p^2 = p(1 - p)$.
• Espérance : par linéarité, $E(X) = E(X_1) + \dots + E(X_n) = np$.
• Variance : les épreuves étant indépendantes, les variables $X_i$ sont indépendantes et leurs variances s'additionnent : $V(X) = V(X_1) + \dots + V(X_n) = np(1 - p)$.
• Par suite, $\sigma(X) = \sqrt{np(1 - p)}$.

7. Démonstrations : Bienaymé-Tchebychev, concentration, loi des grands nombres

Bienaymé-Tchebychev (pour $X$ prenant les valeurs $x_1, \dots, x_r$ avec les probabilités $p_1, \dots, p_r$, d'espérance $\mu$) : on ne garde, dans la somme qui définit la variance, que les termes (positifs) pour lesquels $|x_i - \mu| \ge \delta$ :
$$V(X) = \sum_{i=1}^{r} p_i (x_i - \mu)^2 \ge \sum_{|x_i - \mu| \ge \delta} p_i (x_i - \mu)^2 \ge \sum_{|x_i - \mu| \ge \delta} p_i\,\delta^2 = \delta^2\,P(|X - \mu| \ge \delta)$$
En divisant par $\delta^2 > 0$ : $P(|X - \mu| \ge \delta) \le \dfrac{V(X)}{\delta^2}$.
Concentration : on applique cette inégalité à $M_n$, d'espérance $\mu$ et de variance $\dfrac{V}{n}$ : $P(|M_n - \mu| \ge \delta) \le \dfrac{V}{n\delta^2}$.
Loi des grands nombres : pour $\delta > 0$ fixé, $0 \le P(|M_n - \mu| \ge \delta) \le \dfrac{V}{n\delta^2}$ et $\dfrac{V}{n\delta^2} \to 0$ quand $n \to +\infty$ ; par le théorème des gendarmes, $\lim\limits_{n \to +\infty} P(|M_n - \mu| \ge \delta) = 0$.

8. Simulation d'échantillons en Python

On simule $N$ échantillons de taille $n$ du lancer d'un dé équilibré et on étudie la série des $N$ moyennes obtenues :

from random import randint
from math import sqrt

def moyenne_echantillon(n):
    return sum(randint(1, 6) for i in range(n)) / n

def experience(N, n):
    moyennes = [moyenne_echantillon(n) for j in range(N)]
    m = sum(moyennes) / N
    s = sqrt(sum((x - m)**2 for x in moyennes) / N)
    return m, s

print(experience(1000, 100))

Pour un dé, $\mu = 3{,}5$ et $\sigma = \sqrt{\frac{35}{12}} \approx 1{,}71$. On observe une moyenne des moyennes proche de $3{,}5$ et un écart-type $s$ proche de $\frac{\sigma}{\sqrt{n}} \approx 0{,}171$ pour $n = 100$. En comptant la proportion des moyennes situées à moins de $2s$ de $3{,}5$, on trouve en général environ $95\,\%$, bien plus que la garantie de $75\,\%$ donnée par Bienaymé-Tchebychev.