Cours et exercices corrigés de L3 : Probabilités continues, vecteurs gaussiens et Théorème Central Limite

1. Variables à densité et fonction de répartition

• Variable à densité : $X$ réelle sur $(\Omega, \mathcal{F}, \mathbb{P})$ admet la densité $f_X$ (borélienne, positive, d'intégrale 1) si $\mathbb{P}(X \in B) = \int_B f_X(t) \, dt$ pour tout borélien $B$. Alors $\mathbb{P}(X = a) = 0$ pour tout $a$.
• Fonction de répartition : $F_X(x) = \mathbb{P}(X \le x) = \int_{-\infty}^x f_X(t) \, dt$. Elle est croissante, de limites $0$ et $1$, et continue ; en tout point où $f_X$ est continue, $F_X$ est dérivable et $F_X'(x) = f_X(x)$ (et $F_X' = f_X$ presque partout en général).
• Moments : si $\int |t| f_X(t) \, dt < +\infty$, $\mathbb{E}[X] = \int t f_X(t) \, dt$ ; transfert : $\mathbb{E}[g(X)] = \int g(t) f_X(t) \, dt$ dès que $\int |g| f_X < +\infty$. Variance : $\text{Var}(X) = \mathbb{E}[(X - \mathbb{E}X)^2] = \mathbb{E}[X^2] - (\mathbb{E}X)^2$.
• Lois usuelles :

1. uniforme $\mathcal{U}([a ; b])$ : $f = \frac{1}{b-a}\mathbf{1}_{[a;b]}$, $\mathbb{E} = \frac{a+b}{2}$, $\text{Var} = \frac{(b-a)^2}{12}$ ;
2. exponentielle $\mathcal{E}(\lambda)$ : $f(x) = \lambda e^{-\lambda x}\mathbf{1}_{x \ge 0}$, $\mathbb{E} = \frac{1}{\lambda}$, $\text{Var} = \frac{1}{\lambda^2}$, loi sans mémoire ;
3. normale $\mathcal{N}(\mu, \sigma^2)$ : $f(x) = \frac{1}{\sigma\sqrt{2\pi}}e^{-\frac{(x-\mu)^2}{2\sigma^2}}$, et $\frac{X - \mu}{\sigma} \sim \mathcal{N}(0, 1)$.

2. Indépendance, covariance et inégalités

• Indépendance : $X$ et $Y$ sont indépendantes si $\mathbb{P}(X \in A, Y \in B) = \mathbb{P}(X \in A)\mathbb{P}(Y \in B)$ pour tous boréliens. Pour un couple à densité, cela équivaut à $f_{(X,Y)}(x, y) = f_X(x)f_Y(y)$ presque partout.
• Si $X, Y$ sont indépendantes et intégrables, $XY$ est intégrable et $\mathbb{E}[XY] = \mathbb{E}[X]\mathbb{E}[Y]$.
• Covariance : $\text{Cov}(X, Y) = \mathbb{E}[XY] - \mathbb{E}[X]\mathbb{E}[Y]$ ; $\text{Var}(X + Y) = \text{Var}(X) + \text{Var}(Y) + 2\,\text{Cov}(X, Y)$. Des variables non corrélées (en particulier indépendantes) ont des variances qui s'additionnent.
• Inégalité de Markov : si $X \ge 0$ et $a > 0$, $\mathbb{P}(X \ge a) \le \frac{\mathbb{E}[X]}{a}$.
• Inégalité de Bienaymé-Tchebychev : si $X$ admet une variance, pour tout $\varepsilon > 0$, $\mathbb{P}(|X - \mathbb{E}X| \ge \varepsilon) \le \frac{\text{Var}(X)}{\varepsilon^2}$.
• Somme de variables indépendantes à densité : $f_{X+Y} = f_X \ast f_Y$ (produit de convolution).

3. Démonstration : Bienaymé-Tchebychev et loi faible des grands nombres

Inégalité de Markov. Soit $X \ge 0$ et $a > 0$. On a $a\mathbf{1}_{\{X \ge a\}} \le X$ point par point ; en prenant l'espérance (croissance), $a\,\mathbb{P}(X \ge a) \le \mathbb{E}[X]$. $\square$

Inégalité de Bienaymé-Tchebychev. Soit $X$ de carré intégrable, $m = \mathbb{E}[X]$, $\varepsilon > 0$.
1. Les événements $\{|X - m| \ge \varepsilon\}$ et $\{(X - m)^2 \ge \varepsilon^2\}$ sont égaux (croissance de $t \mapsto t^2$ sur $\mathbb{R}^+$).
2. Markov appliqué à la variable positive $(X - m)^2$ et à $a = \varepsilon^2$ : $\mathbb{P}((X - m)^2 \ge \varepsilon^2) \le \frac{\mathbb{E}[(X - m)^2]}{\varepsilon^2} = \frac{\text{Var}(X)}{\varepsilon^2}$. $\square$

Loi faible des grands nombres ($L^2$). Soit $(X_n)_{n \ge 1}$ une suite de variables deux à deux non corrélées (par exemple indépendantes), de même espérance $\mu$ et de même variance $\sigma^2 < +\infty$, et $\bar{X}_n = \frac{1}{n}\sum_{k=1}^n X_k$. Alors pour tout $\varepsilon > 0$, $\mathbb{P}(|\bar{X}_n - \mu| \ge \varepsilon) \to 0$.
1. Espérance : par linéarité, $\mathbb{E}[\bar{X}_n] = \frac{1}{n}\sum \mathbb{E}[X_k] = \mu$.
2. Variance : les covariances croisées étant nulles, $\text{Var}\left(\sum_{k=1}^n X_k\right) = \sum_{k=1}^n \text{Var}(X_k) = n\sigma^2$, donc $\text{Var}(\bar{X}_n) = \frac{n\sigma^2}{n^2} = \frac{\sigma^2}{n}$.
3. Bienaymé-Tchebychev : $\mathbb{P}(|\bar{X}_n - \mu| \ge \varepsilon) \le \frac{\sigma^2}{n\varepsilon^2} \xrightarrow[n \to \infty]{} 0$. $\square$

La démonstration fournit en plus une vitesse explicite en $\frac{1}{n}$, utile pour dimensionner un échantillon.

4. Fonctions caractéristiques

• Définition : $\Phi_X(t) = \mathbb{E}[e^{itX}]$, $t \in \mathbb{R}$ ; pour $X$ à densité, $\Phi_X(t) = \int e^{itx}f_X(x) \, dx$.
• Propriétés :

1. $\Phi_X(0) = 1$, $|\Phi_X(t)| \le 1$, et $\Phi_X$ est uniformément continue sur $\mathbb{R}$ ; $\Phi_{aX + b}(t) = e^{ibt}\Phi_X(at)$.
2. Indépendance : si $X$ et $Y$ sont indépendantes, $\Phi_{X+Y} = \Phi_X \, \Phi_Y$.
3. Moments : si $\mathbb{E}[|X|^k] < +\infty$, $\Phi_X$ est de classe $\mathcal{C}^k$ et $\Phi_X^{(j)}(0) = i^j\,\mathbb{E}[X^j]$ pour $j \le k$. En particulier, si $\mathbb{E}[X^2] < +\infty$ : $\Phi_X(t) = 1 + it\,\mathbb{E}[X] - \frac{t^2}{2}\mathbb{E}[X^2] + o(t^2)$.
4. Caractérisation : deux variables ont la même loi si et seulement si elles ont la même fonction caractéristique.

• Exemples : $\mathcal{N}(\mu, \sigma^2)$ : $\Phi(t) = e^{i\mu t - \sigma^2t^2/2}$ ; $\mathcal{E}(\lambda)$ : $\Phi(t) = \frac{\lambda}{\lambda - it}$ ; loi de Cauchy de densité $\frac{1}{\pi(1 + x^2)}$ : $\Phi(t) = e^{-|t|}$.
• Conséquence : la somme de deux gaussiennes indépendantes $\mathcal{N}(\mu_1, \sigma_1^2)$ et $\mathcal{N}(\mu_2, \sigma_2^2)$ suit $\mathcal{N}(\mu_1 + \mu_2, \sigma_1^2 + \sigma_2^2)$.

5. Modes de convergence

Soient $(X_n)$ et $X$ des variables aléatoires réelles.

• Presque sûre : $\mathbb{P}(X_n \to X) = 1$.
• Dans $L^p$ ($p \ge 1$) : $\mathbb{E}[|X_n - X|^p] \to 0$.
• En probabilité : $\forall \varepsilon > 0$, $\mathbb{P}(|X_n - X| > \varepsilon) \to 0$.
• En loi : $\mathbb{E}[g(X_n)] \to \mathbb{E}[g(X)]$ pour toute $g$ continue bornée ; de façon équivalente, $F_{X_n}(x) \to F_X(x)$ en tout point $x$ où $F_X$ est continue. La convergence en loi ne concerne que les lois : les $X_n$ peuvent être définies sur des espaces différents.
• Théorème de Lévy : $X_n \xrightarrow{\mathcal{L}} X$ si et seulement si $\Phi_{X_n}(t) \to \Phi_X(t)$ pour tout $t \in \mathbb{R}$.
• Hiérarchie : p.s. $\implies$ en probabilité $\implies$ en loi ; $L^p \implies$ en probabilité (Markov) ; $L^q \implies L^p$ pour $q \ge p$. Réciproque partielle : la convergence en loi vers une constante implique la convergence en probabilité ; de toute suite convergeant en probabilité on peut extraire une sous-suite convergeant p.s.

6. Loi forte des grands nombres et théorème central limite

Soit $(X_n)_{n \ge 1}$ une suite de variables indépendantes et de même loi (i.i.d.) et $S_n = X_1 + \dots + X_n$.

• Loi forte des grands nombres : si $\mathbb{E}[|X_1|] < +\infty$, $\frac{S_n}{n} \xrightarrow{\text{p.s.}} \mu = \mathbb{E}[X_1]$. (La loi faible, en probabilité, a été démontrée au point 3 sous hypothèse $L^2$.)
• Théorème central limite : si $\mathbb{E}[X_1^2] < +\infty$ et $\sigma^2 = \text{Var}(X_1) > 0$,

$$Z_n = \frac{S_n - n\mu}{\sigma\sqrt{n}} = \sqrt{n}\,\frac{\bar{X}_n - \mu}{\sigma} \xrightarrow[n \to \infty]{\mathcal{L}} \mathcal{N}(0, 1)$$
Comme la fonction de répartition $\Phi_{\mathcal{N}}$ de $\mathcal{N}(0, 1)$ est continue, pour tous $a \le b$ : $\mathbb{P}(a \le Z_n \le b) \to \int_a^b \frac{e^{-t^2/2}}{\sqrt{2\pi}} \, dt$.

• Lecture : $\bar{X}_n - \mu$ est de l'ordre de $\frac{\sigma}{\sqrt{n}}$ ; d'où l'intervalle de confiance asymptotique $\left[\bar{X}_n \pm 1{,}96\frac{\sigma}{\sqrt{n}}\right]$ au niveau $95\,\%$.
• Cas binomial (Moivre-Laplace) : si $S_n \sim \mathcal{B}(n, p)$, $\frac{S_n - np}{\sqrt{np(1-p)}} \xrightarrow{\mathcal{L}} \mathcal{N}(0, 1)$.