Cours et exercices corrigés de L2 : Espaces probabilisés et variables aléatoires discrètes

1. Espaces probabilisés

• Une tribu $\mathcal{A}$ sur $\Omega$ contient $\Omega$, est stable par passage au complémentaire et par réunion dénombrable.
• Une probabilité est $P : \mathcal{A} \to [0 ; 1]$ telle que $P(\Omega) = 1$ et, pour toute suite $(A_n)$ d'événements deux à deux disjoints, $P\left(\bigcup_n A_n\right) = \sum_n P(A_n)$ ($\sigma$-additivité).
• Conséquences : $P(\emptyset) = 0$, $P(\overline{A}) = 1 - P(A)$, $A \subset B \implies P(A) \le P(B)$, $P(A \cup B) = P(A) + P(B) - P(A \cap B)$, $P\left(\bigcup A_n\right) \le \sum P(A_n)$.
• Continuité monotone : si $(A_n)$ est croissante, $P\left(\bigcup A_n\right) = \lim P(A_n)$ ; si $(A_n)$ est décroissante, $P\left(\bigcap A_n\right) = \lim P(A_n)$.

2. Démonstration : probabilités totales et formule de Bayes

• Si $P(B) > 0$, $P(A \mid B) = \frac{P(A \cap B)}{P(B)}$ ; $P(\cdot \mid B)$ est une probabilité. Probabilités composées : $P(A_1 \cap \dots \cap A_n) = P(A_1) P(A_2 \mid A_1) \cdots P(A_n \mid A_1 \cap \dots \cap A_{n-1})$ si $P(A_1 \cap \dots \cap A_{n-1}) > 0$.
• Système complet : une famille finie ou dénombrable $(B_n)$ d'événements deux à deux disjoints de réunion $\Omega$.

Théorème. Si $(B_n)$ est un système complet avec $P(B_n) > 0$ pour tout $n$, alors pour tout $A \in \mathcal{A}$ :
$$P(A) = \sum_n P(A \mid B_n)\, P(B_n), \qquad \text{et si } P(A) > 0 : \quad P(B_k \mid A) = \frac{P(A \mid B_k)\, P(B_k)}{\sum_n P(A \mid B_n)\, P(B_n)}.$$
Démonstration.
1. $A = A \cap \Omega = \bigcup_n (A \cap B_n)$, et les $A \cap B_n$ sont deux à deux disjoints car les $B_n$ le sont.
2. Par $\sigma$-additivité : $P(A) = \sum_n P(A \cap B_n) = \sum_n P(A \mid B_n) P(B_n)$, par définition de la probabilité conditionnelle.
3. Pour Bayes : $P(B_k \mid A) = \frac{P(A \cap B_k)}{P(A)} = \frac{P(A \mid B_k) P(B_k)}{P(A)}$, et on remplace $P(A)$ par la formule des probabilités totales.

• Indépendance : $A$ et $B$ sont indépendants si $P(A \cap B) = P(A)P(B)$ ; des événements sont mutuellement indépendants si cette égalité vaut pour toute sous-famille finie.

3. Variables aléatoires discrètes et espérance

• $X : \Omega \to \mathbb{R}$ est une variable aléatoire discrète si $X(\Omega)$ est fini ou dénombrable et $\{X = x\} \in \mathcal{A}$ pour tout $x$. Sa loi est donnée par les $P(X = x)$, $x \in X(\Omega)$, de somme 1.
• Espérance : $X$ admet une espérance si $\sum_{x \in X(\Omega)} |x|\, P(X = x) < +\infty$ ; on pose alors $E(X) = \sum_x x\, P(X = x)$.
• Théorème de transfert : $g(X)$ admet une espérance si et seulement si $\sum_x |g(x)| P(X = x) < +\infty$, et alors $E(g(X)) = \sum_x g(x) P(X = x)$. Il vaut aussi pour un couple : $E(g(X, Y)) = \sum_{(x, y)} g(x, y) P(X = x, Y = y)$.
• Propriétés : positivité ($X \ge 0 \implies E(X) \ge 0$), croissance, $E(\mathbf{1}_A) = P(A)$.

4. Démonstration : linéarité de l'espérance

Théorème. Si $X$ et $Y$ admettent une espérance et $\lambda \in \mathbb{R}$, alors $X + \lambda Y$ admet une espérance et $E(X + \lambda Y) = E(X) + \lambda E(Y)$.
Démonstration.
1. Le cas $\lambda Y$ est immédiat ($E(\lambda Y) = \lambda E(Y)$) ; montrons $E(X + Y) = E(X) + E(Y)$. Le couple $(X, Y)$ prend ses valeurs dans l'ensemble dénombrable $X(\Omega) \times Y(\Omega)$, et l'on note $p_{x,y} = P(X = x, Y = y)$.
2. Pour $x$ fixé, les événements $\{X = x, Y = y\}$, $y \in Y(\Omega)$, sont disjoints de réunion $\{X = x\}$ : par $\sigma$-additivité, $\sum_y p_{x,y} = P(X = x)$. De même, $\sum_x p_{x,y} = P(Y = y)$.
3. Sommabilité : $\sum_{(x,y)} |x + y|\, p_{x,y} \le \sum_{x} |x| \sum_y p_{x,y} + \sum_y |y| \sum_x p_{x,y} = \sum_x |x| P(X = x) + \sum_y |y| P(Y = y) < +\infty$ (sommation par paquets de termes positifs). Par transfert, $X + Y$ admet une espérance.
4. Calcul : la famille $\left((x + y) p_{x,y}\right)$ étant sommable, on peut la sommer par paquets : $E(X + Y) = \sum_{(x,y)} (x + y) p_{x,y} = \sum_x x P(X = x) + \sum_y y P(Y = y) = E(X) + E(Y)$.
Attention : aucune hypothèse d'indépendance n'est requise.

5. Variance, covariance et inégalité de Bienaymé-Tchebychev

• Si $E(X^2) < +\infty$ : $V(X) = E\left[(X - E(X))^2\right] = E(X^2) - E(X)^2 \ge 0$, $\sigma(X) = \sqrt{V(X)}$, et $V(aX + b) = a^2 V(X)$.
• $\text{Cov}(X, Y) = E(XY) - E(X)E(Y)$ et $V(X + Y) = V(X) + V(Y) + 2\,\text{Cov}(X, Y)$. Si $X$ et $Y$ sont indépendantes, $E(XY) = E(X)E(Y)$, donc $\text{Cov}(X, Y) = 0$ et $V(X + Y) = V(X) + V(Y)$.

Inégalité de Markov. Si $X \ge 0$ admet une espérance et $a > 0$ : $P(X \ge a) \le \frac{E(X)}{a}$.
Inégalité de Bienaymé-Tchebychev. Si $E(X^2) < +\infty$ et $\varepsilon > 0$ : $P\left(|X - E(X)| \ge \varepsilon\right) \le \frac{V(X)}{\varepsilon^2}$.
Démonstration.
1. Markov : on a $a\, \mathbf{1}_{\{X \ge a\}} \le X$ (si $X \ge a$, c'est $a \le X$ ; sinon, $0 \le X$). Par croissance et linéarité de l'espérance : $a\, P(X \ge a) \le E(X)$.
2. Bienaymé-Tchebychev : $\{|X - E(X)| \ge \varepsilon\} = \{(X - E(X))^2 \ge \varepsilon^2\}$ ; on applique Markov à la variable positive $(X - E(X))^2$, d'espérance $V(X)$, avec $a = \varepsilon^2$.

• Exemple : si $X \sim \mathcal{B}(100, \frac{1}{2})$, $V(X) = 25$ et $P(|X - 50| \ge 10) \le \frac{25}{100} = \frac{1}{4}$.
• Loi faible des grands nombres : si les $X_i$ sont indépendantes, de même loi, de moyenne $m$ et de variance $\sigma^2$, alors $P\left(\left|\frac{X_1 + \dots + X_n}{n} - m\right| \ge \varepsilon\right) \le \frac{\sigma^2}{n\varepsilon^2} \to 0$.

6. Lois discrètes usuelles

• La loi géométrique est le rang du premier succès ; elle est sans mémoire : $P(X > n + k \mid X > n) = P(X > k)$.
• Approximation : si $n p_n \to \lambda$, alors $P(X_n = k) \to e^{-\lambda}\frac{\lambda^k}{k!}$ pour $X_n \sim \mathcal{B}(n, p_n)$.

7. Fonctions génératrices

Pour $X$ à valeurs dans $\mathbb{N}$ : $G_X(t) = E(t^X) = \sum_{k=0}^{+\infty} P(X = k)\, t^k$, série entière de rayon au moins 1, définie au moins sur $[-1 ; 1]$, avec $G_X(1) = 1$.

• La fonction génératrice caractérise la loi : $P(X = k) = \frac{G_X^{(k)}(0)}{k!}$.
• $X$ admet une espérance si et seulement si $G_X$ est dérivable (à gauche) en $1$, et alors $E(X) = G_X'(1)$.
• $X$ admet un moment d'ordre 2 si et seulement si $G_X$ est deux fois dérivable en $1$, et alors $V(X) = G_X''(1) + G_X'(1) - G_X'(1)^2$.
• Si $X$ et $Y$ sont indépendantes : $G_{X+Y} = G_X\, G_Y$. Exemple : la somme de deux variables de Poisson indépendantes de paramètres $\lambda$ et $\mu$ suit $\mathcal{P}(\lambda + \mu)$.