Cours et exercices corrigés de PASS / L.AS : Corrélation et régression linéaire

1. Nuage de points et point moyen

Une série bivariée associe à chaque individu deux mesures $(x_i ; y_i)$, $i = 1, \dots, n$ (par exemple l'âge et la pression systolique d'un patient). On la représente par un nuage de points.
Le point moyen est $G(\bar{x} ; \bar{y})$, où $\bar{x}$ et $\bar{y}$ sont les moyennes des deux séries.
Avant tout calcul, on regarde la forme du nuage : allongé selon une droite (liaison linéaire), courbe (liaison non linéaire), ou sans structure.

2. Covariance et coefficient de corrélation

Covariance : $\mathrm{cov}(x, y) = \dfrac{1}{n}\sum_{i=1}^{n}(x_i - \bar{x})(y_i - \bar{y}) = \overline{xy} - \bar{x}\,\bar{y}.$ Elle est positive quand $x$ et $y$ varient dans le même sens, négative sinon ; elle dépend des unités.
Coefficient de corrélation linéaire de Pearson : $r = \dfrac{\mathrm{cov}(x, y)}{s_x\, s_y},$ où $s_x$ et $s_y$ sont les écarts types des deux séries (calculés avec le même diviseur que la covariance).
$r$ est sans unité, toujours compris entre $-1$ et $1$ ; $|r| = 1$ si et seulement si les points sont exactement alignés. $r$ ne change pas si l'on change d'unité (transformation affine de coefficient positif).

3. Droite des moindres carrés

La droite de régression de $y$ en $x$ (ou des moindres carrés) est la droite $y = ax + b$ qui rend minimale la somme des carrés des écarts verticaux $\sum (y_i - ax_i - b)^2$. On a $a = \dfrac{\mathrm{cov}(x, y)}{s_x^2}, \qquad b = \bar{y} - a\bar{x}.$
La droite passe par le point moyen $G$. La pente $a$ a le signe de $r$ et s'exprime en « unité de $y$ par unité de $x$ » : c'est la variation moyenne de $y$ quand $x$ augmente d'une unité.
On a aussi $a = r\,\dfrac{s_y}{s_x}$. Attention : la droite de régression de $x$ en $y$ est en général différente.

4. Coefficient de détermination, prédiction et causalité

Coefficient de détermination : $r^2$, entre $0$ et $1$, est la part de la variance de $y$ « expliquée » par la relation linéaire avec $x$. Avec $r = 0{,}8$, $r^2 = 0{,}64$ : $64\,\%$ de la variabilité de $y$ est expliquée par la droite.
Prédiction : pour une valeur $x_0$, on prédit $\hat{y} = ax_0 + b$. Elle n'est raisonnable que dans le domaine des $x$ observés : au-delà, c'est une extrapolation, risquée car rien ne garantit que la relation reste linéaire.
Corrélation n'est pas causalité : une forte corrélation peut venir d'un facteur de confusion lié aux deux variables (l'âge, la saison…), du hasard, ou d'une causalité inverse. Seul un essai contrôlé randomisé permet de conclure à un effet causal.
Test de nullité de $r$ (aperçu) : pour tester $H_0$ « pas de corrélation linéaire dans la population », on calcule $t = \dfrac{r\sqrt{n - 2}}{\sqrt{1 - r^2}}$, que l'on compare au seuil de la loi de Student à $n - 2$ degrés de liberté (proche de $2$ au risque $5\,\%$ dès que $n$ dépasse quelques dizaines). Avec un grand effectif, un $r$ faible peut être significatif sans être cliniquement important.

5. Aux partiels : pièges fréquents

• Diviser la covariance par $s_x s_y$ pour la pente : c'est le coefficient $r$ ; la pente est $\dfrac{\mathrm{cov}(x, y)}{s_x^2}$.
• Oublier de vérifier que la droite passe par $G(\bar{x} ; \bar{y})$ : c'est un contrôle rapide de $b$.
• Croire que $r = 0$ signifie « aucune liaison » : il n'y a pas de liaison linéaire, mais une liaison courbe (en U) reste possible.
• Confondre $r$ et $r^2$ : $r = 0{,}5$ n'explique que $25\,\%$ de la variance.
• Interpréter une corrélation comme un effet causal, ou prédire loin hors du domaine observé.