Cours et exercices corrigés de L2 : Endomorphismes symétriques, groupe orthogonal et Théorème Spectral

1. Adjoint d'un endomorphisme

Soit $E$ un espace euclidien et $u \in \mathcal{L}(E)$.

• Il existe un unique $u^{\ast} \in \mathcal{L}(E)$, l'adjoint de $u$, tel que $\langle u(x), y \rangle = \langle x, u^{\ast}(y) \rangle$ pour tous $x, y$.
• Si $\mathcal{B}$ est une base orthonormée, $\text{Mat}_\mathcal{B}(u^{\ast}) = {}^t\text{Mat}_\mathcal{B}(u)$.
• Propriétés : $(u^{\ast})^{\ast} = u$, $(u \circ v)^{\ast} = v^{\ast} \circ u^{\ast}$, $\text{Ker}\,u^{\ast} = (\text{Im}\,u)^\perp$, $\text{Im}\,u^{\ast} = (\text{Ker}\,u)^\perp$.
• Si $F$ est stable par $u$, alors $F^\perp$ est stable par $u^{\ast}$.

2. Endomorphismes symétriques

$u$ est symétrique (ou auto-adjoint) si $u^{\ast} = u$, c'est-à-dire $\langle u(x), y \rangle = \langle x, u(y) \rangle$ ; de manière équivalente, sa matrice dans une base orthonormée est symétrique.

• Sous-espaces propres orthogonaux : si $u(x) = \lambda x$, $u(y) = \mu y$ et $\lambda \neq \mu$, alors $\lambda \langle x, y \rangle = \langle u(x), y \rangle = \langle x, u(y) \rangle = \mu \langle x, y \rangle$, donc $\langle x, y \rangle = 0$.
• Stabilité : si $F$ est stable par $u$ symétrique, $F^\perp$ l'est aussi : pour $x \in F^\perp$ et $y \in F$, $\langle u(x), y \rangle = \langle x, u(y) \rangle = 0$.
• Exemples : les projecteurs orthogonaux et les symétries orthogonales sont symétriques ; un projecteur est orthogonal si et seulement s'il est symétrique.

3. Démonstration du théorème spectral

Théorème. Tout endomorphisme symétrique $u$ d'un espace euclidien $E$ est diagonalisable dans une base orthonormée de vecteurs propres.
Démonstration.
1. Les valeurs propres de $A = \text{Mat}_\mathcal{B}(u)$ ($\mathcal{B}$ orthonormée) sont réelles. $A$ est symétrique réelle. Soit $\lambda \in \mathbb{C}$ une racine de $\chi_A$ et $Z \in \mathbb{C}^n$ non nul tel que $AZ = \lambda Z$. Le nombre $s = {}^t\overline{Z} A Z = \lambda \sum_i |z_i|^2$ vérifie $\overline{s} = {}^t Z A \overline{Z} = {}^t({}^t Z A \overline{Z}) = {}^t\overline{Z}\, {}^t A\, Z = s$ ($A$ réelle, puis transposée d'un scalaire, puis $A$ symétrique). Donc $s \in \mathbb{R}$ et $\lambda = \frac{s}{\sum |z_i|^2} \in \mathbb{R}$.
2. $u$ admet un vecteur propre. $\lambda$ étant réelle, $A - \lambda I_n$ est une matrice réelle non inversible : il existe $X \in \mathbb{R}^n$ non nul avec $AX = \lambda X$.
3. Récurrence sur $n = \dim E$. Pour $n = 1$, toute base orthonormée convient. Supposons le résultat vrai en dimension $n - 1$. Soit $e_1$ un vecteur propre unitaire de $u$ ; la droite $D = \mathbb{R} e_1$ est stable par $u$, donc $H = D^\perp$ est stable par $u$ (point 2 du cours).
4. La restriction $u_H$ est un endomorphisme symétrique de l'espace euclidien $H$, de dimension $n - 1$ : par hypothèse de récurrence, $H$ admet une base orthonormée $(e_2, \dots, e_n)$ de vecteurs propres de $u_H$, donc de $u$.
5. $(e_1, e_2, \dots, e_n)$ est une base orthonormée de $E$ formée de vecteurs propres de $u$.
Version matricielle : pour $A \in \mathcal{S}_n(\mathbb{R})$, il existe $P \in O_n(\mathbb{R})$ et $D$ diagonale réelle telles que $A = P D P^{-1} = P D\, {}^t P$.

4. Matrices symétriques positives et quotient de Rayleigh

• $A \in \mathcal{S}_n(\mathbb{R})$ est positive si ${}^t X A X \ge 0$ pour tout $X$, définie positive si de plus ${}^t X A X = 0 \implies X = 0$.
• En écrivant $X = PY$ avec $P$ orthogonale : ${}^t X A X = \sum_i \lambda_i y_i^2$. D'où : $A$ positive $\iff$ $\text{Sp}(A) \subset \mathbb{R}_+$ ; $A$ définie positive $\iff$ $\text{Sp}(A) \subset \mathbb{R}_+^{\ast}$.
• Encadrement de Rayleigh : $\lambda_{\min} \|X\|^2 \le {}^t X A X \le \lambda_{\max} \|X\|^2$, avec égalité pour des vecteurs propres associés.
• Exemples : ${}^t M M$ est symétrique positive pour toute $M \in \mathcal{M}_{p,n}(\mathbb{R})$ ; la hessienne d'une fonction $\mathcal{C}^2$ est symétrique réelle.

5. Isométries vectorielles et matrices orthogonales

• $u \in \mathcal{L}(E)$ est une isométrie (automorphisme orthogonal) si $\|u(x)\| = \|x\|$ pour tout $x$ ; par polarisation, c'est équivalent à $\langle u(x), u(y) \rangle = \langle x, y \rangle$, et à $u^{\ast} \circ u = \text{Id}_E$.
• $u$ est une isométrie $\iff$ $u$ envoie une (toute) base orthonormée sur une base orthonormée.
• $O_n(\mathbb{R}) = \{M \mid {}^t M M = I_n\}$ : les colonnes (et les lignes) de $M$ forment une base orthonormée de $\mathbb{R}^n$.
• Si $u \in O(E)$ : $\det u = \pm 1$, et les valeurs propres réelles éventuelles valent $\pm 1$. $SO(E) = \{u \in O(E) \mid \det u = 1\}$ est le groupe des rotations.

6. Isométries du plan et de l'espace

• Plan : les éléments de $SO_2(\mathbb{R})$ sont les $R_\theta = \begin{pmatrix} \cos\theta & -\sin\theta \\ \sin\theta & \cos\theta \end{pmatrix}$ (et $R_\theta R_{\theta'} = R_{\theta + \theta'}$, donc $SO_2(\mathbb{R})$ est commutatif) ; ceux de $O_2(\mathbb{R}) \setminus SO_2(\mathbb{R})$ sont les $\begin{pmatrix} \cos\theta & \sin\theta \\ \sin\theta & -\cos\theta \end{pmatrix}$, réflexions d'axe dirigé par $\left(\cos\frac{\theta}{2}, \sin\frac{\theta}{2}\right)$.
• Espace : tout $u \in SO_3(\mathbb{R})$ distinct de l'identité est une rotation d'axe $\text{Ker}(u - \text{Id})$, une droite ; son angle $\theta$ vérifie $\text{tr}(u) = 1 + 2\cos\theta$. Le signe de $\sin\theta$, l'axe étant orienté par $w$, est celui de $\det(x, u(x), w)$ pour $x \notin \mathbb{R}w$.