Pod driver du GPU Operator en CrashLoopBackOff après une mise à jour du noyau

Je vois ce cas le lendemain d'une mise à jour automatique. Le pod driver du GPU Operator est en CrashLoopBackOff. nvidia-smi ne répond plus. Les pods d'inférence restent Pending. Le journal dit que la compilation du module noyau a échoué. Presque à chaque fois, les headers installés ne correspondent pas au noyau que uname -r affiche maintenant.
Le problème
L'opérateur compile le module NVIDIA dans un conteneur. Cette compilation exige les headers du noyau qui tourne, pas ceux du noyau d'avant. La mise à jour change le noyau et laisse les anciens headers. Le pod recommence, échoue pareil, et le nœud annonce zéro nvidia.com/gpu.
Ce que je vérifie
uname -r
kubectl -n gpu-operator logs daemonset/nvidia-driver-daemonset --tail=80
Si le paquet linux-headers de ce noyau n'est pas là, je m'arrête. Réinstaller l'opérateur ne crée pas les headers.
Ce que je laisse sur le nœud
sudo apt-get install -y linux-headers-$(uname -r).- Je supprime le pod driver de ce nœud pour relancer la compilation. Je n'installe pas
nvidia-driveravec apt. Le driver appartient à l'opérateur. - Je coupe les mises à jour automatiques du noyau sur les nœuds GPU.
- Avant un changement de noyau prévu : cordon, headers, compilation, uncordon.
La note de départ est le déploiement du GPU Operator.
Conseil & Partenariat Ingénierie de Plateforme et Cloud
Besoin d'un accompagnement senior pour fiabiliser et faire évoluer votre infrastructure ?
Des clusters Kubernetes et Talos Linux bare-metal à la réduction substantielle de facture cloud, en passant par la résolution des verrous PostgreSQL et l'architecture IA souveraine, j'interviens directement avec vos équipes de production.