← Retour au Blog

Pod driver du GPU Operator en CrashLoopBackOff après une mise à jour du noyau


Serveur GPU ouvert après un échec du driver

Je vois ce cas le lendemain d'une mise à jour automatique. Le pod driver du GPU Operator est en CrashLoopBackOff. nvidia-smi ne répond plus. Les pods d'inférence restent Pending. Le journal dit que la compilation du module noyau a échoué. Presque à chaque fois, les headers installés ne correspondent pas au noyau que uname -r affiche maintenant.

Le problème

L'opérateur compile le module NVIDIA dans un conteneur. Cette compilation exige les headers du noyau qui tourne, pas ceux du noyau d'avant. La mise à jour change le noyau et laisse les anciens headers. Le pod recommence, échoue pareil, et le nœud annonce zéro nvidia.com/gpu.

Ce que je vérifie

uname -r
kubectl -n gpu-operator logs daemonset/nvidia-driver-daemonset --tail=80

Si le paquet linux-headers de ce noyau n'est pas là, je m'arrête. Réinstaller l'opérateur ne crée pas les headers.

Ce que je laisse sur le nœud

  1. sudo apt-get install -y linux-headers-$(uname -r).
  2. Je supprime le pod driver de ce nœud pour relancer la compilation. Je n'installe pas nvidia-driver avec apt. Le driver appartient à l'opérateur.
  3. Je coupe les mises à jour automatiques du noyau sur les nœuds GPU.
  4. Avant un changement de noyau prévu : cordon, headers, compilation, uncordon.

La note de départ est le déploiement du GPU Operator.

Conseil & Partenariat Ingénierie de Plateforme et Cloud

Besoin d'un accompagnement senior pour fiabiliser et faire évoluer votre infrastructure ?

Des clusters Kubernetes et Talos Linux bare-metal à la réduction substantielle de facture cloud, en passant par la résolution des verrous PostgreSQL et l'architecture IA souveraine, j'interviens directement avec vos équipes de production.