← Retour au Blog

Le GPU Operator annonce zéro GPU après un redémarrage


Nœud GPU qui se rallume dans un rack sombre

Après un redémarrage le nœud est Ready, et un describe montre encore nvidia.com/gpu: 0. Parfois nvidia-smi répond déjà sur l'hôte. L'ordonnanceur s'en moque. Il ne regarde que le compte allouable publié par le device plugin.

Le problème

Le pod toolkit et le device plugin partent en même temps que le driver, parfois avant lui. S'ils démarrent trop tôt, ils n'enregistrent aucun périphérique. Ils ne réessayent pas toujours quand le driver a fini. Le nœud a l'air sain et n'a pas de GPU.

L'ordre que je veux

Driver Running, puis toolkit, puis device plugin. Si le driver est Running et que le plugin est plus vieux que lui, je supprime seulement le pod du plugin sur ce nœud. J'attends qu'il revienne, puis je relis la valeur allocatable.

Si elle reste à zéro, le driver n'a pas chargé. Je lis son journal. Relancer le plugin une deuxième fois ne crée pas un périphérique que le driver n'a pas monté.

L'ordre d'installation est celui de la mise en place de l'opérateur.

Conseil & Partenariat Ingénierie de Plateforme et Cloud

Besoin d'un accompagnement senior pour fiabiliser et faire évoluer votre infrastructure ?

Des clusters Kubernetes et Talos Linux bare-metal à la réduction substantielle de facture cloud, en passant par la résolution des verrous PostgreSQL et l'architecture IA souveraine, j'interviens directement avec vos équipes de production.