Le GPU Operator annonce zéro GPU après un redémarrage

Après un redémarrage le nœud est Ready, et un describe montre encore nvidia.com/gpu: 0. Parfois nvidia-smi répond déjà sur l'hôte. L'ordonnanceur s'en moque. Il ne regarde que le compte allouable publié par le device plugin.
Le problème
Le pod toolkit et le device plugin partent en même temps que le driver, parfois avant lui. S'ils démarrent trop tôt, ils n'enregistrent aucun périphérique. Ils ne réessayent pas toujours quand le driver a fini. Le nœud a l'air sain et n'a pas de GPU.
L'ordre que je veux
Driver Running, puis toolkit, puis device plugin. Si le driver est Running et que le plugin est plus vieux que lui, je supprime seulement le pod du plugin sur ce nœud. J'attends qu'il revienne, puis je relis la valeur allocatable.
Si elle reste à zéro, le driver n'a pas chargé. Je lis son journal. Relancer le plugin une deuxième fois ne crée pas un périphérique que le driver n'a pas monté.
L'ordre d'installation est celui de la mise en place de l'opérateur.
Conseil & Partenariat Ingénierie de Plateforme et Cloud
Besoin d'un accompagnement senior pour fiabiliser et faire évoluer votre infrastructure ?
Des clusters Kubernetes et Talos Linux bare-metal à la réduction substantielle de facture cloud, en passant par la résolution des verrous PostgreSQL et l'architecture IA souveraine, j'interviens directement avec vos équipes de production.