← Retour au Blog

Mettre à jour le driver du GPU Operator sans coucher tous les nœuds


Un nœud GPU sorti sur rails, le reste du rack reste allumé

Je change driver.version dans la ClusterPolicy. Une minute plus tard chaque nœud GPU est NotReady. Le DaemonSet a redémarré le driver partout en même temps. L'inférence s'arrête alors que je voulais seulement monter le driver.

Le problème

Le pod driver n'est pas une réplique sans état. Pendant son redémarrage, le device plugin retire le GPU de allocatable. Si cela arrive sur tous les nœuds dans la même minute, la file n'a nulle part où tourner.

Le rollout

  1. Je règle la stratégie pour qu'un seul pod driver soit indisponible.
  2. Je cordon un nœud GPU et je le draine.
  3. J'attends que le nouveau pod driver soit Running. Je lance nvidia-smi. Je vérifie qu'allocatable est revenu.
  4. J'uncordon, je regarde une vraie requête se poser, puis je prends le nœud suivant.

Je ne change pas la version du driver et celle de l'opérateur dans le même changement. L'installation de départ est la note de mise en place.

Conseil & Partenariat Ingénierie de Plateforme et Cloud

Besoin d'un accompagnement senior pour fiabiliser et faire évoluer votre infrastructure ?

Des clusters Kubernetes et Talos Linux bare-metal à la réduction substantielle de facture cloud, en passant par la résolution des verrous PostgreSQL et l'architecture IA souveraine, j'interviens directement avec vos équipes de production.