Mettre à jour le driver du GPU Operator sans coucher tous les nœuds

Je change driver.version dans la ClusterPolicy. Une minute plus tard chaque nœud GPU est NotReady. Le DaemonSet a redémarré le driver partout en même temps. L'inférence s'arrête alors que je voulais seulement monter le driver.
Le problème
Le pod driver n'est pas une réplique sans état. Pendant son redémarrage, le device plugin retire le GPU de allocatable. Si cela arrive sur tous les nœuds dans la même minute, la file n'a nulle part où tourner.
Le rollout
- Je règle la stratégie pour qu'un seul pod driver soit indisponible.
- Je cordon un nœud GPU et je le draine.
- J'attends que le nouveau pod driver soit Running. Je lance
nvidia-smi. Je vérifie qu'allocatable est revenu. - J'uncordon, je regarde une vraie requête se poser, puis je prends le nœud suivant.
Je ne change pas la version du driver et celle de l'opérateur dans le même changement. L'installation de départ est la note de mise en place.
Conseil & Partenariat Ingénierie de Plateforme et Cloud
Besoin d'un accompagnement senior pour fiabiliser et faire évoluer votre infrastructure ?
Des clusters Kubernetes et Talos Linux bare-metal à la réduction substantielle de facture cloud, en passant par la résolution des verrous PostgreSQL et l'architecture IA souveraine, j'interviens directement avec vos équipes de production.