← Retour au Blog

La mémoire GPU reste prise après la suppression du pod


Châssis GPU après un job, carte encore en place

Je supprime le pod notebook. Une minute plus tard le job suivant est OOM avant de charger un modèle. Sur le nœud, nvidia-smi liste encore un processus. Kubernetes croit le pod parti. La carte, non.

Le problème

Supprimer un pod envoie SIGTERM, puis SIGKILL après le délai de grâce. Un kernel Jupyter ou un worker vLLM peut ignorer le premier signal. L'opérateur ne vide pas la VRAM tout seul.

Ce que je fais

  1. Sur le nœud, nvidia-smi, et je note le PID.
  2. Je mets un délai de grâce court sur les pods GPU, 30 secondes suffisent pour un serveur qui s'arrête sur SIGTERM.
  3. J'ajoute un preStop qui arrête le serveur.
  4. S'il reste un PID après la disparition du pod, je tue ce PID, puis seulement je replanifie.

Je ne lance pas de notebooks interactifs sur la même carte que l'inférence de production. La mise en place est dans l'article opérateur.

Conseil & Partenariat Ingénierie de Plateforme et Cloud

Besoin d'un accompagnement senior pour fiabiliser et faire évoluer votre infrastructure ?

Des clusters Kubernetes et Talos Linux bare-metal à la réduction substantielle de facture cloud, en passant par la résolution des verrous PostgreSQL et l'architecture IA souveraine, j'interviens directement avec vos équipes de production.