Un job GPU tombe sur un nœud CPU, ou un job CPU tombe sur le nœud GPU

On me dit que le job GPU est sur la mauvaise machine. Je demande laquelle. Un pod sans limite nvidia.com/gpu est un pod CPU. L'ordonnanceur peut le poser sur le nœud cher parce que ce nœud a du CPU libre. Un pod qui demande un GPU et reste sur un nœud CPU est un autre bug : le nœud GPU ne publie pas la ressource.
Le partage que j'impose
- Je teinte les nœuds GPU :
nvidia.com/gpu=present:NoSchedule. - Chaque pod qui a besoin de la carte demande
nvidia.com/gpuet tolère cette teinte. - Le reste n'a pas de tolérance, donc il reste sur les nœuds CPU.
- Si un pod demande un GPU et reste Pending, je vérifie allocatable. Une teinte ne crée pas un périphérique.
Je ne mets pas de nodeSelector sur le nom d'hôte. Les noms changent. La teinte et le nom de ressource, non. La mise en place est la première note.
Conseil & Partenariat Ingénierie de Plateforme et Cloud
Besoin d'un accompagnement senior pour fiabiliser et faire évoluer votre infrastructure ?
Des clusters Kubernetes et Talos Linux bare-metal à la réduction substantielle de facture cloud, en passant par la résolution des verrous PostgreSQL et l'architecture IA souveraine, j'interviens directement avec vos équipes de production.