Comment NVIDIA utilise des agents d’IA pour simplifier les opérations de son usine d’IA

NVIDIA a développé l’AI Factory Operations Agent afin d’optimiser les opérations internes des DGX SuperPOD, réduisant ainsi le travail manuel des ingénieurs en fiabilité des sites. Cet agent coordonne des sous-agents spécialisés pour détecter les pannes et corrélater leurs causes profondes au niveau du calcul, du réseau, du matériel et de la planification.

Lecture audio non disponible dans ce navigateur
Comment NVIDIA utilise des agents d’IA pour simplifier les opérations de son usine d’IA

Tags

Résumé rapide

NVIDIA a développé l’AI Factory Operations Agent afin d’optimiser les opérations internes des DGX SuperPOD, réduisant ainsi le travail manuel des ingénieurs en fiabilité des sites. Cet agent coordonne des sous-agents spécialisés pour détecter les pannes et corrélater leurs causes profondes au niveau du calcul, du réseau, du matériel et de la planification.

Comment NVIDIA utilise des agents d’IA pour rationaliser les opérations de l’usine d’IA

À mesure que les clusters GPU s’agrandissent, les opérations couvrent le calcul, le réseau, le matériel et la planification. Les ingénieurs en fiabilité des sites (SRE) doivent souvent examiner plusieurs tableaux de bord pour identifier la cause des baisses de performance lors de l’entraînement. Que se passerait-il si une équipe d’agents d’IA pouvait effectuer cette corrélation via une seule interface ?

NVIDIA a développé l’AI Factory Operations Agent afin de rationaliser ses propres opérations internes sur les NVIDIA DGX SuperPOD et de réduire le travail manuel des SRE. Les sous-agents communiquent grâce au Model Context Protocol (MCP), que toute organisation peut adopter pour maximiser le temps de fonctionnement et les performances de son usine d’IA.

Au lieu de demander aux SRE de vérifier chaque couche du logiciel et du matériel de l’usine d’IA séparément, l’AI Factory Operations Agent utilise des agents spécialisés pour différents domaines opérationnels. En production, ces agents détectent les pannes, corrélent les causes profondes entre les différentes couches et proposent des recommandations claires via une interface de chat. Les SRE peuvent interagir avec n’importe quel agent en utilisant un langage naturel, basculer entre différentes investigations et suivre chaque action afin d’en assurer la traçabilité.

L’architecture : utilisation de NVIDIA Blueprints et de modèles ouverts

L’exemple de développement de l’AI Factory Operations Agent a été construit autour du blueprint NVIDIA NemoClaw. Au centre se trouve le moteur d’exécution de l’agent destiné aux utilisateurs, qui reçoit les requêtes des SRE via une interface de chat et invoque les agents et outils appropriés pour chaque domaine.

Les agents se connectent à l’infrastructure grâce à des plugins OpenClaw et à des serveurs MCP, chacun exposant un ensemble ciblé d’outils opérationnels approuvés. Vous pouvez utiliser l’interface web intégrée ou intégrer des interfaces d’agents de codage existantes via l’API. Cette conception modulaire vous permet d’ajouter de nouveaux agents et des intégrations d’infrastructure sans modifier les agents existants.

Le framework est développé à l’aide de NVIDIA OpenShell et est entièrement capable de fonctionner en locaux, ce qui favorise l’extensibilité et la souveraineté des données. L’inférence des agents utilise des modèles ouverts NVIDIA Nemotron exécutés localement, tandis que le framework fonctionne sur des clusters de production internes tels que les NVIDIA DGX H100, NVIDIA DGX B200 et NVIDIA DGX GB300.

Comment NVIDIA l’a construit

L’agent de gestion des opérations d’AI Factory s’exécute en tant qu’application du plan de contrôle Kubernetes. Helm déploie l’interface utilisateur, le gateway OpenClaw, les serveurs d’outils MCP, le point de terminaison d’inférence et le runtime NVIDIA OpenShell en tant que services Kubernetes. L’interface de chat envoie chaque demande à NemoClaw, qui la redirige vers l’agent approprié du domaine.

Pour l’exécution en shell, OpenShell crée un environnement sandbox Kubernetes par session au lieu d’exécuter des commandes dans le pod principal du gateway. Le runtime reçoit l’espace de travail de l’agent de gestion des opérations d’AI Factory, les compétences sélectionnées et la politique de commandes. Son cycle de vie ne modifie pas les services existants ni les charges de travail en production.

La sécurité est appliquée en plusieurs couches. L’inspection Kubernetes utilise l’outil du côté serveur run_kubectl, qui invoque une version fixe de kubectl à l’aide de crédenciaux en lecture seule enregistrés. OpenShell ne reçoit ni kubectl ni de crédenciaux Kubernetes. Les comptes de service Kubernetes et le contrôle d’accès basé sur les rôles (RBAC) définissent les ressources du cluster que l’outil peut inspecter.

Comme ces vérifications s’effectuent via le même chemin d’accès Kubernetes utilisé par le runtime, les résultats indiquent ce que l’agent peut et ne peut pas faire à l’intérieur du cluster.

(agent) $ kubectl auth can-i get pods yes
(agent) $ kubectl auth can-i get configmaps yes
(agent) $ kubectl auth can-i get secrets no
(agent) $ kubectl auth can-i create pods no
(agent) $ kubectl auth can-i update pods no

Agents et outils spécifiques aux domaines

La déploiement interne d’AI Factory Operations Agent par NVIDIA fait appel à un écosystème en expansion d’agents spécifiques aux domaines des data centers NVIDIA, chacun fournissant des recommandations.

  • Agent de récupération des tâches : Détecte les échecs des tâches d’entraînement et la dégradation du goodput ; effectue une analyse en plusieurs niveaux des causes racines au niveau du planificateur, de l’application, du matériel et du réseau ; et recommande des étapes de récupération une fois la cause racine confirmée.
  • Agent matériel : Trie les pannes matérielles au niveau du dispositif — erreurs PCIe, erreurs ECC, problèmes GPU, défaillances NVMe et anomalies thermiques — en remontant aux composants spécifiques responsables des symptômes.
  • Agent d’observabilité : Interroge les archives Prometheus historiques, les données de télémétrie ainsi que les journaux intégrés de Grafana Loki pour créer dynamiquement des tableaux de bord et les afficher directement dans l’interface web.
  • Agent de recherche : Recherche une documentation préchargée incluant les manuels NVIDIA Mission Control ainsi que les architectures de référence et les guides de déploiement DGX SuperPOD. Vous pouvez également téléverser vos propres runbooks et guides spécifiques au site.
  • Agent Kubernetes : Fournit une visibilité opérationnelle en lecture seule sur les pods, les services, les déploiements, les ressources GPU, l’état des nœuds et l’état de planification.
  • Agent de gestion de cluster : Interagit avec les API du NVIDIA Base Command Manager à l’aide d’outils diagnostiques MCP pour une gestion consultative du cluster et le débogage.

En plus des agents de domaine, le framework intègre des outils MCP transversaux incluant la recherche web, l’exécution de code et des tableaux de bord Grafana.

Vous pouvez également connecter vos propres serveurs et API MCP, afin d’adapter le framework aux planificateurs, aux plateformes d’observabilité, aux gestionnaires de cluster et aux procédures opérationnelles déjà utilisées dans ces environnements.

Leçons tirées de la production et bonnes pratiques

NVIDIA continue d’améliorer le framework en mesurant la précision de l’analyse des causes racines (RCA), en suivant le degré d’accord des SRE et en élargissant l’écosystème des agents. À partir de l’utilisation en production, cinq leçons ressortent :

  1. Délimiter clairement les frontières des agents : Une propriété chevauchante crée du bruit, pas un signal.
  2. Lire uniquement en premier : Une enquête précise gagne la confiance des SRE avant l’automatisation.
  3. Corrélation entre les différents niveaux : Le cadre relie les charges de travail, le matériel et les signaux réseau pour identifier les causes profondes que les outils isolés manquent.
  4. Outils MCP précis : Des définitions d’outils claires améliorent l’acheminement des requêtes et réduisent le choix erroné d’outils.
  5. Raisonnement transparent : Les SRE doivent pouvoir voir les appels d’outils, les preuves et les conclusions avant d’agir.

Modèles de déploiement pour des usines multi-locataires

Pour les organisations qui gèrent des usines d’IA à grande échelle, le modèle de déploiement préféré est un plan de contrôle accéléré par GPU dédié, isolé du cluster de production. Le plan de contrôle s’occupe de l’orchestration des agents et du raisonnement, tandis que le cluster de production fournit des données de télémétrie sans consommer de GPU de formation ni perturber les charges de travail.

Les déploiements internes NVIDIA effectuent l’inférence des modèles sur des capacités GPU dédiées et utilisent l’espace d’administration CPU du plan de contrôle Kubernetes pour les services en temps de exécution. D’autres déploiements peuvent utiliser un point de terminaison d’inférence local ou dans le cloud, en fonction de la souveraineté des données, de la taille du cluster et des capacités GPU disponibles, les déploiements plus petits utilisant une station de travail RTX PRO ou un DGX Spark.

Pour les usines d’IA multi-locataires, des agents ciblés, des outils, des sandbox et des permissions Kubernetes contrôlent les données du cluster, les outils et les nœuds accessibles à chaque locataire. Les SRE des locataires ne voient que leurs namespaces, leurs jobs et leurs nœuds, tandis que les équipes opérationnelles centrales conservent une visibilité plus large sur le cluster. Chaque locataire peut utiliser son propre ensemble d’agents spécifiques à son domaine ainsi que du matériel d’inférence dédié lorsque c’est nécessaire. OpenShell impose ces limites en exécutant les agents et outils de chaque locataire dans un sandbox isolé, avec des restrictions au niveau du noyau.

Conclusion

L’Agent de gestion des opérations d’AI Factory montre comment des sous-agents spécialisés peuvent coordonner leurs actions pour détecter les pannes, corrélater les causes racines au niveau du calcul, du réseau, du matériel et de la planification, et proposer des recommandations via une interface de chat pour les opérations NVIDIA DGX SuperPOD. En s’appuyant sur les modèles NVIDIA NemoClaw et NVIDIA OpenShell, ce cadre garantit que l’inférence des agents utilise des modèles ouverts NVIDIA Nemotron hébergés localement au sein des clusters de production NVIDIA DGX H100, NVIDIA DGX B200 et NVIDIA DGX GB300.

Pour commencer à rationaliser la gestion des opérations des clusters, explorez l’exemple de développement de l’Agent de gestion des opérations d’AI Factory, ou accédez directement au cadre et au code open source sur GitHub. Ce cadre d’orchestration est disponible en tant que logiciel open source expérimental ; les API, les paramètres de configuration et les exigences de déploiement peuvent varier d’une version à l’autre. Les clients NVIDIA peuvent contacter leur gestionnaire de compte pour demander un accès aux agents de gestion des opérations développés par NVIDIA.

Source : https://developer.nvidia.com/blog/how-nvidia-uses-ai-agents-to-streamline-ai-factory-operations

Sources