Wie NVIDIA KI-Agenten einsetzt, um die Betriebsabläufe einer KI-Fabrik zu optimieren

NVIDIA hat den AI Factory Operations Agent entwickelt, um die internen Abläufe der DGX SuperPODs zu optimieren und die manuelle Arbeit der Site Reliability Engineers zu verringern. Dieser Agent koordiniert spezialisierte Unteragenten, um Fehler zu erkennen und die Ursachen in den Bereichen Rechenleistung, Netzwerk, Hardware sowie Scheduling miteinander in Beziehung zu setzen.

Vorlesen ist in diesem Browser nicht verfügbar
Wie NVIDIA KI-Agenten einsetzt, um die Betriebsabläufe einer KI-Fabrik zu optimieren

Tags

Kurze Zusammenfassung

NVIDIA hat den AI Factory Operations Agent entwickelt, um die internen Abläufe der DGX SuperPODs zu optimieren und die manuelle Arbeit der Site Reliability Engineers zu verringern. Dieser Agent koordiniert spezialisierte Unteragenten, um Fehler zu erkennen und die Ursachen in den Bereichen Rechenleistung, Netzwerk, Hardware sowie Scheduling miteinander in Beziehung zu setzen.

Wie NVIDIA KI-Agenten nutzt, um die Betriebsabläufe der KI-Fabrik zu optimieren

Mit der Erweiterung von GPU-Clustern umfassen die Betriebsabläufe Bereiche wie Rechenleistung, Netzwerk, Hardware und Scheduling. Site Reliability Engineers (SREs) müssen oft mehrere Dashboards prüfen, um die Ursachen für Rückgänge in der Trainingsleistung zu ermitteln. Was wäre, wenn ein Team von KI-Agenten diese Zusammenhänge über eine einzige Schnittstelle auswerten könnte?

NVIDIA hat den AI Factory Operations Agent entwickelt, um die eigenen internen NVIDIA DGX SuperPOD-Betriebsabläufe zu optimieren und die manuelle Arbeit der NVIDIA SREs zu verringern. Unter-Agenten kommunizieren über das Model Context Protocol (MCP), das jede Organisation nutzen kann, um die Betriebszeit und Leistung der KI-Fabrik zu maximieren.

Anstatt dass SREs jede Schicht der Software und Hardware der KI-Fabrik separat überprüfen müssen, verwendet der AI Factory Operations Agent spezialisierte Agenten für verschiedene Betriebsbereiche. In der Produktion erkennen diese Agenten Fehler, korrelieren die zugrunde liegenden Ursachen über verschiedene Schichten hinweg und liefern klare Empfehlungen über eine Chat-Schnittstelle. SREs können mit jedem Agenten in natürlicher Sprache interagieren, zwischen Untersuchungen wechseln und jede Aktion zur Nachvollziehbarkeit tracken.

Die Architektur: Nutzung von NVIDIA Blueprints und Open Models

Das Entwicklungsbeispiel für den AI Factory Operations Agent basiert auf dem NVIDIA NemoClaw Blueprint. Im Zentrum steht die an den Benutzer gerichtete Agenten-Runtime, die SRE-Anfragen über eine Chat-Schnittstelle entgegennimmt und die entsprechenden Domänen-Agenten sowie Tools aufruft.

Die Agenten verbinden sich über OpenClaw-Plugins und MCP-Server mit der Infrastruktur, wobei jeder MCP eine fokussierte Sammlung von zugelassenen Betriebswerkzeugen bereitstellt. Man kann entweder die integrierte Web-Oberfläche nutzen oder bestehende Coding-Agent-Schnittstellen über die API integrieren. Dieses modulare Design ermöglicht es, neue Agenten sowie Infrastruktur-Integrationen hinzuzufügen, ohne die vorhandenen Agenten zu ändern.

Das Framework wird mit NVIDIA OpenShell entwickelt und ist vollständig on-premises fähig, wodurch Erweiterbarkeit und Datensouveränität gewährleistet werden. Die Inferenz der Agenten erfolgt mithilfe lokaler NVIDIA Nemotron-Open-Modelle, während das Framework auf internen NVIDIA DGX H100, NVIDIA DGX B200 und NVIDIA DGX GB300-Produktionsclustern läuft.

Wie NVIDIA es entwickelt hat

Der AI Factory Operations Agent läuft als Kubernetes-Control-Plane-Anwendung. Helm bereitstellt die UI, das OpenClaw-Gateway, die MCP-Toolserver, den Inference-Endpoint sowie den NVIDIA OpenShell-Runtime als Kubernetes-Dienste. Die Chat-UI sendet jede Anfrage an NemoClaw, welches sie an den entsprechenden Domain-Agent weiterleitet.

Für die Ausführung in einer Shell erstellt OpenShell eine pro-Sitzung eigene Kubernetes-Sandbox anstelle der Ausführung von Befehlen im Haupt-Gateway-Pod. Der Runtime erhält den Arbeitsbereich des AI Factory Operations Agent, ausgewählte Fähigkeiten sowie die Befehlspolicy. Sein Lebenszyklus ändert keine bestehenden Dienste oder Produktivlasten.

Die Sicherheit wird in mehreren Schichten durchgesetzt. Die Kubernetes-Inspektion verwendet das serverseitige Tool run_kubectl, welches ein festgelegtes kubectl-Binärprogramm mit registrierten nur-Lese-Zugriffsdaten aufruft. OpenShell erhält weder kubectl- noch Kubernetes-Zugriffsdaten. Kubernetes-Servicekonten sowie rollenbasierte Zugriffskontrolle (RBAC) definieren die Cluster-Ressourcen, die das Tool inspizieren kann.

Da diese Überprüfungen über denselben Kubernetes-Zugriffsweg laufen wie der Runtime, zeigen die Ergebnisse, was der Agent im Cluster tun kann und was nicht.

(agent) $ kubectl auth can-i get pods yes
(agent) $ kubectl auth can-i get configmaps yes
(agent) $ kubectl auth can-i get secrets no
(agent) $ kubectl auth can-i create pods no
(agent) $ kubectl auth can-i update pods no

Domänen-spezifische Agenten und Tools

Die interne NVIDIA-Implementierung des AI Factory Operations Agent nutzt ein wachsendes Ökosystem an domänen-spezifischen NVIDIA-Datacenter-Agenten, von denen jeder Empfehlungen liefert.

  • Job Recovery Agent: Erkennet Fehlschläge bei der Ausführung von Jobs sowie eine Verschlechterung der Leistung; führt eine mehrschichtige Ursachenanalyse auf den Ebenen des Schedulers, der Anwendung, der Hardware und des Netzwerks durch; und empfiehlt Wiederherstellungsmaßnahmen, sobald die Ursache festgestellt wurde.
  • Hardware Agent: Sortiert Hardwarefehler auf Geräteebene – PCIe-Fehler, ECC-Fehler, GPU-Probleme, NVMe-Ausfälle sowie thermische Anomalien – und verfolgt die Symptome bis zum jeweiligen Komponenten.
  • Observability Agent: Abfragt historische Prometheus-Daten, Telemetriedaten sowie integrierte Grafana Loki-Logs, um dynamisch Dashboards zu erstellen und diese direkt in der Web-Oberfläche anzuzeigen.
  • Research Agent: Sucht in vorinstallierter Dokumentation, einschließlich Handbüchern von NVIDIA Mission Control sowie Referenzarchitekturen und Bereitstellungsanleitungen für DGX SuperPOD. Sie können auch Ihre eigenen Runbooks sowie site-spezifische Anleitungen hochladen.
  • Kubernetes Agent: Bietet eine schreibgeschützte Übersicht über Pods, Services, Deployments, GPU-Ressourcen, den Status der Knoten sowie den Scheduling-Zustand.
  • Cluster Management Agent: Steuert über diagnostische MCP-Tools die NVIDIA Base Command Manager-APIs zur beratenden Clusterverwaltung und Fehlerbehebung.

Neben den Domänenagenten integriert das Framework zudem cross-cutting MCP-Tools wie Web-Suche, Codeausführung sowie Grafana-Dashboards.

Sie können auch Ihre eigenen MCP-Server und APIs anschließen, um das Framework an die bereits in diesen Umgebungen genutzten Schedulers, Observability-Plattformen, Clustermanager sowie Betriebsverfahren anzupassen.

Erkenntnisse aus der Produktion und Best Practices

NVIDIA verbessert das Framework kontinuierlich, indem es die Genauigkeit der Ursachenanalyse (RCA) misst, die Übereinstimmung mit SRE-Vorgaben überwacht sowie das Agenten-Ökosystem erweitert. Aus der Produktivnutzung ergeben sich fünf zentrale Erkenntnisse:

  1. Klare Agentengrenzen: Überschneidende Eigentumsverhältnisse erzeugen Rauschen, nicht Signale.
  2. Zuerst nur Leserecht: Eine genaue Untersuchung baut das Vertrauen der SREs vor der Automatisierung auf.
  3. Überlagerung verschiedener Schichten: Das Framework verbindet Arbeitslasten, Hardware und Netzwerksignale, um Ursachen zu finden, die isolierte Tools übersehen.
  4. Präzise MCP-Tools: Klare Tooldefinitionen verbessern die Routierung und verringern die Auswahl falscher Tools.
  5. Transparenz bei der Abwägung: SREs müssen Toolaufrufe, Beweise und Schlussfolgerungen vor dem Handeln einsehen können.

Bereitstellungsmodelle für Multi-Tenant-Fabriken

Für Organisationen, die KI-Fabriken im großen Maßstab betreiben, ist das bevorzugte Bereitstellungsmodell ein dedizierter, GPU-gestützter Steuerungsplan, der vom Produktionscluster getrennt ist. Der Steuerungsplan kümmert sich um die Orchestrierung und Abwägung der Agenten, während der Produktionscluster Telemetriedaten liefert, ohne Trainings-GPUs zu verbrauchen oder Arbeitslasten zu stören.

Interne NVIDIA-Bereitstellungen führen Modell-Inferenz auf dedizierter GPU-Kapazität durch und nutzen den vorhandenen CPU-basierten Kubernetes-Admin-Raum des Steuerungsplans für Laufzeitdienste. Andere Bereitstellungen können je nach Datenhoheit, Clustergröße und verfügbarer GPU-Kapazität einen lokalen oder cloudbasierten Inferenz-Endpunkt verwenden; kleinere Bereitstellungen nutzen dabei eine RTX PRO Workstation oder DGX Spark.

In Multi-Tenant-KI-Fabriken steuern begrenzte Agenten, Tools, Sandboxes sowie Kubernetes-Rechte die dem jeweiligen Mieter zur Verfügung stehenden Clusterdaten, -tools und -Node. Die SREs des Mieters sehen nur ihre eigenen Namensräume, Jobs und Node, während die zentrale Verwaltung eine umfassendere Sicht auf den Cluster hat. Jeder Mieter kann bei Bedarf seine eigenen domänenspezifischen Agenten sowie dedizierte Inferenz-Hardware verwenden. OpenShell stellt diese Grenzen sicher, indem sie die Agenten und Tools jedes Mieters in einer isolierten Sandbox mit Kernel-Einschränkungen ausführt.

Fazit

Der AI Factory Operations Agent zeigt, wie spezialisierte Unteragenten zusammenarbeiten können, um Ausfälle zu erkennen, Ursachen in den Bereichen Rechenverarbeitung, Netzwerk, Hardware und Scheduling miteinander in Beziehung zu setzen sowie Empfehlungen über eine Chat-Schnittstelle für die Betriebsabläufe von NVIDIA DGX SuperPOD bereitzustellen. Durch die Nutzung des NVIDIA NemoClaw-Blueprints und von NVIDIA OpenShell stellt das Framework sicher, dass die Inferenz der Agenten lokale, von NVIDIA Nemotron bereitgestellte Open-Modelle in den Produktionsclustern NVIDIA DGX H100, NVIDIA DGX B200 und NVIDIA DGX GB300 verwendet.

Um mit der Optimierung der Clusterbetriebsverwaltung zu beginnen, können Sie das Entwicklerbeispiel des AI Factory Operations Agent untersuchen oder das Open-Source-Framework sowie den Code direkt auf GitHub aufrufen. Das Orchestrierungsframework ist als experimentelles Open-Source-Softwareprodukt verfügbar; APIs, Konfigurationen und Bereitstellungsanforderungen können zwischen den Versionen ändern. NVIDIA-Kunden können ihren Account Manager kontaktieren, um Zugang zu von NVIDIA entwickelten Clusterbetriebsagenten anzufordern.

Quelle: https://developer.nvidia.com/blog/how-nvidia-uses-ai-agents-to-streamline-ai-factory-operations

Quellen