Agenten-Substrat: Weiterentwicklung von Kubernetes für Skalierbare Agenten
Agent Substrate beseitigt die Einschränkungen von Kubernetes für inaktive KI-Agenten, indem es Sessions über bereits genutzte Worker-Pools multiplext. Dieses CNCF Sandbox-Projekt in Kombination mit NVIDIA Dynamo und KAI Scheduler ermöglicht eine effiziente Ausführung von Zustandsagenten für Coding-Assistenten, Aufgaben im Bereich des Verstärkungslernens sowie Forschungsarbeiten mit GPU.
Tags
Kurze Zusammenfassung
Agent Substrate beseitigt die Einschränkungen von Kubernetes für inaktive KI-Agenten, indem es Sessions über bereits genutzte Worker-Pools multiplext. Dieses CNCF Sandbox-Projekt in Kombination mit NVIDIA Dynamo und KAI Scheduler ermöglicht eine effiziente Ausführung von Zustandsagenten für Coding-Assistenten, Aufgaben im Bereich des Verstärkungslernens sowie Forschungsarbeiten mit GPU.
Agent Substrate: Fortschritte bei Kubernetes für Agenten in großem Maßstab
KI-Agenten verbringen den größten Teil ihrer Zeit untätig und warten auf eine Anweisung eines Menschen, ein Ergebnis eines Tools oder eine Antwort eines Modells. Die traditionelle Kubernetes-Infrastruktur war ursprünglich nicht dafür konzipiert, dieses spezifische Muster intermittierender Aktivitäten zu bewältigen. Das Ausführen eines Pods pro Sitzung hält den Speicher für Sitzungen frei, die nichts tun, während das Löschen von Pods zwischen den Aufträgen jedes Mal zu einer mehrsekündigen Verzögerung beim Neustart führt und den Zustand des Agenten verloren geht. Auch das Nachtrainieren mit Verstärkungslernen stößt auf dieselben Grenzen.
Um diesen Herausforderungen entgegenzuwirken, hat NVIDIA Agent Substrate entwickelt – eine open-source-basierte, sicherheitstechnisch verstärkte, zero-trust-geeignete Laufzeitumgebung, die nun der Cloud Native Computing Foundation (CNCF) Sandbox zur Verfügung gestellt wurde. Diese Laufzeitumgebung ist so konzipiert, dass sie Millionen von Agenten und Tools mit einer 10x höheren Dichte als herkömmliche Container sicher ausführen kann. Sie multiplext viele Sitzungen über einen kleinen Pool an aktiven Kubernetes-Worker-Pods. Wenn ein Agent untätig wird, wird er mithilfe von gVisor oder einer MicroVM in einem Snapshot aus seiner Sandbox extrahiert und sein Worker wird freigegeben. Wenn der Agent erneut aufgerufen wird, wird er auf den nächsten freien Worker mit seinem unveränderten Speicher- und Dateisystemzustand zurückgesetzt.
Wie NVIDIA betont, erfordert das Aktivieren eines Agents keinen erneuten Zugriff über den API-Server, den Scheduler oder das Kubelet. Stattdessen setzt Agent Substrate den Agent auf einen vorhandenen Worker wieder her. Die Worker-Pods bleiben gewöhnliche Kubernetes-Pods, wodurch Clusterscheduling, Quoten und Platzierungsrichtlinien weiterhin gelten.
Die Form einer Agenten-Arbeitslast
Die Laufzeitumgebung richtet sich an drei Haupttypen von Arbeitslasten, die die Nachfrage nach dieser Architektur antreiben:
- Code-Assistenten und Agenten-Service: Ein Code-Agent wechselt zwischen Aufrufen von LLMs und der Arbeit in seiner eigenen Umgebung hin und her – beispielsweise beim Klonen eines Repositoriums, Bearbeiten von Dateien, Ausführen von Builds und Durchführen von Tests. Nutzer erwarten, dass die Umgebung zwischen den Aufträgen bestehen bleibt und sofort reagiert. Eine Plattform, die Tausende solcher Sitzungen bedient, kann sich keinen dedizierten, vorgeheizten Sandbox für jede einzelne leisten.
- Nachtrainingsverfahren im Rahmen des Verstärkungslernens (RL): Beim Verstärkungslernen mit überprüfbaren Belohnungen laufen GPU-Trainingswerkzeuge sowie Generierungsserver parallel zu einer Reihe von CPU-intensiven Umgebungen – darunter Code-Sandboxes, Compiler, Browser und Simulatoren. Diese Umgebungen führen Aktionen aus und prüfen die Ergebnisse. Die Nachfrage nach Sandboxes entsteht in Schüben, je nachdem, welche Aufträge versandt werden. Ein Trainingslauf kann von einigen Hundert Sandboxes in frühen Experimenten auf viele Hunderttausend in der Produktion anwachsen. Die langsamste Umgebung bestimmt, wann der Trainer seine nächste Auftragsgruppe erhält; dadurch bleiben GPUs auf diesem Weg untätig.
- GPU-Sandboxes für Forschungszwecke: Ein Forschers-Code-Agent benötigt eine GPU – nicht zum Betreiben eines Modells, sondern zum Kompilieren von CUDA-Code, zum Benchmarken eines Kernels oder zum Ausführen numerischer Berechnungen. Er startet eine GPU-Sandbox in einem gemeinsam genutzten Cluster, führt die Aufgabe aus und löscht anschließend die Sandbox. Die Unterstützung solcher Anwendungen innerhalb einer Organisation erfordert viele kurzlebige, isolierte GPU-Sandboxes, die schnell gestartet werden und einen begrenzten Pool an GPUs fair teilen.
Wie Agent Substrate funktioniert
Agent Substrate verwendet Kubernetes, um einen Pool von bereiten Pods zu betreiben. Es wird eine separate Steuerungsplattform erstellt, die eine große Anzahl von Akteuren (Agenten und deren Umgebungen) auf diesen kleineren Pool an Arbeitsknoten abbildet. Dieser Ansatz löst das Problem der Latenzzeit, die beim Starten von Rechen-Pods für Agenten entsteht – schließlich müssen dabei der API-Server, Admission-Control, etcd, der Scheduler, der Kubelet, das Herunterladen von Bildern sowie die Netzwerkeinrichtung durchlaufen werden. Dieser Prozess dauert Sekunden, was für einen Dienst, der wochenlang läuft, in Ordnung ist, aber viel zu langsam ist für eine Sandbox, die Hunderte Male pro Sekunde erscheinen, eine 10 ms lange Bash-Anweisung ausführen und anschließend wieder verschwinden muss.
Wenn alle Worker beschäftigt sind, wartet der nächste Anfrage statt zu fehlen. In einem überlasteten System, wie beispielsweise einer Code-Assistenten-Plattform in der Spitzenzeit oder während eines RL-Rollouts, kann die nächste Anfrage eintreffen, während alle Worker beschäftigt sind. Agent Substrate implementiert ein Anfrage-Parksystem im Router, um Wartezeiten zu verwalten, wenn alle Worker beschäftigt sind. Dieser Mechanismus hält die Anfrage fest und versucht erneut mit ihrer Fortsetzung, bis ein Worker frei wird – wobei es eine begrenzte Wartezeit sowie eine Obergrenze dafür gibt, wie viele Anfragen gleichzeitig warten dürfen. Eine weitere Ergänzung sorgt dafür, dass Anfragen an bereits laufende Agenten niemals in dieser Warteschlange stecken bleiben.
Aufwärtsgerichtete Arbeiten: Sicherheit und Ressourcenmanagement
Jeder Beitrag zum Projekt ging von einem der oben beschriebenen Anwendungsfall aus. Alle diese Arbeiten sind im Agent Substrate-Repository öffentlich zugänglich.
Geräteverfügbarkeit: Es ist für Forschungsarbeitslasten sowie GPU-unterstützte RL-Umgebungen wie Simulatoren unerlässlich, Agenten eine GPU in ihrer Sandbox zur Verfügung zu stellen. Agent Substrate arbeitet an der Geräteverfügbarkeit, indem es Gerätestützung über Kubernetes Dynamic Resource Allocation (DRA) hinzufügt. Gerätehersteller stecken ihre Geräte über ein Profil ein, und jeder Container in einer Sandbox beantragt nur die Geräte, die er benötigt. Dieses Design funktioniert sowohl für gVisor- als auch für microVM-Sandboxes. NVIDIA-GPUs sind das erste unterstützte Gerät.
Containerbezogene Limits: Ein Container darf seine Nachbarn nicht auslaugen oder zerstören. Eine Agenten-Sandbox läuft oft die Arbeitslast des Agenten zusammen mit Hilfskontainern für Logging, Proxying oder Metriken. Einige dieser Kontainer können unzuverlässig sein. Ein außer Kontrolle geratener Container sollte nicht das gesamte Speicherangebot der Sandbox verbrauchen und damit den Agenten zum Absturz bringen. Containerbezogene CPU- und Speicherallimiter für microVM-Sandboxes beheben dieses Problem. Ein Container, der sein Speicherallimit überschreitet, wird automatisch gestoppt, während der Rest der Sandbox weiterläuft.
Erhalt der GPU-Sandboxen: Wenn ein Agent pausiert, um auf eine menschliche Überprüfung zu warten, sollte seine Sandbox die GPU freigeben und später mit den kompilierten Artefakten sowie den geladenen Daten weiterarbeiten. Dafür ist es notwendig, sowohl den Zustand des Agents als auch den Zustand der GPU zu speichern und wiederherzustellen. Die Wiederherstellung des GPU-Zustands führt zu Einschränkungen hinsichtlich der Hardwarekompatibilität; ein GPU-Checkpoint kann in der Regel nur auf demselben GPU-Modell und manchmal nur mit derselben Treiberversion wiederhergestellt werden. Agent Substrate schlägt ein Konzept vor, um dieses Problem zu lösen. Hersteller beschreiben, wie ihre Geräte sicher pausiert werden können und welche Geräteeigenschaften für einen Snapshot relevant sind. Agent Substrate speichert diese Eigenschaften bei jedem Snapshot und stellt die Sandbox auf einem passenden Gerät wieder her – falls kein solches verfügbar ist, wird ein sauberer Neustart verwendet. Das Konzept ist herstellersneutral und basiert auf DRA. NVIDIA-GPUs sind das erste Ziel; das Konzept kann auf andere Hardwaretypen erweitert werden.
NVIDIA Dynamo: Verbindung des Agenten-Zyklus
Agent Substrate steuert, wo die Agents agieren; die Inferenz-Runtimes steuern, wie sie denken. Beide stehen vor ähnlichen Effizienzproblemen: Das Warmhalten inaktiver Sandboxes verschwendet CPU- und Speicherressourcen, während das Erneut-Aufbauen des Modellkontexts bei wiederholten Aufrufen Ressourcen der GPU verbraucht. Die unabhängige Skalierung jeder Ebene verbessert die Auslastung, doch ihre Koordination kann auch die Latenz verringern und einen wiederverwendbaren Kontext bewahren, wenn sich die Agents zwischen Tool-Ausführungen und Modellaufrufen bewegen.
NVIDIA Dynamo, das open-source-basierte verteilte Inferenzframework, bietet diese Koordination. Agent Substrate aktiviert, pausiert und stellt Zustandsbehaftete Agentenumgebungen über eine Gruppe von „warmen“ Sandbox-Workern wieder her. Dynamo orchestriert die Inferenz über die GPU-Worker. Der Dynamo-Router befindet sich zwischen ihnen und verbindet das Handeln des Agents mit dem, was auf den GPUs stattfindet.
Überprüfung der Inferenzroutierung Bei der traditionellen Inferenzroutierung wird jeder Modellaufruf als eigenständige Anfrage behandelt. In einem Agenten ist jede Anfrage ein Schritt in einer längeren Schleife, wobei aufeinanderfolgende Anfragen oft denselben Systemprompt, Tooldefinitionen sowie das Gesprächsverlauf wiederverwenden. NVIDIA Dynamo koordiniert die Inferenz über GPU-Arbeitsknoten, während Agent Substrate die Agentenumgebungen verwalten wird. Der Dynamo-Router nutzt die Sitzungsidentität, die Lage des KV-Caches sowie die Grenzen der Toolaufrufe, um verwandte Modellaufrufe auf Arbeitsknoten zu halten, die bereits einen wiederverwendbaren Kontext besitzen.
Dynamo stellt Inferenzsignale wie die geschätzte Zeit bis zum ersten Token sowie die Saturation des GPU-Pools wieder an Agent Substrate zur Verfügung. Agent Substrate verwendet diese Signale, um zu entscheiden, ob ein Actor weiterhin aktiv bleibt, während langer Inferenzwartezeiten suspendiert wird oder wieder gestartet wird, sobald die Modellantwort fast abgeschlossen ist.
Ausführung von Agent Substrate mit dem KAI Scheduler
Der KAI Scheduler platziert die Substrate-Worker-Pods neben GPU-Trainern und Inferenzservern. Der kombinierte Stack läuft auf der NVIDIA DSX AI Factory Platform, wobei Substrate als eigenständiges CNCF Sandbox-Projekt mit Komponenten des DSX OS integriert ist. Diese Integration ermöglicht es Teams, eine Agenteninfrastruktur zu entwickeln, die Ausführung, Inferenz sowie gemeinsame Clusterressourcen effektiv koordiniert.
Um einen Programmierassistenten auf Dynamo und Agent Substrate einzusetzen, können Teams den Leitfaden für sandboxierte Programmieragenten folgen. Dieser Ansatz sorgt dafür, dass die Infrastruktur robust und skalierbar ist und die Komplexitäten von Zustandsagentenumgebungen ohne den Overhead der traditionellen Kubernetes-Pod-Verwaltung bei jeder Interaktion bewältigt.
Fazit
Agent Substrate stellt einen bedeutenden Fortschritt dar, was die Art und Weise angeht, wie Kubernetes Agentenlasten verarbeitet. Durch das Multiplexieren von Sitzungen über eine kleine Anzahl von vorbereiteten Arbeitsknoten sowie die Nutzung von Checkpointing-Technologien werden die mit traditionellen Modellen pro Sitzung verbundenen Probleme wie kalte Starts und Datenverluste beseitigt. Die Integration mit NVIDIA Dynamo sorgt dafür, dass die Inferenzschleife genauso effizient ist wie die Ausführungsschleife, wodurch der Kontext erhalten bleibt und die Latenz reduziert wird.
Da die Branche auf Millionen von Agenten zusteuert, wird die Fähigkeit, diese Arbeitslasten sicher und effizient auf einem gemeinsamen Cluster zu verwalten, immer wichtiger. Agent Substrate, das nun Teil des CNCF-Ecosystems ist, bietet die Open-Source-Basis für diese Zukunft und ermöglicht es Plattformteams, sich darauf zu konzentrieren, intelligente Anwendungen zu entwickeln, anstatt mit Infrastrukturbeschränkungen zu kämpfen.
Quelle:
- Agent Substrate: Fortschritte bei Kubernetes für Agenten in großem Maßstab — NVIDIA AI Blog — https://developer.nvidia.com/blog/agent-substrate-advancing-kubernetes-for-agents-at-scale



