Verringerung von Rollout-Engpässen im Reinforcement Learning mit NVIDIA Dynamo
NVIDIA Dynamo beseitigt Engpässe bei der Einführung von Reinforcement Learning durch KV-bewusstes Routing, eine Gewichtsverteilung über ModelExpress sowie Wiederherstellungsmechanismen. Durch das Ausgleichen der Cache-Wiederverwendung und der Last der Arbeitsprozesse reduziert das System überflüssige Berechnungen und beschleunigt die Trainingsiterationen unter Nutzung verteilter GPU-Kapazitäten.
Tags
Kurze Zusammenfassung
NVIDIA Dynamo beseitigt Engpässe bei der Einführung von Reinforcement Learning durch KV-bewusstes Routing, eine Gewichtsverteilung über ModelExpress sowie Wiederherstellungsmechanismen. Durch das Ausgleichen der Cache-Wiederverwendung und der Last der Arbeitsprozesse reduziert das System überflüssige Berechnungen und beschleunigt die Trainingsiterationen unter Nutzung verteilter GPU-Kapazitäten.
Verringerung von Engpässen bei der Durchführung von Tests im Reinforcement Learning mit NVIDIA Dynamo
Das Reinforcement Learning (RL) basiert auf einem kontinuierlichen Kreislauf, in dem Modelle Aktionen erzeugen, Belohnungen erhalten und ihre Gewichte aktualisieren, um Probleme effektiver zu lösen. Dabei ist die Inferenz der Antrieb für den Fortschritt. Die Worker erzeugen Testabläufe – Sequenzen aus Modellausgaben, Aktionen und Interaktionen mit der Umgebung –, die das RL-Framework anschließend bewertet und verwendet, um das Modell zu verfeinern. Wenn jedoch das RL-Training skaliert, treten Engpässe auf. Überflüssige Rechenarbeiten, langsame Testabläufe, verzögerte Gewichtsaktualisierungen sowie Ausfälle der Worker können die GPU-Kapazität verschwenden und die Trainingsiterationen erheblich verlangsamen.
NVIDIA Dynamo begegnet diesen Herausforderungen, indem es eine Serviceschicht bereitstellt, die die koordinierte Erzeugung von Testabläufen in verteilten Systemen ermöglicht. Durch die Optimierung der Routenplanung, der Gewichtsverteilung sowie der Wiederherstellungsmechanismen hilft Dynamo Teams dabei, mehr akzeptable Trainingsbeispiele zu erzeugen und Trainingsiterationen schneller abzuschließen.
Warum das RL eine verteilte Infrastruktur für Testabläufe benötigt
Die Komplexität der RL-Aufgaben variiert je nach Aufgabe stark. Ein Testablauf zur logischen Analyse kann aus einer einzigen Antwort bestehen, während ein Testablauf mit einem Code-Agenten die Erkundung von Repositorien, Änderungen, Aufrufe von Tools sowie Tests umfasst. Diese Unterschiede führen zu ungleichmäßigen Lasten auf den Inferenz-Workern, wodurch eine einfache Verteilung der Anfragen für ein effizientes Training unzureichend ist.
Laut NVIDIA bestimmen drei spezifische Einschränkungen, inwieweit eine verteilte Infrastruktur das RL-Training effektiv unterstützen kann:
- Zeit zur Abschluss der Implementierung: Wenn das Training eine bestimmte Gruppe von Beispielen erfordert, kann die langsamste Implementierung den gesamten nächsten Schritt verzögern. Eine gleichmäßige Verteilung der Anfragen auf die GPUs verteilt nicht notwendigerweise die eigentliche Arbeit gleichmäßig, was zu inaktiver Kapazität führt.
- Wiederholter Kontext: Mehrere Versuche beginnen oft mit identischen Anweisungen, Aufgab Beschreibungen oder dem Kontext des Code-Repositoriums. Die Neuberechnung dieser Voranmeldungen verbraucht wertvolle GPU-Kapazität, bevor neue Ergebnisse erzeugt werden.
- Frische der Gewichte: Beim Training entstehen im Laufe des Vorgangs ständig neue Modellgewichte. Die Worker müssen diese Aktualisierungen gemäß den Anforderungen des Algorithmus bezüglich der Stichprobenziehung und der zulässigen Veraltungszeit erhalten.
Durch die Bewältigung dieser Einschränkungen können Teams innerhalb eines festgelegten Rechenbudgets mehr Iterationen durchführen. Die richtige Optimierung hängt davon ab, welche Einschränkung die spezifische Arbeitslast begrenzt.
Die Dynamo-Architektur für RL
Dynamo befindet sich zwischen der Orchestrierung der Implementierung und den Inferenz-Workern. Das RL-Framework sendet Erstellungsanfragen; Dynamo leitet sie an geeignete Kapazitäten weiter; und die Inferenz-Engines führen das Modell aus. Diese Architektur gewährleistet eine klare Trennung der Verantwortlichkeiten: Die Erstellung sowie die Verwaltung der Gewichte folgen unterschiedlichen Wegen. Die Anfragen nutzen eine gemeinsame Servicelayer-Oberfläche, während Aktualisierungsoperationen ausgewählte, vom Framework gesteuerte Worker ansprechen. Diese Trennung ermöglicht es Teams, die Leistung des Services zu verbessern, ohne das Eigentum am Lernprozess zu übertragen.
KV-bewusste Routierung
Bei RL werden oft mehrere Lösungen für dieselbe Aufgabe mithilfe eines gemeinsamen Prompts erzeugt. Das Senden dieser Anfragen an einen Worker, der den Prompt bereits im Cache hat, vermeidet eine wiederholte Verarbeitung und spart somit Rechenleistung der GPU. Allerdings kann das Senden jeder Anfrage an diesen Worker eine Warteschlange erzeugen, wodurch Implementierungen sowie der nächste Trainingsschritt verzögert werden.
Um dieses Problem zu lösen, balanciert Dynamos Router die Wiederverwendung des KV-Caches mit der Last der Worker. Das Ziel ist es, überflüssige Berechnungen und Wartezeiten zu verringern, während gleichzeitig eine frühere Fertigstellung der für das Training benötigten Beispiele gewährleistet wird. Durch intelligente Abwägung dieser Faktoren minimiert Dynamo die Überheadkosten durch erneute Berechnung des Kontexts und verhindert gleichzeitig Hotspots, die den gesamten Trainingszyklus verzögern.
ModelExpress: Verringerung der Überheadkosten durch Gewichtsverteilung
Das RL-Training aktualisiert das Modell wiederholt. Traditionell dauert es Zeit, einen vollständigen Checkpoint an jeden Rollout-Worker zu senden, und dies kann die Generierung unterbrechen. ModelExpress verringert diese Überheadkosten, indem es Gewichte verwendet, die bereits im Cluster verfügbar sind, anstatt sie aus entfernten Speichern zu laden.
Kompatible Worker können Gewichte direkt über NIXL von einer anderen GPU kopieren, wodurch sie schneller verfügbar sind als bei einem Laden aus dem Speicher. Zudem nutzt ModelExpress eine Delta-Gewichtsübertragung. Anstelle des vollständigen Modells wird eine komprimierte Darstellung dessen gesendet, was sich geändert hat. Die Worker rekonstruieren die neuen Gewichte aus der entsprechenden Basisversion, wodurch die Übertragungszeit und der Netzwerkverkehr reduziert werden.
Dieser Ansatz unterstützt auch die Wiederherstellung. Ein Ersatzworker kann einen Checkpoint laden und anschließende Delta-Updates anwenden, um mit dem Trainingslauf aufzuschließen, während die funktionierenden Worker weiterhin Rollouts generieren.
Wiederherstellungsmechanismen bei Worker-Ausfällen
Lange Trainingsläufe müssen Ausfälle von Worker ohne unnötige Unterbrechung der funktionierenden Kapazitäten bewältigen. Dynamo erkennt den Verlust eines Workers und leitet neue Anfragen an geeignete Worker um. Sobald Ersatzworker bereit sind, werden sie dem Routing-Pool hinzugefügt.
Das System unterstützt die Migration laufender Anfragen sowie einen reibungslosen Austritt. Wenn ein Worker ausfällt, leitet Dynamo die unterstützten Sitzungen an funktionierende Worker um und nutzt die gespeicherte Historie, um ein Neustarten des gesamten Rollouts zu vermeiden. Dadurch kann das RL-Framework unterbrochene Beispiele verarbeiten, und die Ersatzworker verwenden die erforderlichen Gewichte, wodurch die Integrität des Trainingsprozesses gewahrt bleibt.
Dynamo in RL-Arbeitsabläufen
Die Einführung von NVIDIA Dynamo in der RL umfasst die Entwicklung von Spitzennmodellen, verwaltete Infrastrukturen sowie Open-Source-Frameworks. Mehrere Organisationen haben erhebliche Leistungsverbesserungen gemeldet:
- Microsoft AI nutzt NVIDIA Dynamo, um während des Nachtrainings die Inferenz bei der Implementierung von RL-Methoden zu unterstützen.
- CoreWeave verwendet Dynamo und ModelExpress, um die Aktualisierung von Modellgewichten um bis zu 15×. zu beschleunigen.
- Cognition nutzt Dynamo zur Verwaltung der Inferenzprozesse sowie zur Steuerung der Implementierungen während des Nachtrainings von SWE-1.7..
- Prime Intellect setzt Dynamo für die orchestrierte Durchführung von Inferenzen in verteilten Umgebungen ein.
- H Company verwendet Dynamo und ModelExpress, um die durchschnittliche Zeit pro Trainingsschritt um bis zu 20% sowie die benötigten GPU-Stunden um bis zu 5%. zu verringern.
Open-Source-Integrationen verbinden Dynamo mit bestehenden RL-Frameworks wie verl, NeMo RL, Slime und prime-rl. Dadurch können Teams die Leistungsfähigkeit von Dynamo in ihren aktuellen Arbeitsabläufen nutzen.
Fazit
Eine effiziente RL-Infrastruktur erfordert, dass die Erstellung neuer Implementierungen, die Verteilung der Modellgewichte sowie die Wiederherstellung der Prozesse synchron ablaufen. NVIDIA Dynamo bringt diese Funktionalitäten in den Trainingsprozess ein und hilft Teams dabei, die Kapazitäten verteilter GPU-Einheiten in akzeptable Trainingsdaten sowie schnellere Iterationen umzuwandeln. Indem es die zentralen Engpässe bei der Fertigstellung von Implementierungen, dem wiederholten Einsatz desselben Kontexts sowie der Aktualität der Modellgewichte beseitigt, ermöglicht Dynamo es Teams, die Inferenz für das Reinforcement-Learning-Training effektiver zu skalieren.
Um mit der Skalierung der Inferenz für das Reinforcement-Learning-Training zu beginnen, sollten Teams die Dynamo-RL-Dokumentation untersuchen.
Quelle: https://developer.nvidia.com/blog/reducing-rollout-bottlenecks-in-reinforcement-learning-with-nvidia-dynamo



