Réduire les goulots d’étranglement liés au déploiement en apprentissage par renforcement avec NVIDIA Dynamo
NVIDIA Dynamo surmonte les goulets d’étranglement liés à la mise en œuvre de l’apprentissage par renforcement grâce à un routage conscient des structures KV, à une distribution des poids via ModelExpress, ainsi qu’à des mécanismes de récupération. En équilibrant la réutilisation du cache et la charge des travailleurs, le système réduit les calculs redondants et accélère les itérations d’entraînement grâce à une capacité GPU distribuée.
Tags
Résumé rapide
NVIDIA Dynamo surmonte les goulets d’étranglement liés à la mise en œuvre de l’apprentissage par renforcement grâce à un routage conscient des structures KV, à une distribution des poids via ModelExpress, ainsi qu’à des mécanismes de récupération. En équilibrant la réutilisation du cache et la charge des travailleurs, le système réduit les calculs redondants et accélère les itérations d’entraînement grâce à une capacité GPU distribuée.
Réduire les goulets d’étranglement dans le déploiement des expériences en apprentissage par renforcement avec NVIDIA Dynamo
L’apprentissage par renforcement (AR) repose sur un cycle continu où les modèles génèrent des actions, reçoivent des récompenses et mettent à jour leurs poids afin de résoudre les problèmes plus efficacement. Dans ce processus, l’inférence est le moteur qui permet d’avancer. Les travailleurs génèrent des séquences de déploiement — composées de sorties du modèle, d’actions et d’interactions avec l’environnement — que le framework d’AR évalue ensuite pour affiner le modèle. Cependant, à mesure que l’entraînement en AR s’échelle, des goulets d’étranglement apparaissent. Un travail de calcul redondant, des déploiements lents, des mises à jour de poids retardées et des pannes des travailleurs peuvent gaspiller la capacité des GPU et retarder considérablement les itérations d’entraînement.
NVIDIA Dynamo répond à ces défis en fournissant une couche de service qui coordonne la génération distribuée des séquences de déploiement. En optimisant le routage, la distribution des poids et les mécanismes de récupération, Dynamo aide les équipes à générer davantage d’échantillons d’entraînement fiables et à terminer les itérations d’entraînement plus rapidement.
Pourquoi l’AR a besoin d’une infrastructure de déploiement distribué
La complexité des charges de travail en AR varie fortement en fonction de la tâche. Une séquence de raisonnement peut se composer d’une seule réponse, tandis qu’une séquence impliquant un agent de codage peut inclure l’exploration d’un répertoire, des modifications, des appels d’outils et des tests. Ces différences créent des charges de travail inégales entre les travailleurs d’inférence, ce qui rend une simple distribution des requêtes insuffisante pour un entraînement efficace.
Selon NVIDIA, trois contraintes spécifiques déterminent l’efficacité avec laquelle une infrastructure distribuée soutient l’entraînement en AR :
- Temps de fin du déploiement : Lorsque l’entraînement nécessite un groupe spécifique d’échantillons, le déploiement le plus lent peut retarder toute la étape suivante. Répartir équitablement le nombre de demandes entre les GPU ne garantit pas nécessairement une répartition égale du travail réel, ce qui entraîne une capacité inutilisée.
- Contexte répété : Plusieurs tentatives commencent souvent avec des instructions identiques, des descriptions de tâches ou un contexte de dépôt de code similaire. Recompter ces préfixes consomme une capacité GPU précieuse avant que de nouvelles sorties ne soient générées.
- Fraîcheur des poids : L’entraînement produit de nouveaux poids de modèle au cours de sa durée. Les travailleurs doivent recevoir ces mises à jour conformément aux exigences de l’algorithme en matière d’échantillonnage et de seuil acceptable de péremption.
Répondre à ces contraintes permet aux équipes d’effectuer davantage d’itérations dans le cadre d’un budget de calcul fixe. L’optimisation appropriée dépend de la contrainte qui limite le travail spécifique.
L’architecture Dynamo pour l’apprentissage par renforcement
Dynamo se situe entre l’orchestration des déploiements et les travailleurs d’inférence. Le framework d’apprentissage par renforcement envoie des demandes de génération ; Dynamo les dirige vers les capacités disponibles ; et les moteurs d’inférence exécutent le modèle. Cette architecture assure une séparation claire des responsabilités : la génération et la gestion des poids suivent des chemins distincts. Les demandes utilisent un front-end de service partagé, tandis que les opérations de mise à jour ciblent des travailleurs sélectionnés sous le contrôle du framework. Cette séparation permet aux équipes d’améliorer les performances de service sans transférer la responsabilité du processus d’apprentissage.
Acheminement conscient du format KV
L’apprentissage par renforcement génère souvent plusieurs solutions pour la même tâche à partir d’un prompt partagé. Envoyer ces demandes à un travailleur qui a déjà mémorisé ce prompt évite un traitement répété et économise les ressources de calcul GPU. Cependant, envoyer chaque demande à ce travailleur peut créer une file d’attente, retardant les déploiements et la étape d’entraînement suivante.
Pour résoudre ce problème, le routeur de Dynamo équilibre la réutilisation du cache KV et la charge des travailleurs. L’objectif est de réduire les calculs redondants et les temps d’attente tout en assurant une finalisation plus rapide des échantillons nécessaires à l’entraînement. En équilibrant intelligemment ces facteurs, Dynamo minimise la charge liée au rec calcul du contexte tout en évitant les points de congestion qui retardent le cycle d’entraînement global.
ModelExpress : Réduction de la charge liée à la distribution des poids
L’entraînement par apprentissage par renforcement met à jour le modèle de manière répétée. Traditionnellement, l’envoi d’un checkpoint complet à chaque travailleur chargé de la génération prend du temps et peut interrompre cette génération. ModelExpress réduit cette charge en réutilisant les poids déjà disponibles dans le cluster au lieu de les charger depuis un stockage distant.
Les travailleurs compatibles peuvent copier les poids directement depuis une autre GPU via NIXL, ce qui les rend disponibles plus rapidement que lors d’un chargement depuis le stockage. De plus, ModelExpress utilise un transfert de poids delta. Au lieu de transférer le modèle complet, il envoie une représentation compressée de ce qui a changé. Les travailleurs reconstruisent les nouveaux poids à partir de la version de base correspondante, ce qui réduit le temps de transfert et le trafic réseau.
Cette approche facilite également la récupération. Un travailleur de remplacement peut charger un checkpoint et appliquer les deltas suivants pour rattraper le retard dans l’entraînement, tandis que les travailleurs en bon état continuent de générer des résultats.
Mécanismes de récupération en cas de panne de travailleur
Les séances d’entraînement longues doivent faire face aux pannes de travailleurs sans interrompre inutilement les capacités fonctionnelles. Dynamo détecte la perte d’un travailleur et redirige les nouvelles demandes vers des travailleurs aptes. Une fois que des travailleurs de remplacement sont prêts, ils sont ajoutés au pool de routage.
Le système prend en charge la migration des demandes en cours et un arrêt progressif. Lorsqu’un travailleur tombe en panne, Dynamo redirige les sessions concernées vers des travailleurs en bon état, en utilisant l’historique enregistré pour éviter de devoir relancer toute la génération. Cela permet au framework d’apprentissage par renforcement de gérer les échantillons interrompus et assure que les remplacements utilisent les poids requis, préservant ainsi l’intégrité du processus d’entraînement.
Dynamo dans les workflows d’apprentissage par renforcement
L’adoption de NVIDIA Dynamo dans le domaine de l’apprentissage par renforcement concerne le développement de modèles de pointe, l’infrastructure gérée et les frameworks open source. Plusieurs organisations ont signalé des améliorations significatives de performances :
- Microsoft AI utilise NVIDIA Dynamo pour assister l’inférence lors du déploiement en apprentissage par renforcement après l’entraînement.
- CoreWeave emploie Dynamo et ModelExpress pour accélérer les mises à jour des poids du modèle jusqu’à 15×..
- Cognition a utilisé Dynamo pour gérer les travailleurs d’inférence et router les déploiements pendant l’entraînement de SWE-1.7..
- Prime Intellect utilise Dynamo pour l’orchestration distribuée de l’inférence.
- H Company a utilisé Dynamo et ModelExpress pour réduire le temps moyen par étape d’entraînement jusqu’à 20% et les heures GPU jusqu’à 5%..
Les intégrations open source relient Dynamo à des stacks d’apprentissage par renforcement existants, tels que verl, NeMo RL, Slime et prime-rl. Ces intégrations permettent aux équipes d’utiliser les capacités de service de Dynamo au sein de leurs workflows actuels.
Conclusion
Une infrastructure efficace pour l’apprentissage par renforcement exige que la génération des déploiements, la distribution des poids et le redémarrage des travailleurs se fassent en même temps. NVIDIA Dynamo intègre ces capacités de service dans le cycle d’entraînement, aidant les équipes à transformer la capacité GPU distribuée en échantillons d’entraînement utilisables et à accélérer les itérations. En résolvant les principaux goulets d’étranglement liés au temps de finalisation des déploiements, au contexte répété et à la fraîcheur des poids, Dynamo permet aux équipes d’élargir l’inférence pour l’entraînement par renforcement de manière plus efficace.
Pour commencer à élargir l’inférence pour l’entraînement par renforcement, les équipes devraient consulter la documentation Dynamo RL.
Source : https://developer.nvidia.com/blog/reducing-rollout-bottlenecks-in-reinforcement-learning-with-nvidia-dynamo



