Agent Substrate : Faire progresser Kubernetes pour les agents à grande échelle

Agent Substrate remédie aux limites de Kubernetes pour les agents IA inactifs en multiplexant les sessions au sein de groupes de travail prêts à l’emploi. Ce projet CNCF Sandbox, associé à NVIDIA Dynamo et KAI Scheduler, permet une exécution efficace d’agents ayant un état pour des assistants de codage, des travaux d’apprentissage par renforcement et des recherches utilisant des GPU.

Lecture audio non disponible dans ce navigateur
Agent Substrate : Faire progresser Kubernetes pour les agents à grande échelle

Tags

Résumé rapide

Agent Substrate remédie aux limites de Kubernetes pour les agents IA inactifs en multiplexant les sessions au sein de groupes de travail prêts à l’emploi. Ce projet CNCF Sandbox, associé à NVIDIA Dynamo et KAI Scheduler, permet une exécution efficace d’agents ayant un état pour des assistants de codage, des travaux d’apprentissage par renforcement et des recherches utilisant des GPU.

Agent Substrate : faire progresser Kubernetes pour des agents à grande échelle

Les agents d’IA passent la majeure partie de leur temps inactifs, en attendant une instruction humaine, le résultat d’un outil ou une réponse d’un modèle. L’infrastructure Kubernetes traditionnelle n’a pas été conçue à l’origine pour gérer ce type d’activité intermittente spécifique. Exécuter un Pod par session conserve la mémoire des sessions qui ne font rien, tandis que la suppression des Pods entre les tours entraîne une pénalité de démarrage lent de plusieurs secondes à chaque fois et fait perdre l’état de l’agent. L’apprentissage par renforcement (RL) après entraînement se heurte au même problème.

Pour relever ces défis, NVIDIA a développé Agent Substrate, un environnement d’exécution open source, sécurisé et basé sur le principe du zero-trust, désormais mis à disposition de la Sandbox de la Cloud Native Computing Foundation (CNCF). Cet environnement d’exécution a été conçu pour exécuter en toute sécurité des millions d’agents et d’outils avec une densité 10x plus élevée que celle des conteneurs standards. Il multiplexe de nombreuses sessions sur un petit pool de Pods travailleurs Kubernetes prêts à l’emploi. Lorsqu’un agent devient inactif, il est sauvegardé dans son sandbox — à l’aide de gVisor ou d’une microVM — et son worker est libéré. Lorsque l’agent est à nouveau appelé, il est restauré sur le worker disponible, avec son état mémoire et son système de fichiers intact.

Comme le souligne NVIDIA, réactiver un agent ne nécessite pas de passer à nouveau par le serveur API, le planificateur ou kubelet. Au lieu de cela, Agent Substrate restaure l’agent sur un worker existant. Les Pods travailleurs restent des Pods Kubernetes ordinaires, ce qui garantit que les politiques de planification, de quotas et de placement du cluster s’appliquent toujours.

La forme d’une charge de travail d’agent

Cet environnement d’exécution cible trois types principaux de charges de travail qui stimulent la demande pour cette architecture :

  1. Assistants de codage et services d’agent : Un agent de codage alterne entre des appels à des LLM et des tâches dans son propre environnement, telles que le clonage d’un dépôt, l’édition de fichiers, la exécution de builds et la réalisation de tests. Les utilisateurs s’attendent à ce que l’environnement persiste entre les différentes interactions et réponde immédiatement. Une plateforme gérant des milliers de sessions de ce type ne peut pas se permettre d’avoir un environnement sandbox dédié pour chacune d’elles.
  2. Apprentissage par renforcement (RL) post-formation : L’apprentissage par renforcement avec des récompenses vérifiables fait fonctionner des entraîneurs GPU et des serveurs de génération en même temps qu’une flotte d’environnements gourmands en CPU, incluant des sandboxes de code, des compilateurs, des navigateurs et des simulateurs. Ces environnements exécutent des actions et vérifient les résultats. La demande en sandboxes arrive par vagues au fur et à mesure que des lots de déploiement envoient des actions. Un cycle d’entraînement peut passer de quelques centaines de sandboxes lors des premiers essais à plusieurs centaines de milliers en environnement de production. L’environnement le plus lent détermine quand l’entraîneur recevra son prochain lot, ce qui fait que les démarrages en froid sur cette voie laissent les GPU inactifs.
  3. Sandboxes GPU pour la recherche : L’agent de codage d’un chercheur a besoin d’un GPU, non pas pour servir un modèle, mais pour compiler du code CUDA, évaluer un noyau ou effectuer des calculs numériques. Il lance un sandbox GPU sur un cluster partagé, exécute la tâche et supprime le sandbox. Pour assurer ce fonctionnement au sein d’une organisation, il faut de nombreux sandboxes GPU isolés et à courte durée de vie qui démarrent rapidement et partagent équitablement un pool limité de GPU.

Comment fonctionne Agent Substrate

Agent Substrate utilise Kubernetes pour gérer un pool de pods prêts à l’emploi. Il crée un plan de contrôle distinct qui associe un grand nombre d’acteurs (agents et leurs environnements) à ce pool plus restreint de travailleurs. Cette approche résout le problème de latence inhérent au démarrage de pods de calcul pour les agents, processus qui implique une série d’étapes telles que la consultation du serveur API, l’admission, etcd, le planificateur, kubelet, le téléchargement d’images et la configuration réseau. Ce processus prend plusieurs secondes, ce qui est acceptable pour un service fonctionnant pendant des semaines, mais c’est bien trop lent pour un sandbox qui doit apparaître, exécuter une commande bash en 10 ms, puis disparaître, des centaines de fois par seconde.

Lorsque tous les travailleurs sont occupés, la demande suivante est mise en attente au lieu d’échouer. Dans un système surchargé, comme une plateforme d’assistance à la programmation en période de pointe ou une phase intense de déploiement d’apprentissage par renforcement, le tour suivant d’un utilisateur peut arriver alors que tous les travailleurs sont occupés. Agent Substrate met en œuvre un mécanisme d’attente des demandes dans le routeur afin de les enregistrer en file d’attente lorsque tous les travailleurs sont occupés. Ce mécanisme retient la demande et tente de la reprendre jusqu’à ce qu’un travailleur se libère, avec une durée d’attente limitée et un plafond au nombre de demandes pouvant attendre en même temps. Une contribution supplémentaire garantit que les demandes adressées à des agents déjà en exécution ne restent jamais bloquées dans cette file.

Travail préalable : Sécurité et gestion des ressources

Chaque contribution au projet a été initiée à partir de l’un des cas d’usage décrits ci-dessus. Tous ces travaux sont accessibles publiquement dans le dépôt Agent Substrate.

Possibilité de brancher des appareils : Fournir aux agents une GPU à l’intérieur de leur sandbox est essentiel pour les charges de travail de recherche ainsi que pour les environnements d’apprentissage par renforcement basés sur des GPU, tels que les simulateurs. Agent Substrate travaille actuellement sur la possibilité de brancher des appareils, ce qui permet d’ajouter un support pour ces appareils via l’allocation dynamique des ressources de Kubernetes (DRA). Les fournisseurs d’appareils connectent leurs dispositifs au moyen d’un profil, et chaque conteneur dans un sandbox ne demande que les appareils dont il a besoin. Cette conception fonctionne aussi bien avec les sandboxes gVisor que celles basées sur microVM. Les GPU NVIDIA sont le premier type d’appareil pris en charge.

Limites par conteneur : Un conteneur ne doit ni affamer ni tuer ses voisins. Un sandbox d’agent exécute souvent la charge de travail de l’agent à côté de conteneurs auxiliaires chargés du journalisation, du proxying ou de la collecte de métriques. Certains de ces conteneurs peuvent être peu fiables. Un conteneur dérapant ne doit pas consommer toute la mémoire du sandbox et entraîner sa fermeture. Les limites de CPU et de mémoire par conteneur pour les sandboxes microVM permettent de résoudre ce problème. Un conteneur qui dépasse sa limite de mémoire s’arrête automatiquement, tandis que le reste du sandbox continue de fonctionner.

Préservation des sandboxes GPU : Lorsqu’un agent s’arrête pour attendre une révision humaine, sa sandbox doit libérer le GPU et reprendre ses activités ultérieurement, avec ses artefacts compilés et ses données chargées toujours en place. Pour y parvenir, il est nécessaire de sauvegarder puis de restaurer à la fois l’état de l’agent et l’état du GPU. La restauration de l’état du GPU soulève des contraintes de compatibilité matérielle ; un point de contrôle GPU ne peut généralement être restauré que sur le même modèle de GPU, et parfois uniquement avec la même version de pilote. Agent Substrate propose une conception pour résoudre ce problème. Les fabricants de dispositifs décrivent comment suspendre leurs appareils en toute sécurité ainsi quelles propriétés du dispositif dépendent d’une capture d’écran. Agent Substrate enregistre ces propriétés avec chaque capture d’écran et restaure la sandbox sur un dispositif correspondant, ou recourt à un démarrage propre si aucun dispositif n’est disponible. Cette conception est neutre vis-à-vis des fabricants et s’appuie sur DRA. Les GPU NVIDIA sont la première cible ; cette conception peut être étendue à d’autres types de matériel.

NVIDIA Dynamo : Relier le cycle de l’agent

Agent Substrate gère où agissent les agents ; les temps d’exécution des inférences gèrent où ils pensent. Les deux font face à un défi similaire en termes d’efficacité : maintenir des sandboxes inactives consomme de la puissance CPU et de la mémoire, tandis que la reconstruction du contexte du modèle à chaque appel au modèle gaspille des cycles GPU. Échelonner chaque couche indépendamment améliore l’utilisation, mais leur coordination peut également réduire la latence et préserver un contexte réutilisable lorsque les agents passent de l’exécution d’outils à des appels de modèle.

NVIDIA Dynamo, le framework open source d’inference distribuée, assure cette coordination. Agent Substrate active, suspend et restaure des environnements d’agents à état sur un ensemble de travailleurs de sandbox actifs. Dynamo orchestre les inférences au sein des travailleurs GPU. Le routeur Dynamo se situe entre eux et relie ce que fait l’agent à ce qui se passe sur les GPUs.

Le routage traditionnel de l’inférence traite chaque appel de modèle comme une demande indépendante. Dans un agent, chaque demande constitue une étape au sein d’une boucle plus longue, et les demandes successives réutilisent souvent le même prompt système, les définitions d’outils et l’historique de la conversation. NVIDIA Dynamo coordonne l’inférence entre les travailleurs GPU, tandis qu’Agent Substrate gère les environnements des agents. Le routeur Dynamo utilise l’identité de session, l’emplacement du cache KV et les limites des appels d’outils pour placer les appels de modèle liés sur des travailleurs qui disposent déjà d’un contexte réutilisable.

Dynamo expose des signaux d’inférence tels que le temps prévu avant l’apparition du premier token et la saturation du pool GPU à Agent Substrate. Agent Substrate utilise ces signaux pour décider s’il faut conserver un acteur résident, le suspendre pendant de longues attentes d’inférence ou le reprendre à mesure que la réponse du modèle se rapproche de sa fin.

Exécution d’Agent Substrate avec KAI Scheduler

KAI Scheduler place les pods de travail Substrate à côté des entraîneurs GPU et des serveurs d’inférence. L’ensemble fonctionne sur la plateforme NVIDIA DSX AI Factory, où Substrate est un projet CNCF Sandbox indépendant s’intégrant aux composants du système DSX OS. Cette intégration permet aux équipes de construire une infrastructure d’agents capable de coordonner efficacement l’exécution, l’inférence et les ressources partagées du cluster.

Pour déployer un assistant de codage sur Dynamo et Agent Substrate, les équipes peuvent suivre le guide des agents de codage en environnement sandbox. Cette approche garantit que l’infrastructure soit robuste et scalable, gérant les complexités des environnements d’agents à état sans les surcoûts liés à la gestion traditionnelle des pods Kubernetes pour chaque interaction.

Conclusion

Agent Substrate représente une avancée significative dans la manière dont Kubernetes gère les charges de travail d’agents. En multiplexant les sessions sur un petit pool de travailleurs prêts à l’emploi et en exploitant la technologie de sauvegarde, il élimine les pénalités liées aux démarrages lents et à la perte d’état associées aux modèles traditionnels par pod de session. L’intégration avec NVIDIA Dynamo assure que le cycle d’inférence soit aussi efficace que le cycle d’exécution, en préservant le contexte et en réduisant la latence.

À mesure que l’industrie passe à des millions d’agents, la capacité à gérer de manière sûre et efficace ces charges de travail sur un cluster partagé devient cruciale. Agent Substrate, désormais intégré à l’écosystème CNCF, fournit la base open source nécessaire pour cet avenir, permettant aux équipes de plateforme de se concentrer sur le développement d’applications intelligentes plutôt que de lutter contre les limites de l’infrastructure.

Source :

  • Agent Substrate : Faire progresser Kubernetes pour des agents à grande échelle — NVIDIA AI Blog — https://developer.nvidia.com/blog/agent-substrate-advancing-kubernetes-for-agents-at-scale

Sources