Créer des ensembles de données d’IA physique prêts à l’entraînement à l’aide de deux prompts dans NVIDIA Cosmos
NVIDIA Cosmos Data Factory accélère le développement de l’IA physique en permettant la sélection des ensembles de données et leur génération synthétique à l’aide de deux instructions. Cette plateforme ouverte propose cinq modèles et six compétences pour générer des scénarios de conduite, améliorer des images et créer des événements rares, ce qui serait jusqu’à 60x plus rapide que les méthodes traditionnelles.
Tags
Résumé rapide
NVIDIA Cosmos Data Factory accélère le développement de l’IA physique en permettant la sélection des ensembles de données et leur génération synthétique à l’aide de deux instructions. Cette plateforme ouverte propose cinq modèles et six compétences pour générer des scénarios de conduite, améliorer des images et créer des événements rares, ce qui serait jusqu’à 60x plus rapide que les méthodes traditionnelles.
Créer des ensembles de données d’IA physique prêts à l’entraînement à l’aide de deux prompts dans NVIDIA Cosmos
La précision des modèles mondiaux dépend fondamentalement d’ensembles de données d’entraînement de haute qualité et diversifiés. Cependant, la capture de défauts rares, d’incidents nocturnes et d’autres scénarios complexes reste coûteuse et chronophage. Les workflows traditionnels impliquent souvent des outils non connectés et des processus manuels pour la sélection, l’étiquetage, la génération et l’évaluation des données, ce qui ajoute une complexité considérable à la transformation de données brutes en ensembles prêts à l’entraînement.
NVIDIA répond à ces défis grâce à NVIDIA Cosmos, une plateforme ouverte conçue pour le développement de modèles mondiaux. Cette plateforme intègre des modèles de pointe, des ensembles de données, des frameworks et des compétences afin d’optimiser le pipeline de données. Un élément clé de cet écosystème est la NVIDIA Cosmos Data Factory (CDF), qui fournit cinq modèles natifs du cloud et six compétences composables pour accélérer la sélection, le traitement des données et la génération de données synthétiques (SDG).
Selon NVIDIA, les développeurs peuvent désormais sélectionner, enrichir, générer et étiqueter des données d’IA physique, orchestrées par leur agent de codage, à l’aide de seulement deux prompts. Cette approche vise à réduire les frictions entre les besoins en données et l’entraînement des modèles, permettant des workflows « prompt-to-data » sans besoin d’une supervision humaine constante.
Le workflow à deux prompts
La proposition de valeur principale de la NVIDIA Cosmos Data Factory réside dans sa capacité à orchestrer des workflows complexes via une interface simplifiée. Le processus se divise en deux étapes principales, chacune pilotée par un prompt spécifique.
La première étape consiste à mettre en place et à configurer les modèles et compétences de Cosmos. Les utilisateurs saisissent un prompt dans leur agent de codage pour initialiser l’environnement. Cette action déclenche des vérifications préalables qui examinent l’environnement sans apporter de modifications, en signalant tout composant manquant. Une fois ces vérifications réussies, la phase de configuration prépare l’environnement pour exécuter les modèles spécifiques nécessaires à l’utilisation des données d’entraînement par l’utilisateur.
La deuxième étape consiste à exécuter le plan directeur correspondant au cas d’usage spécifique des données d’entraînement. En entrant une deuxième instruction, l’utilisateur indique au système d’exécuter le flux de travail choisi. Cette orchestration est gérée par la compétence principale CDF Orchestration, qui coordonne les étapes du flux de travail, déploie les services nécessaires et gère l’exécution sur le cluster. Cette séparation entre la configuration et l’exécution permet aux développeurs de se concentrer sur leurs objectifs liés aux données, tandis que l’infrastructure sous-jacente s’occupe de la complexité du déploiement et de l’échelle.
Cinq plans directeurs de référence pour l’IA physique
NVIDIA Cosmos Data Factory comprend cinq plans directeurs de référence conçus pour relever les défis courants dans l’entraînement de l’IA physique. Ces plans directeurs exploitent des compétences d’agent fondamentales pour gérer des tâches allant de la simulation de véhicules autonomes à l’inspection visuelle.
Cas d’usage 1 : Générer des scénarios de conduite pour l’entraînement des véhicules autonomes
Le plan directeur « Génération de jeux de données de véhicules autonomes » est destiné aux équipes qui doivent sélectionner des enregistrements existants ou générer de nouveaux jeux de données pour l’entraînement et la validation de modèles ultérieurs. Ce plan directeur aide à rechercher dans de grandes bases de données de scénarios de conduite afin de générer des jeux de données variés.
Le flux de travail consiste pour NVIDIA Cosmos Curator à extraire des métadonnées pour les entrées de jeux de données vidéo, tandis que NVIDIA Cosmos Dataset Search trouve des vidéos pertinentes grâce à des embeddings. Les vidéos obtenues sont transmises à NVIDIA Cosmos3-Super-Image2Video afin d’effectuer un transfert de style, transformant ainsi les scènes en fonction des conditions météorologiques, de l’éclairage et de l’environnement. Enfin, Cosmos Evaluator vérifie la plausibilité physique des vidéos générées. Cela garantit que les données augmentées conservent l’intégrité structurelle requise pour un entraînement sûr des véhicules autonomes.
Cas d’usage 2 : Augmenter les attributs des images pour la recherche et la réidentification
Pour les tâches nécessitant une recherche de personnes et une réidentification, le plan directeur de référence « Augmentation des attributs des images » génère des variations de coupes de personnes avec des modifications contrôlées d’attributs. Ces modifications comprennent le type de vêtements, les accessoires et la couleur.
Un LLM intégré au système transforme les attributs sélectionnés en prompts de modification structurés, qui sont utilisés pour générer des variations améliorées de l’image source. Cosmos Evaluator confirme que les attributs de vêtements demandés apparaissent dans le résultat. Le modèle de référence étiquette ensuite automatiquement les résultats avec des attributs de vêtements et des requêtes de recherche, créant ainsi un ensemble de données prêt à être utilisé pour entraîner des algorithmes de recherche.
Cas d’usage 3 : Amélioration de vidéos en fonction du temps, de l’éclairage et de l’environnement
Le modèle de référence pour l’amélioration des données vidéo transforme des séquences existantes en fonction de différents conditions météorologiques, d’éclairage et d’environnement, tout en préservant la structure originale de la scène. Un modèle de langage visuel (VLM) décrit la vidéo source et combine cette description avec les conditions demandées pour former un prompt structuré. Cosmos3-Nano génère ensuite la version améliorée.
Afin d’assurer la qualité, Cosmos Evaluator vérifie chaque clip généré à la recherche d’artefacts de mouvement absents dans la vidéo source, confirme que les conditions demandées apparaissent bien et évalue si le mouvement est physiquement plausible. Le modèle de référence étiquette ensuite automatiquement tant la vidéo source que les vidéos générées avec des données de détection, de suivi et des sous-titres, fournissant ainsi un ensemble de données complet prêt à être utilisé pour l’entraînement.
Cas d’usage 4 : Génération de vidéos d’événements rares pour l’entraînement des modèles
Il peut être dangereux ou coûteux de capturer des événements rares tels que des incendies, des chutes ou des vols en magasin. Le modèle de référence pour la génération de vidéos d’événements remédie à cela en utilisant une image source pour créer des vidéos d’événements rares.
Un VLM combine sa description de la scène avec l’événement demandé pour former un prompt structuré. Cosmos3-Super-Image2Video génère le clip tout en préservant le point de vue et la disposition de la vidéo source. Cosmos Evaluator vérifie si l’événement apparaît bien et si le mouvement semble physiquement plausible, en relançant automatiquement les clips qui échouent. Les clips réussis sont étiquetés automatiquement avec des données de détection, des trajectoires, des sous-titres et des annotations sémantiques pour un entraînement ultérieur.
Cas d’usage 5 : Générer des images de défauts pour l’inspection visuelle
Le modèle de référence pour la génération d’images de défauts crée des exemples défectueux à partir d’images d’inspection propres ou d’actifs 3D USD de pièces telles que des cartes électroniques, des panneaux en verre ou des surfaces métalliques. Pour les actifs 3D, NVIDIA Isaac Sim génère des images d’inspection et des masques, tandis que Qwen-Image-Edit crée des images de référence propres et réalistes, appelées images or.
Cosmos 3 Super utilise ces images, ces masques de défauts et les types de défauts demandés pour générer des défauts tout en préservant la pièce environnante. Le système est pré configuré pour les cartes électroniques imprimées (PCB), le verre et le métal, avec des capacités de mise au point supplémentaires disponibles pour d’autres cas d’usage. La sortie comprend des images or, des images de défauts synthétiques, ainsi que des fichiers de suivi qui relient chaque résultat à sa source et à ses paramètres de génération.
Compétences et outils principaux de l’agent
Les cinq modèles de référence sont basés sur six compétences principales de l’agent qui peuvent être utilisées indépendamment ou combinées pour créer des workflows personnalisés adaptés à des données et des objectifs spécifiques.
- Auto Labeling : Transforme des vidéos et des images brutes en ensembles de données annotés, avec détection, suivi, sous-titres et compréhension de la scène.
- AnomalyGen : Crée des images de défauts réalistes à partir de quelques exemples, accompagnées de masques, spécifiquement pour les tâches d’inspection visuelle.
- Augmentation : Génère des variations visuelles de vidéos et d’images à l’aide des modèles Cosmos pour des conditions difficiles à capturer dans le monde réel.
- Curation and Retrieval : Trouve des extraits et des images dans de grandes collections grâce à Cosmos Curator et Cosmos Dataset Search. Cosmos Curator prend désormais en charge les vidéos multicaméras, les IMU et les données GPS, ainsi que du lidar dans sa bibliothèque de capteurs.
- Simulation : Génère des images photoréalistes et entièrement annotées à partir de scènes 3D à l’aide d’Isaac Sim et d’Omniverse Replicator.
- Orchestration : Exécute les modèles de référence sur un cluster, déploie les services nécessaires à chacun d’eux et les ajuste en fonction des besoins.
Pour les workflows axés sur la curation et la récupération, les développeurs peuvent utiliser Cosmos Curator pour traiter et étiqueter automatiquement des données vidéo brutes et multimodales, ainsi que Cosmos Dataset Search pour trouver des scénarios d’entraînement ciblés au sein de grands ensembles de données. Des composants de traitement Python réutilisables sont également disponibles pour accompagner ces tâches.
Performance et résultats attendus
NVIDIA a mesuré les gains d’efficacité apportés par cette architecture. Lors de tests effectués sur un serveur cloud équipé de huit GPU NVIDIA RTX PRO 6000 de la série Blackwell, l’organisation a constaté des améliorations significatives par rapport aux méthodes traditionnelles.
Plus précisément, NVIDIA a mesuré le débit quotidien et a indiqué une assembly des ensembles de données jusqu’à 60x fois plus rapide. De plus, la génération de scénarios pour véhicules autonomes s’est avérée 45x moins coûteuse par rapport aux approches traditionnelles. Ces indicateurs mettent en évidence le potentiel des organisations à échelonner leurs opérations sur les données sans augmenter proportionnellement les coûts ou le délai de mise sur le marché.
Conclusion
La création d’ensembles de données d’IA physique prêts à l’entraînement ne dépend plus uniquement de la capture manuelle et d’une étiquetage laborieux. En s’appuyant sur NVIDIA Cosmos et Cosmos Data Factory, les développeurs peuvent orchestrer des pipelines de données complexes à l’aide de seulement deux instructions. Que ce soit pour générer des scénarios de conduite pour des véhicules autonomes, améliorer des images aux fins de réidentification ou créer des images de défauts synthétiques pour l’inspection visuelle, la plateforme offre une solution flexible et échelonnable.
Avec des compétences clés telles que Auto Labeling, AnomalyGen et Simulation fonctionnant en synergie, les organisations peuvent accélérer le développement de leur modèle du monde. Comme le montre NVIDIA, la combinaison de modèles de pointe et de compétences composables permet de créer des ensembles de données de haute qualité et diversifiés, essentiels pour entraîner des systèmes d’IA physique robustes.
Source :
- Construire des ensembles de données d’IA physique prêts à l’entraînement avec deux instructions dans NVIDIA Cosmos — NVIDIA AI Blog — https://developer.nvidia.com/blog/build-training-ready-physical-ai-datasets-with-two-prompts-in-nvidia-cosmos



