Erstellen Sie physische AI-Datensätze für das Training mit zwei Prompts in NVIDIA Cosmos

NVIDIA Cosmos Data Factory beschleunigt die Entwicklung von physikalischer KI, indem es die Auswahl von Datensätzen sowie die synthetische Erstellung mithilfe von zwei Anweisungen ermöglicht. Diese offene Plattform bietet fünf Blueprints und sechs Fähigkeiten zur Erstellung von Fahrscenarios, zur Verbesserung von Bildern sowie zur Schaffung seltener Ereignisse – angeblich bis zu 60x schneller als mit herkömmlichen Methoden.

Vorlesen ist in diesem Browser nicht verfügbar
Erstellen Sie physische AI-Datensätze für das Training mit zwei Prompts in NVIDIA Cosmos

Tags

Kurze Zusammenfassung

NVIDIA Cosmos Data Factory beschleunigt die Entwicklung von physikalischer KI, indem es die Auswahl von Datensätzen sowie die synthetische Erstellung mithilfe von zwei Anweisungen ermöglicht. Diese offene Plattform bietet fünf Blueprints und sechs Fähigkeiten zur Erstellung von Fahrscenarios, zur Verbesserung von Bildern sowie zur Schaffung seltener Ereignisse – angeblich bis zu 60x schneller als mit herkömmlichen Methoden.

Erstellung von für das Training bereiten physischen AI-Datensätzen mit zwei Prompts in NVIDIA Cosmos

Die Genauigkeit von Weltmodellen hängt im Wesentlichen von hochwertigen, vielfältigen Trainingsdatensätzen ab. Die Erfassung seltener Defekte, nächtlicher Vorfälle sowie anderer schwieriger Szenarien bleibt jedoch kostspielig und zeitaufwändig. Traditionelle Arbeitsabläufe beinhalten oft getrennte Tools sowie manuelle Prozesse für die Auswahl, Beschriftung, Erstellung und Bewertung der Daten, was die Umwandlung von Rohdaten in für das Training bereite Datensätze erheblich erschwert.

NVIDIA begegnet diesen Herausforderungen mit NVIDIA Cosmos, einer offenen Plattform, die für die Entwicklung von Weltmodellen konzipiert ist. Diese Plattform integriert fortschrittliche Modelle, Datensätze, Frameworks und Fähigkeiten, um den Datenfluss zu vereinfachen. Ein zentraler Bestandteil dieses Ökosystems ist die NVIDIA Cosmos Data Factory (CDF), die fünf cloud-basierte Blueprints sowie sechs kombinierbare Fähigkeiten bereitstellt, um die Auswahl, Verarbeitung der Daten sowie die Erstellung synthetischer Daten zu beschleunigen.

Laut NVIDIA können Entwickler nun mithilfe ihres Programmier-Agenten physische AI-Daten durch nur zwei Prompts auswählen, erweitern, erstellen und beschriften. Dieser Ansatz zielt darauf ab, die Kluft zwischen den Datenanforderungen und dem Modelltraining zu verringern und „Prompt-zu-Daten“-Arbeitsabläufe ohne ständige menschliche Steuerung zu ermöglichen.

Der Zwei-Prompt-Arbeitsablauf

Der Kernvorteil der NVIDIA Cosmos Data Factory liegt in ihrer Fähigkeit, komplexe Arbeitsabläufe über eine vereinfachte Benutzeroberfläche zu steuern. Der Prozess ist in zwei Hauptschritte unterteilt, wobei jeder Schritt durch einen spezifischen Prompt gesteuert wird.

Der erste Schritt beinhaltet die Einrichtung und Konfiguration der Cosmos Blueprints und Fähigkeiten. Die Benutzer geben einen Prompt in ihren Programmier-Agenten ein, um die Umgebung zu initialisieren. Diese Aktion triggert Vorabprüfungen, die die Umgebung ohne Änderungen überprüfen und fehlende Komponenten anzeigen. Sobald diese Prüfungen bestanden sind, bereitet die Einrichtungsphase die Umgebung darauf vor, die für den jeweiligen Trainingsfall des Benutzers benötigten Blueprints auszuführen.

Der zweite Schritt beinhaltet das Ausführen des Blueprints für den spezifischen Anwendungsfall der Schulungsdaten. Durch Eingabe einer zweiten Anweisung weist der Benutzer das System an, den gewählten Workflow auszuführen. Diese Orchestrierung wird durch die CDF Orchestration Core Skill gesteuert, die die Workflow-Schritte koordiniert, die erforderlichen Dienste bereitstellt und die Ausführung auf dem Cluster verwalten lässt. Diese Trennung von Einrichtung und Ausführung ermöglicht es Entwicklern, sich auf ihre Datenziele zu konzentrieren, während die zugrunde liegende Infrastruktur die Komplexität der Bereitstellung und Skalierung bewältigt.

Fünf Referenz-Blueprints für physisches KI

NVIDIA Cosmos Data Factory umfasst fünf Referenz-Blueprints, die darauf ausgelegt sind, gängige Herausforderungen bei der Schulung von physischer KI zu bewältigen. Diese Blueprints nutzen Kernfähigkeiten von Agenten, um Aufgaben von der Simulation autonomer Fahrzeuge bis hin zur visuellen Inspektion zu bearbeiten.

Anwendungsfall 1: Erstellung von Fahrscenarios für die Schulung autonomer Fahrzeuge

Das Blueprint „Autonomous Vehicle Dataset Generation“ ist für Teams konzipiert, die bestehende Aufnahmen auswählen oder neue Datensätze für die anschließende Modellbildung und -validierung erstellen müssen. Dieses Blueprint hilft dabei, in großen Datenbanken nach Fahrscenarios zu suchen und vielfältige Datensätze zu erzeugen.

Der Workflow beinhaltet, dass NVIDIA Cosmos Curator Metadaten für die Eingabedaten der Videodatensätze extrahiert, während NVIDIA Cosmos Dataset Search relevante Videos mithilfe von Embeddings findet. Die abgerufenen Videos werden an NVIDIA Cosmos3-Super-Image2Video übergeben, um einen Stilwechsel vorzunehmen und Szenen unter Berücksichtigung von Wetterbedingungen, Beleuchtung und Umweltfaktoren zu verändern. Schließlich prüft Cosmos Evaluator die erzeugten Videos auf physikalische Plausibilität. Dadurch wird sichergestellt, dass die erweiterten Daten die für eine sichere Schulung autonomer Fahrzeuge erforderliche strukturelle Integrität beibehalten.

Anwendungsfall 2: Erweiterung von Bildattributen zur Suche und Neuerkennung

Für Aufgaben, bei denen eine Personensuche und -neuerkennung erforderlich ist, erzeugt das Referenz-Blueprint „Image Attribute Augmentation“ Varianten von Personenausschnitten mit kontrollierten Änderungen der Attribute. Zu diesen Änderungen gehören Kleidungstyp, Accessoires und Farbe.

Ein LLM innerhalb des Systems wandelt ausgewählte Attribute in strukturierte Anweisungen zur Modifikation um, die zur Erstellung erweiterter Varianten des Ausgangsbildes verwendet werden. Cosmos Evaluator überprüft, ob die angeforderten Kleidungsattribute im Ergebnis vorhanden sind. Anschließend kennzeichnet das Blueprint die Ergebnisse automatisch mit Kleidungsattributen und Suchanfragen und erstellt so ein Datensatz, der zur Schulung von Suchalgorithmen geeignet ist.

Anwendungsfall 3: Erweiterung von Videos unter Berücksichtigung von Wetterbedingungen, Beleuchtung und Umgebungen

Das Referenz-Blueprint für die Video-Daten-Erweiterung wandelt bestehende Aufnahmen unter verschiedenen Wetter-, Beleuchtungs- und Umgebungsbedingungen um, wobei die ursprüngliche Szenenstruktur beibehalten wird. Ein Vision-Language-Modell (VLM) beschreibt das Ausgangsvideo und kombiniert diese Beschreibung mit den angeforderten Bedingungen zu einer strukturierten Anweisung. Cosmos3-Nano erzeugt anschließend die erweiterte Variante.

Um die Qualität zu gewährleisten, überprüft Cosmos Evaluator jeden generierten Clip auf Bewegungsartefakte, die im Ausgangsvideo nicht vorhanden sind, stellt sicher, dass die angeforderten Bedingungen tatsächlich vorliegen, und bewertet, ob die Bewegung physikalisch plausibel ist. Das Blueprint kennzeichnet danach sowohl das Ausgangs- als auch die generierten Videos automatisch mit Erkennungen, Trackings und Untertiteln und liefert so einen umfassenden Datensatz, der zur Schulung bereit ist.

Anwendungsfall 4: Erstellung von Videos zu seltenen Ereignissen für die Modellbildung

Die Aufnahme seltener Ereignisse wie Brände, Stürze oder Ladendiebstähle kann gefährlich oder teuer sein. Das Referenz-Blueprint zur Erstellung von Ereignisvideos löst dieses Problem, indem es mithilfe eines Ausgangsbildes Videos zu seltenen Ereignissen erstellt.

Ein VLM kombiniert seine Beschreibung der Szene mit dem angeforderten Ereignis zu einer strukturierten Anweisung. Cosmos3-Super-Image2Video erzeugt den Clip, wobei die Ausgangsansicht und -anordnung beibehalten werden. Cosmos Evaluator überprüft, ob das Ereignis erscheint und ob die Bewegung physikalisch plausibel aussieht, und versucht fehlgeschlagene Clips automatisch erneut zu generieren. Bestandene Clips werden automatisch mit Erkennungen, Tracks, Untertiteln und semantischen Anmerkungen versehen, um sie für die weitere Schulung zu nutzen.

Anwendungsfall 5: Erstellung von Defektbildern für visuelle Inspektionen

Das Referenzblueprint zur Erstellung von Defektbildern erstellt fehlerhafte Beispiele aus sauberen Inspektionsbildern oder 3D USD-Ressourcen von Komponenten wie Leiterplatten, Glaspaneele oder Metalloberflächen. Für 3D Ressourcen rendernt NVIDIA Isaac Sim Inspektionsbilder und Masken, während Qwen-Image-Edit realistische, saubere Referenzbilder erzeugt, die als „Golden Bilder“ bezeichnet werden.

Cosmos 3 Super verwendet diese Bilder, Defektmasken sowie angeforderte Defekttypen, um Defekte zu erzeugen, wobei die umliegende Komponente erhalten bleibt. Das System ist für Leiterplatten (PCBs), Glas und Metall fein abgestimmt, wobei weitere Anpassungen für andere Anwendungsfall möglich sind. Die Ausgabe umfasst „Goldene Bilder“, synthetische Defektbilder sowie Manifeste, die jeden Ergebnis auf seine Quelle und die Erstellungs-Einstellungen zurückverweisen.

Kernfähigkeiten und -werkzeuge des Agents

Die fünf Referenzblueprints basieren auf sechs Kernfähigkeiten des Agents, die entweder unabhängig genutzt oder kombiniert werden können, um maßgeschneiderte Workflows für spezifische Daten und Ziele zu erstellen.

  • Auto Labeling: Wandelt Rohvideos und -bilder in annotierte Datensätze mit Erkennung, Tracking, Untertiteln sowie Szeneverständnis um.
  • AnomalyGen: Erstellt realistische Defektbilder anhand weniger Beispiele inklusive Masken, insbesondere für Aufgaben der visuellen Inspektion.
  • Augmentation: Erzeugt visuelle Variationen von Videos und Bildern mithilfe von Cosmos-Modellen für Bedingungen, die in der realen Welt schwer zu erfassen sind.
  • Curation and Retrieval: Findet Clips und Bilder in großen Sammlungen mithilfe von Cosmos Curator und Cosmos Dataset Search. Cosmos Curator unterstützt mittlerweile Multikamera-Videos, IMU- und GPS-Eingänge sowie anfängliche Lidar-Unterstützung in seiner Sensorbibliothek.
  • Simulation: Rendernt photorealistische, vollständig annotierte Bilder aus 3D Szenen mithilfe von Isaac Sim und Omniverse Replicator.
  • Orchestration: Führt Referenzblueprints auf einem Cluster aus, stellt die jeweils benötigten Dienste bereit und skaliert sie nach Bedarf.

Für Workflows, die sich auf Kuratierung und Abruf konzentrieren, können Entwickler Cosmos Curator nutzen, um Rohvideo- und multimodale Daten zu verarbeiten und automatisch zu kennzeichnen, sowie Cosmos Dataset Search, um gezielte Schulungsszenarien in großen Datensätzen zu finden. Zur Unterstützung dieser Aufgaben stehen außerdem wiederverwendbare Python-Verarbeitungskomponenten zur Verfügung.

Leistung und erwartete Ergebnisse

NVIDIA hat die durch diese Architektur erzielten Effizienzgewinne gemessen. In Tests auf einem Cloud-Server mit acht NVIDIA RTX PRO 6000 Blackwell Series GPUs berichtete das Unternehmen von erheblichen Verbesserungen im Vergleich zu herkömmlichen Methoden.

Konkret maß NVIDIA die tägliche Durchsatzleistung und gab an, dass die Zusammenstellung von Datensätzen bis zu 60x schneller erfolgt. Zudem wurde berichtet, dass die Erstellung von Szenarien für autonome Fahrzeuge im Vergleich zu traditionellen Ansätzen um 45x günstiger ist. Diese Kennzahlen unterstreichen das Potenzial von Organisationen, ihre Datenaufgaben zu skalieren, ohne die Kosten oder die Time-to-Market proportional erhöhen zu müssen.

Fazit

Die Erstellung von für Schulungen geeigneten physischen AI-Datensätzen hängt nicht mehr ausschließlich von manueller Erfassung und arbeitsintensiver Kennzeichnung ab. Durch die Nutzung von NVIDIA Cosmos und der Cosmos Data Factory können Entwickler komplexe Datensysteme mithilfe von nur zwei Anweisungen orchestrieren. Egal ob es um die Erstellung von Fahrsszenarien für autonome Fahrzeuge, die Verbesserung von Bildern zur Neuerkennung oder die Erstellung synthetischer Defektbilder für visuelle Inspektionen geht – die Plattform bietet eine flexible und skalierbare Lösung.

Durch die gemeinsame Nutzung von Kernfähigkeiten wie Auto Labeling, AnomalyGen und Simulation können Organisationen die Entwicklung ihrer Weltmodelle beschleunigen. Wie NVIDIA zeigt, ermöglicht die Kombination aus fortschrittlichen Modellen und komponierbaren Fähigkeiten die Erstellung hochwertiger, vielfältiger Datensätze, die für das Training robuster physischer AI-Systeme unerlässlich sind.

Quelle:

  • Build Training-Ready Physical AI Datasets with Two Prompts in NVIDIA Cosmos — NVIDIA AI Blog — https://developer.nvidia.com/blog/build-training-ready-physical-ai-datasets-with-two-prompts-in-nvidia-cosmos

Quellen