QUELLENTEXT: NVIDIA CUDA 13.5 bietet Unterstützung für NVIDIA Vera Rubin GA

NVIDIA CUDA 13.5 stellt die allgemeine Verfügbarkeit der NVIDIA Vera Rubin-GPU-Architektur bereit, wodurch eine Nutzung in Unternehmensumgebungen möglich wird. Die Veröffentlichung erweitert außerdem die Unterstützung für Windows on Arm auf die NVIDIA DGX Station for Windows und bietet neue Funktionen zur Scheduling- sowie Speichermanagement.

Vorlesen ist in diesem Browser nicht verfügbar
QUELLENTEXT: NVIDIA CUDA 13.5 bietet Unterstützung für NVIDIA Vera Rubin GA

Tags

Kurze Zusammenfassung

NVIDIA CUDA 13.5 stellt die allgemeine Verfügbarkeit der NVIDIA Vera Rubin-GPU-Architektur bereit, wodurch eine Nutzung in Unternehmensumgebungen möglich wird. Die Veröffentlichung erweitert außerdem die Unterstützung für Windows on Arm auf die NVIDIA DGX Station for Windows und bietet neue Funktionen zur Scheduling- sowie Speichermanagement.

NVIDIA CUDA 13.5 bringt Unterstützung für NVIDIA Vera Rubin GA

Da Künstliche Intelligenz und beschleunigte Rechenverfahren kontinuierlich die Grenzen dessen erweitern, was möglich ist, bringt die neueste Version von NVIDIA CUDA außergewöhnliche Leistung und Skalierbarkeit. NVIDIA CUDA 13.5 steht nun in allgemeiner Verfügbarkeit (GA) auf wichtigen neuen Plattformen, was einen bedeutenden Meilenstein für Unternehmensproduktionsumgebungen darstellt.

Laut NVIDIA rückt diese Version die Unterstützung für die GPU-Architektur NVIDIA Vera Rubin vom frühen Entwicklerzugang in die allgemeine Verfügbarkeit. Zudem erstreckt sich die seit CUDA 13.4 in GA verfügbare Windows-on-Arm-Unterstützung nun konkret auf die NVIDIA DGX Station for Windows. Diese Erweiterungen der Plattformen stellen sicher, dass Entwickler Workloads auf einer breiteren Palette an Hardware-Konfigurationen mit produktionstauglicher Stabilität einsetzen können.

Verbesserungen bei Lokalitätsdomänen und Ressourcenpartitionierung

Ein zentraler Schwerpunkt von CUDA 13.5 ist die verbesserte Anpassung der Planung von GPU-Arbeit durch Lokalitätsdomänen. Anwendungen haben nun die Wahl zwischen gleichmäßiger Verteilung der Streaming-Multiprozessoren (SM) über die Lokalitätsdomänen oder Partitionen, die alle verfügbaren SMs umfassen.

Standardmäßig nutzen lokalisierte Partitionen im grünen Kontext die gleiche garantierte Anzahl an SMs pro Domäne und lassen zusätzliche SMs außerhalb dieser Partitionen. Durch den neuen Flag cudaDevSmResourceGroupLocalityDomainSupplementalSms in Kombination mit cudaDevSmResourceGroupLocalityDomainId können Anwendungen jedoch diese zusätzlichen SMs in jede ausgewählte Domäne aufnehmen. Dadurch lässt sich bei der Partitionierung über Lokalitätsdomänen die gesamte Anzahl der SMs des Geräts nutzen, wobei die resultierenden Partitionen unterschiedliche Größen aufweisen können.

Um diese Flexibilität zu ermöglichen, können Anwendungen den Entdeckungsmodus in der API cudaDevSmResourceSplit() verwenden. Diese API ermöglicht es Entwicklern, die Anzahl der SMs jeder Partition zu ermitteln und die Arbeit entsprechend zu verteilen. Wie in der Dokumentation erwähnt, lässt diese Funktion Nutzern die Wahl zwischen der Gleichmäßigkeit und Vorhersehbarkeit einer einheitlichen SM-Größe pro Lokalitätsdomäne oder zwischen der maximalen Anzahl an SMs pro Domäne, um so viel wie möglich der GPU-Hardware zu nutzen.

Innovationen des NVIDIA Multi-Process Service v3

Der NVIDIA Multi-Process Service (MPS) v3 bietet erhebliche Kontrollmöglichkeiten darüber, wie Arbeitslasten einen GPU teilen, und umfasst Funktionen von der Planung einzelner Server bis zur Zuweisung von Ressourcen an Gruppen von Clients. Mehrere neue Funktionen verbessern die Ressourcenverwaltung und Effizienz.

Gewichtete Zeitschlüsselung und Lastausgleich

Durch die gewichtete Zeitschlüsselung können Administratoren Servern, die Arbeitslasten verarbeiten, die diese benötigen, längere Rechenzeiten gewähren. Benutzer können einen Basis-Zeitschlüssel festlegen, diesen pro MPS-Server anpassen und unabhängig steuern, wie aggressiv der GPU zwischen den Arbeitslasten wechselt.

Der Lastausgleich für SM-Partitionen ermöglicht es Arbeitslasten, Kapazitäten jenseits ihrer Basispartition zu nutzen, sofern Ressourcen verfügbar sind. Diese Funktion umfasst Mechanismen zum Ausleihen und Zurückgeben von Ressourcen. Benutzer können das Ausleihen mit --max-chunks aktivieren und einer Partition erlauben, ihre SMs auszuleihen, solange keine Clients an sie gebunden sind, mit --shareable=true. Diese Einstellungen sind unabhängig voneinander, sodass eine Partition ausleihen, zurückgeben oder beides tun kann. MPS holt sich geliehene Ressourcen zurück, bevor er sie erneut zuweist, während die Anwendungen weiterhin eine stabile Basispartitiongröße erhalten.

Routing basierend auf Cgroups und Zuweisungen von Namensräumen

Das auf Cgroups basierende Routing verbindet die Prozessgruppen des Arbeitslasten-Starters mit den MPS-Ressourcenrichtlinien. Durch die Zuordnung eines cgroup-v2-Unterbaums zu einem MPS-Namensraum werden Clients, die über den Haupt-Socket des Daemons verbunden sind, automatisch an diesen Namensraum weitergeleitet.

Darüber hinaus ermöglichen die pro-Namensraum- Zuweisungen von SM-Partitionen es Administratoren, einmalig eine Partition für jedes Gerät auszuwählen und diese Auswahl auf alle Clients anzuwenden, die an den Namensraum weitergeleitet werden. Dadurch entfällt die Notwendigkeit, CUDA_MPS_SM_PARTITION für diese Clients separat zu konfigurieren. Die Zuweisungen von Namensräumen haben Vorrang, während Geräte ohne Zuweisung weiterhin auf die Fallback-Wertung der Umgebungsvariablen zurückgreifen.

Speicherverwaltung auf Basis von Abfragen

Um die Zuverlässigkeit bei der Speicherverwaltung zu verbessern, wird eine auf Abfragen basierende Alternative für die Speicherverwaltung eingeführt. Diese Funktion dient als Ersatz, wenn Benachrichtigungen bezüglich der cgroup-Thresholds fehlen oder unzuverlässig sind. Bei Entscheidungen zur Entfernung von Daten kann MPS den aktuellen Verbrauch sowie die Limits direkt abrufen, anstatt sich auf den im Cache gespeicherten Status der Benachrichtigungen zu verlassen. Um Abfragen zu erzwingen, können Benutzer nvidia-cuda-mps-control memacct set force_polling=true vor dem Start der Speicherverwaltung ausführen. NVIDIA weist darauf hin, dass dies zwar Arbeit pro Entscheidung zur Entfernung von Daten hinzufügt, aber die Abhängigkeit von der Zustellung der Benachrichtigungen beseitigt.

CUDA Tile und Kommunikation zwischen mehreren GPUs

CUDA 13.5 fügt eine Unterstützung für die Kommunikation zwischen mehreren GPUs direkt innerhalb von CUDA-Tile-Kernen hinzu. Unicast-Pointer ermöglichen es einem Kernel, auf Speicher auf einer anderen über NVLink verbundenen GPU zuzugreifen. Zudem unterstützen Multicast-Pointer sowie spezielle Multimem-Operationen Reduktionen und Schreibvorgänge auf mehreren GPUs in NVIDIA-NVSwitch-Strukturen mit NVIDIA-NVLink-SHARP-Unterstützung.

Anwendungen bereiten die Zuordnungen des gemeinsamen Speichers vor dem Start vor und kombinieren anschließend Kommunikation und Berechnung innerhalb des Kernels. Diese Fähigkeit ermöglicht Arbeitslasten wie verschmolzene Matrixmultiplikationen sowie Reduktionen zwischen GPUs.

Vorschau der SIMT-Interoperabilität

In einer öffentlichen Vorschau ermöglicht CUDA 13.5 es CUDA-Tile-Kernen, direkt Funktionen von SIMT-Bibliotheken aufzurufen. Zuvor konnten Tile- und SIMT-Bibliothekskodier nur über Kernelgrenzen hinweg kombiniert werden, wobei Daten über den globalen Speicher zwischen ihnen übertragen wurden. Mit dieser Aktualisierung können in cuTile-Python oder CUDA-Tile-C++ geschriebene Kerner Funktionen von SIMT-Bibliotheken mitten in ihrem eigenen Code auf Daten aufrufen, die bereits in Registern oder gemeinsamem Speicher vorhanden sind.

Unterstützte Bibliotheken umfassen NVIDIA NVSHMEM, NVIDIA CCCL Coop, NVIDIA Warp sowie NVIDIA MathDx. Letztere umfasst außerdem NVIDIA cuFFTDx, NVIDIA cuBLASDx, NVIDIA cuSolverDx und NVIDIA nvCOMPDx. NVIDIA gibt an, dass diese Interoperabilitätsunterstützung bald von jeder dieser Bibliotheken aktiviert werden wird.

Um die Vorschau in C++ zu ermöglichen, kompilieren Benutzer mit nvcc --tile-preview simt und übergeben tilelib an den Tile-Compiler. In cuTile Python wird die von der cuda.tile_preview-Paket bereitgestellte cuda.tile_preview.foreign_call-Funktion verwendet. NVIDIA macht klar, dass in Version 13.5 die Vorschau zur Interoperabilität von Tile-SIMT nur Bibliotheksfunktionen umfasst; der Aufruf benutzerdefinierter __device__-Funktionen aus Tile-Code ist für eine zukünftige Version geplant.

Windows-Driver-Unterstützung auf Rubin

Ab der NVIDIA Rubin-Architektur unterstützt CUDA das Windows Driver Display Model (WDDM) sowie das Microsoft Compute Driver Model (MCDM). MCDM bietet ein rein rechenorientiertes Driver-Modell. NVIDIA gibt ausdrücklich an, dass Tesla Compute Cluster (TCC) auf Rubin und späteren GPUs nicht unterstützt wird. Daher sollten Anwendungen und Bereitstellungswerkzeuge, die den TCC-Modus voraussetzen, für ihr Zielsystem die unterstützten Konfigurationen WDDM oder MCDM verwenden.

Aktualisierungen von CUDA Python und CCCL

NVIDIA CUDA Python erweitert weiterhin den pythonischen Zugang zur CUDA-Programmierung. Die CUDA Python-Kernbibliothek cuda.core 1.2 führt gebündelte Speicherkopien, Programmatic Dependent Launch (PDL), eine einfachere Laufzeitkompilierung sowie flexiblere Aktualisierungen von CUDA-Graphen ein.

Die neue cuda.core.utils.copy_batch() übermittelt mehrere Speicherkopien über einen einzigen CUDA-Driver-Aufruf. CopyOptions bietet Kontrolle über die Reihenfolge des Zugriffs auf Quellen, Hinweise zu Speicheradressen sowie das Verhalten bei Überschneidungen. Beispielsweise übermittelt der folgende Code zwei unabhängige Kopien unter Verwendung vorhandener Quell- und Ziel-Speicherpuffer:

from cuda.core.utils import copy_batch
# Each source and destination pair must have matching sizes.
# Copies within the batch must not alias.
copy_batch(stream, srcs=[src_a, src_b], dsts=[dst_a, dst_b])
stream.sync()

LaunchConfig stellt nun PDL über die Option programmatic_stream_serialization zur Verfügung. Auf GPUs mit Rechenfähigkeit 9.0 oder neuer können zusammenarbeitende Kerne ihre Ausführung innerhalb derselben CUDA-Stream überschneiden, wodurch ein abhängiger Kernel unabhängige Arbeiten beginnen kann, bevor sein Vorgänger abgeschlossen ist.

Anwendungen können außerdem Graph-Definitionen vor zukünftigen Instanziierungen aktualisieren und ausführbare Graph-Knoten über graph[node]-Ansichten ändern, ohne den Graph neu zu instanzieren. Zu den unterstützten Aktualisierungen gehören Kernelparameter, Speicherkopien, Speichermengen, Untergraphen, Ereignisse sowie Host-Callbacks.

In der CCCL 3.5-Version werden öffentliche Tuning-APIs für CUB bereitgestellt. Die Aktualisierung umfasst außerdem reproduzierbare Fließkomma-Scans sowie batchbasierte Top-K-Selektionen, die in FlashInfer integriert sind. Zudem verbrauchen datenabhängige Reduzierungen Elementzahlen aus der Gerätememory unter Verwendung von cuda::args::deferred.

Fazit

NVIDIA CUDA 13.5 stellt eine bedeutende Weiterentwicklung im Werkzeugkasten für beschleunigte Berechnungen dar, insbesondere durch die allgemeine Verfügbarkeit der NVIDIA Vera Rubin-Architektur. Durch die Einführung einer feingranularen Steuerung von Lokalitätsdomänen, die Erweiterung von MPS v3 durch gewichtete Zeitschneidung sowie Routing über cgroups und die Möglichkeit zur direkten Kommunikation zwischen mehreren GPUs innerhalb von CUDA-Tile-Kernen ermöglicht diese Version es Entwicklern, Workloads hinsichtlich Skalierbarkeit und Effizienz zu optimieren.

Die Integration der Windows on Arm-Unterstützung für die DGX Station sowie der Übergang zu WDDM/MCDM-Modellen für Rubin erweitern das Einsatzspektrum weiter. Da NVIDIA diese Funktionen kontinuierlich durch öffentliche Vorabversionen und Bibliotheksaktualisierungen verbessert, ist das Ökosystem weiterhin darauf ausgerichtet, die nächste Generation an KI-Infrastrukturen zu unterstützen.

Quellen

Quellen