NVIDIA CUDA 13.5 intègre la prise en charge de NVIDIA Vera Rubin GA

NVIDIA CUDA 13.5 assure une disponibilité générale pour l’architecture GPU NVIDIA Vera Rubin, permettant son utilisation en environnements professionnels de production. Cette version étend également le support de Windows on Arm au NVIDIA DGX Station for Windows, en ajoutant de nouvelles fonctionnalités de planification et de gestion de la mémoire.

Lecture audio non disponible dans ce navigateur
NVIDIA CUDA 13.5 intègre la prise en charge de NVIDIA Vera Rubin GA

Tags

Résumé rapide

NVIDIA CUDA 13.5 assure une disponibilité générale pour l’architecture GPU NVIDIA Vera Rubin, permettant son utilisation en environnements professionnels de production. Cette version étend également le support de Windows on Arm au NVIDIA DGX Station for Windows, en ajoutant de nouvelles fonctionnalités de planification et de gestion de la mémoire.

NVIDIA CUDA 13.5 intègre le support NVIDIA Vera Rubin GA

Alors que l’intelligence artificielle et le calcul accéléré continuent de repousser les limites de ce qui est possible, la dernière version de NVIDIA CUDA arrive pour débloquer des performances et une échelle sans précédent. NVIDIA CUDA 13.5 offre une disponibilité générale (GA) sur de nouvelles plateformes majeures, marquant ainsi une étape importante pour les environnements de production d’entreprise.

Selon NVIDIA, cette version fait passer le support de l’architecture GPU NVIDIA Vera Rubin d’un accès précoce pour les développeurs à une disponibilité générale. De plus, le support Windows on Arm, qui est devenu GA depuis CUDA 13.4, s’étend désormais spécifiquement au NVIDIA DGX Station for Windows. Ces extensions de plateforme permettent aux développeurs de déployer des charges de travail sur un éventail plus large de configurations matérielles, avec une stabilité adaptée à un environnement de production.

Améliorations des domaines de localisation et partitionnement des ressources

Un axe central de CUDA 13.5 est l’augmentation de la personnalisation de la manière dont le travail GPU est planifié via les domaines de localisation. Les applications disposent désormais du choix entre des partitions uniformes des multiprocesseurs en flux (SM) à travers les domaines de localisation ou des partitions incluant tous les SM disponibles.

Par défaut, les partitions à contexte vert localisé utilisent le même nombre garanti de SM par domaine, laissant les SM supplémentaires en dehors de ces partitions. Cependant, le nouveau flag cudaDevSmResourceGroupLocalityDomainSupplementalSms, combiné à cudaDevSmResourceGroupLocalityDomainId, permet aux applications d’inclure ces SM supplémentaires au sein de chaque domaine sélectionné. Cela permet d’utiliser tous les SM du dispositif lors du partitionnement selon les domaines de localisation, bien que les partitions résultantes puissent différer en taille.

Pour faciliter cette flexibilité, les applications peuvent utiliser le mode de découverte dans l’API cudaDevSmResourceSplit(). Cette API permet aux développeurs d’obtenir le nombre de SM de chaque partition et de distribuer le travail en conséquence. Comme indiqué dans la documentation, cette fonctionnalité permet aux utilisateurs de choisir entre l’uniformité et la prévisibilité d’une taille uniforme des SM pour chaque domaine de localisation, ou de choisir le nombre maximal de SM que chaque domaine de localisation doit utiliser afin d’exploiter au mieux le matériel GPU.

Innovations du NVIDIA Multi-Process Service v3

Le NVIDIA Multi-Process Service (MPS) v3 offre un contrôle important sur la manière dont les charges de travail partagent une GPU, allant de l’ordonnancement de serveurs individuels à l’affectation de ressources à des groupes de clients. Plusieurs nouvelles fonctionnalités améliorent la gestion des ressources et l’efficacité.

Temps d’exécution pondéré et équilibrage de la charge

Le temps d’exécution pondéré permet aux administrateurs d’accorder un temps de calcul plus long aux serveurs hébergeant des charges de travail qui en ont besoin. Les utilisateurs peuvent définir un temps d’exécution de base, l’adapter pour chaque serveur MPS, et régler de manière indépendante la fréquence à laquelle la GPU passe d’une charge de travail à une autre.

L’équilibrage de la charge des partitions SM permet aux charges de travail d’utiliser une capacité supérieure à leur partition de base lorsque des ressources sont disponibles. Cette fonctionnalité inclut des mécanismes d’emprunt et de prêt. Les utilisateurs peuvent activer l’emprunt avec --max-chunks et autoriser une partition à prêter ses SMs lorsqu’elle n’a pas de clients connectés avec --shareable=true. Ces paramètres sont indépendants, ce qui signifie qu’une partition peut emprunter, prêter ou faire les deux. MPS récupère les ressources empruntées avant de les réaffecter, tandis que les applications continuent de voir une taille de partition de base stable.

Affectation de noms d’espace et routage basé sur Cgroup

Le routage basé sur Cgroup relie les groupes de processus du lanceur de charges de travail aux politiques de ressources de MPS. En mappant un sous-arbre cgroup v2 à un nom d’espace MPS, les clients se connectant via le socket principal du daemon sont automatiquement acheminés vers ce nom d’espace.

De plus, l’affectation des partitions SM par nom d’espace permet aux administrateurs de choisir une partition pour chaque appareil une seule fois et d’appliquer ce choix à tous les clients acheminés vers ce nom d’espace. Cela élimine la nécessité de configurer CUDA_MPS_SM_PARTITION séparément pour ces clients. Les affectations de nom d’espace ont la priorité, tandis que les appareils sans affectation conservent le mode de secours basé sur les variables d’environnement.

Comptabilisation de la mémoire basée sur des sondages

Afin d’améliorer la fiabilité de la gestion de la mémoire, un mécanisme de secours basé sur des sondages est introduit pour la comptabilisation de la mémoire. Cette fonctionnalité offre une solution de secours lorsque les notifications relatives aux seuils des cgroup sont absentes ou peu fiables. Lors des décisions d’éviction, MPS peut lire l’utilisation actuelle et les limites directement, sans avoir recours à l’état des notifications mémorisé. Pour forcer l’utilisation de ce mécanisme de sondage, les utilisateurs peuvent exécuter nvidia-cuda-mps-control memacct set force_polling=true avant le démarrage de la comptabilisation de la mémoire. NVIDIA indique que cela augmente le travail à effectuer pour chaque décision d’éviction, mais élimine la dépendance à la livraison des notifications.

Tuiles CUDA et communication multi-GPU

CUDA 13.5 ajoute un support pour la communication multi-GPU directement au sein des noyaux CUDA Tile. Les pointeurs unicast permettent à un noyau d’accéder à la mémoire d’un autre GPU connecté par NVLink. De plus, les pointeurs multicast et des opérations multimémoire dédiées permettent des réductions et des enregistrements sur plusieurs GPUs au sein de structures NVIDIA NVSwitch, avec le support NVIDIA NVLink SHARP.

Les applications préparent les mappages de mémoire partagée avant le lancement, puis combinent la communication avec le calcul à l’intérieur du noyau. Cette capacité permet des charges de travail telles que la multiplication matricielle fusionnée et les réductions entre GPUs.

Aperçu de l’interopérabilité SIMT

Dans une version bêta publique, CUDA 13.5 permet aux noyaux CUDA Tile d’appeler directement des fonctions de dispositif de la bibliothèque SIMT. Auparavant, le code des tuiles et celui des bibliothèques SIMT ne pouvaient être combinés qu’entre les limites des noyaux, avec le transfert de données via la mémoire globale. Avec cette mise à jour, les noyaux écrits en cuTile Python ou en CUDA Tile C++ peuvent appeler des fonctions de dispositif provenant de bibliothèques SIMT au milieu de leur propre code, sur des données déjà présentes dans des registres ou dans la mémoire partagée.

Les bibliothèques prises en charge incluent NVIDIA NVSHMEM, NVIDIA CCCL Coop, NVIDIA Warp et NVIDIA MathDx. Ce dernier groupe comprend NVIDIA cuFFTDx, NVIDIA cuBLASDx, NVIDIA cuSolverDx et NVIDIA nvCOMPDx. NVIDIA indique que ce support d’interopérabilité sera bientôt activé par chacune de ces bibliothèques.

Pour activer la vue préliminaire en C++, les utilisateurs compilent avec nvcc --tile-preview simt et transmettent tilelib au compilateur de tuiles. Dans cuTile Python, on utilise la fonction cuda.tile_preview.foreign_call, fournie par le paquet cuda.tile_preview. NVIDIA précise que, dans la version 13.5, la vue préliminaire d’interopérabilité Tile-SIMT ne couvre que les fonctions de bibliothèque ; l’appel de fonctions __device__ personnalisées depuis le code des tuiles est prévu pour une version future.

Support des pilotes Windows sur Rubin

À partir de l’architecture NVIDIA Rubin, CUDA prend en charge le modèle de pilote d’affichage Windows Driver Display Model (WDDM) ainsi que le modèle de pilote de calcul Microsoft Compute Driver Model (MCDM). Le MCDM propose un modèle de pilote exclusivement dédié au calcul. NVIDIA indique explicitement que Tesla Compute Cluster (TCC) n’est pas pris en charge sur Rubin et les GPU ultérieurs. Par conséquent, les applications et les outils de déploiement qui prévoient le mode TCC doivent utiliser la configuration WDDM ou MCDM prise en charge pour leur système cible.

Mises à jour de CUDA Python et CCCL

CUDA Python d’NVIDIA continue d’étendre l’accès de style Python à la programmation CUDA. La bibliothèque de base CUDA Python cuda.core 1.2 introduit des copies de mémoire en lot, le lancement dépendant programmé (PDL), une compilation en temps de exécution simplifiée, ainsi que des mises à jour de graphes CUDA plus flexibles.

Le nouveau cuda.core.utils.copy_batch() effectue plusieurs copies de buffer grâce à une seule appelation du pilote CUDA. CopyOptions permet de contrôler l’ordre d’accès aux sources, les indications de localisation mémoire et le comportement de superposition. Par exemple, le code suivant effectue deux copies indépendantes en utilisant des buffers source et destination existants :

from cuda.core.utils import copy_batch
# Each source and destination pair must have matching sizes.
# Copies within the batch must not alias.
copy_batch(stream, srcs=[src_a, src_b], dsts=[dst_a, dst_b])
stream.sync()

LaunchConfig expose désormais PDL via l’option programmatic_stream_serialization. Sur les GPU dotés d’une capacité de calcul 9.0 ou supérieure, des noyaux coopératifs peuvent superposer leur exécution au sein du même flux CUDA, ce qui permet à un noyau dépendant de commencer un travail indépendant avant que son prédécesseur ne soit terminé.

Les applications peuvent également mettre à jour les nœuds de définition de graphes avant des instances futures et modifier les nœuds de graphes exécutables via des vues graph[node] sans réinstantier le graphe. Les mises à jour prises en charge incluent les paramètres de noyau, les copies de mémoire, les ensembles de mémoire, les graphes enfants, les événements et les appels de retour du hôte.

Dans la version CCCL 3.5, des API de réglage publics sont fournies pour CUB. La mise à jour inclut également des scans en virgule flottante reproductibles ainsi qu’une sélection Top-K par lots intégrée dans FlashInfer. De plus, les réductions dépendantes des données consomment le nombre d’éléments de la mémoire du dispositif au moyen de cuda::args::deferred.

Conclusion

NVIDIA CUDA 13.5 représente une évolution significative dans l’outil de calcul accéléré, notamment avec la disponibilité générale de l’architecture NVIDIA Vera Rubin. En offrant un contrôle granulaire sur les domaines de localité, en améliorant MPS v3 grâce à des découpages temporels pondérés et au routage via cgroup, et en permettant une communication directe entre plusieurs GPU au sein des noyaux CUDA Tile, cette version permet aux développeurs d’optimiser les charges de travail en termes d’échelle et d’efficacité.

L’intégration du support Windows on Arm pour la DGX Station ainsi que le passage aux modèles WDDM/MCDM pour Rubin élargissent encore davantage les possibilités de déploiement. Alors que NVIDIA continue d’améliorer ces fonctionnalités via des préversions publiques et des mises à jour de bibliothèques, l’écosystème reste prêt à prendre en charge la prochaine génération d’infrastructures d’IA.

Sources

Sources