NVIDIA NVLink Fusion apporte NVHBM à l'infrastructure IA de nouvelle génération

NVIDIA NVLink Fusion apporte NVHBM à l'infrastructure IA de nouvelle génération

La croissance incessante des modèles d'IA a poussé chaque couche de la pile des centres de données à ses limites, et le sous-système mémoire est désormais le goulot d'étranglement le plus visible. Le 26 août 2026, NVIDIA a publié une annonce sur son blog développeur intitulée NVIDIA NVLink Fusion Brings NVHBM to Next-Generation AI Infrastructure, décrivant une avancée significative dans la manière dont la mémoire GPU est conçue, regroupée et consommée dans les systèmes d'IA de nouvelle génération. L'article, hébergé à l'adresse https://developer.nvidia.com/blog/nvidia-nvlink-fusion-brings-nvhbm-to-next-generation-ai-infrastructure, présente NVLink Fusion non pas comme une simple augmentation de vitesse sur la feuille de route d'interconnexion, mais comme le vecteur qui amène NVHBM — NVIDIA High Bandwidth Memory — au cœur de l'infrastructure IA.

Pour les ingénieurs qui planifient la prochaine vague de grappes de GPU, cette annonce doit être lue comme un signal sur la direction que prend la mémoire : on s'éloigne des piles HBM strictement locales, propres à chaque GPU, pour aller vers un modèle de mémoire attachée au fabric, qui traite la bande passante et la capacité comme des ressources d'infrastructure. Cet article détaille ce que l'annonce implique, puis adopte une perspective pratique d'ingénierie — prérequis, étapes d'installation et de vérification, et schémas d'utilisation — pour les équipes qui se préparent à exploiter des systèmes construits autour de NVLink Fusion et NVHBM.

Le changement annoncé : la mémoire fait partie du réseau

Le cœur vérifié de cette histoire est simple et important : NVLink Fusion apporte NVHBM à l'infrastructure IA de nouvelle génération. L'annonce positionne cela comme une évolution naturelle de la feuille de route d'interconnexion et de mémoire de NVIDIA, où le fabric NVLink évolue en une couche de fusion capable de présenter de la HBM mutualisée aux GPU de manière cohérente et à faible latence. L'idée essentielle derrière NVHBM est que la mémoire à haute bande passante n'a plus à vivre exclusivement sur chaque puce ou carte GPU. Au lieu de cela, NVLink Fusion traite la HBM répartie sur un domaine de GPU comme une ressource partagée, permettant à un accélérateur unique d'atteindre de la mémoire située physiquement ailleurs dans le système avec une bande passante de classe NVLink.

Il convient de séparer l'affirmation confirmée de l'interprétation qui l'entoure. Ce qui est confirmé, c'est l'existence de l'annonce : NVLink Fusion est le mécanisme, NVHBM est la technologie mémoire, et la cible est l'infrastructure IA de nouvelle génération. Ce qui reste une interprétation — raisonnable, mais non explicitement détaillée dans le résumé de l'annonce — c'est la profondeur avec laquelle la désagrégation de la mémoire modifiera les modèles de programmation GPU. Sur la base de la trajectoire des travaux antérieurs de NVIDIA sur l'interconnexion, l'effet pratique sera probablement un modèle de programmation dans lequel la capacité mémoire et la bande passante ne sont plus strictement liées au GPU local. Un travail nécessitant un espace de travail de 600 Go n'exigera pas nécessairement un GPU avec 600 Go de HBM locale ; il pourra utiliser un GPU avec une empreinte locale plus petite tout en accédant à de la NVHBM mutualisée via NVLink Fusion.

Pourquoi la HBM désagrégée change l'économie des grappes d'IA

Pour les équipes d'infrastructure IA, l'importance de NVLink Fusion et NVHBM tient moins à un benchmark unique qu'à la conception des grappes. Aujourd'hui, le choix d'un GPU est souvent dicté par la capacité mémoire avant le débit de calcul. Une équipe qui exécute l'entraînement ou l'inférence de grands modèles de langage peut choisir un GPU avec une HBM abondante même si ses FLOPS sont supérieurs au nécessaire, simplement parce que le modèle ne tiendrait pas autrement en mémoire. Cela conduit à du surprovisionnement, à de la capacité perdue et à des compromis maladroits entre le parallélisme tensoriel et l'efficacité mémoire.

Avec une architecture à mémoire mutualisée, ces décisions changent. Le nœud ou le bâti devient l'unité de planification mémoire plutôt que le GPU individuel. Si NVLink Fusion peut étendre de manière transparente l'espace mémoire effectif d'un GPU à travers des domaines NVHBM, les stratégies d'utilisation changent : le calcul peut être packé plus densément, et la mémoire peut être allouée aux travaux qui en ont le plus besoin à un moment donné. C'est le même arc conceptuel que l'industrie a déjà vu avec la mutualisation de la mémoire CPU, mais les enjeux sont bien plus élevés car la HBM est beaucoup plus chère et beaucoup plus sensible à la bande passante.

Il y a aussi un angle de fiabilité. Dans les systèmes actuels, la panne de HBM d'un seul GPU peut faire tomber un travail d'entraînement multi-GPU. Si NVHBM est une ressource de fabric mutualisée, le domaine de panne devient plus flexible : la mémoire peut être rééquilibrée, réacheminée ou drainée autour d'une région défaillante sans nécessairement détruire tout le contexte parallèle. Là encore, il s'agit d'une interprétation prospective plutôt que d'une fonctionnalité confirmée de l'annonce, mais elle s'aligne sur l'objectif déclaré d'amener NVHBM dans l'infrastructure IA de nouvelle génération en tant que ressource gérée.

Prérequis

L'annonce étant une divulgation de lancement plutôt qu'un manuel d'intégration complet, les prérequis ci-dessous reflètent la base d'ingénierie standard pour exploiter des systèmes de classe NVLink, orientés dans la direction de la nouvelle architecture. Les équipes qui évaluent NVLink Fusion et NVHBM devraient planifier les éléments suivants :

• GPU compatibles NVLink. NVHBM est distribué via NVLink Fusion, donc les GPU de la grappe doivent prendre en charge la génération actuelle de la connectivité de fabric NVLink et un firmware incluant la prise en charge de NVLink Fusion.
• Une topologie de fabric cohérente. NVLink Fusion repose sur des domaines NVLink, et non sur les transports de paquets Ethernet ou InfiniBand traditionnels. Le fond de panier, la configuration des commutateurs et le châssis doivent être câblés pour la formation de domaines NVLink plutôt que seulement pour la communication par passage de messages.
• Pilote NVIDIA et pile CUDA. Le pilote côté utilisateur, le gestionnaire de fabric et l'environnement d'exécution CUDA doivent être assez récents pour reconnaître les attributs NVHBM. En pratique, cela signifie mettre à jour le pilote NVIDIA, la variante de pilote pour centre de données utilisée dans les conteneurs, et le firmware des commutateurs NVLink.
• Configuration du Fabric Manager. Les systèmes multi-GPU NVLink dépendent couramment du démon NVIDIA Fabric Manager pour démarrer et maintenir le fabric NVLink. Le partage mémoire NVLink Fusion exigera presque certainement que le Fabric Manager fonctionne correctement avant que les GPU ne rapportent leur topologie mémoire complète.
• Accès administratif et outils de surveillance. L'exploitation de GPU à mémoire mutualisée exige une visibilité sur la santé des liens, l'affinité mémoire et les diagnostics du fabric. Des outils tels que nvidia-smi, dcgmi et nvtop constituent la base pratique.

Les commandes des sections suivantes illustrent le type de travail de vérification et de configuration qu'un ingénieur effectuerait sur un système avec NVLink Fusion et NVHBM. Ce sont des exemples pratiques utilisant de vrais outils NVIDIA, et non extraits de l'annonce elle-même.

Installation pas à pas

Avant de travailler avec de la HBM mutualisée, le fabric NVLink sous-jacent doit être sain et visible pour le système d'exploitation. La séquence suivante établit une base propre et vérifiable. Commencez par l'installation du pilote. Sur un système basé sur Ubuntu, mettez à jour l'index des paquets et installez le paquet de pilote NVIDIA pour centre de données :

sudo apt-get update
sudo apt-get install -y nvidia-driver-570-server

La version exacte du paquet dépend de la branche de pilotes NVIDIA qui prend en charge vos GPU et le firmware NVLink Fusion. Remplacez 570-server par la version correspondant à votre matériel et à votre version CUDA. Après l'installation, redémarrez le nœud pour que les modules du noyau se chargent proprement :

sudo reboot

Une fois le système de retour, confirmez que tous les GPU sont visibles et qu'aucune erreur n'apparaît dans l'état du pilote :

nvidia-smi

Vérifiez le nombre attendu de GPU, les tailles mémoire correctes et un état sain de température et d'alimentation. Si un GPU manque ou affiche ERR!, le fabric NVLink ou l'emplacement physique est défectueux et doit être corrigé avant de continuer.

Ensuite, vérifiez l'état des liens NVLink. La sous-commande nvidia-smi nvlink rapporte l'état et la bande passante de chaque lien. L'option -s interroge l'état de tous les liens :

nvidia-smi nvlink -s

Un domaine NVLink Fusion sain montre tous les liens à l'état Active et une bande passante rapportée conforme à la génération NVLink installée. Tout lien à l'état Inactive ou ERROR indique un problème de câblage, de firmware ou de commutateur.

Pour une vérification plus complète du fabric, interrogez la matrice de connexion NVLink entre toutes les paires de GPU :

nvidia-smi nvlink -c

Cela imprime une matrice de stabilité et de vitesse de connexion pour chaque paire de GPU. Dans un contexte NVHBM, cette matrice est l'épine dorsale du partage mémoire : si les liens d'appairage sont dégradés, l'accès à la mémoire mutualisée retombera sur des chemins plus lents et les avantages de performance de NVLink Fusion s'effondreront.

Vérifiez la topologie mémoire pour voir comment la HBM est distribuée et comment les domaines mémoire s'alignent sur le fabric NVLink :

nvidia-smi topo -m

La sortie montre le type de connexion entre chaque paire de GPU (NV#, PIX, PXB, SYS, etc.). Pour NVLink Fusion, vous voulez voir des liens NV# entre les GPU qui partageront des domaines NVHBM. Cette commande révèle également si le système a connecté les GPU via le root complex du CPU plutôt que via le fabric NVLink — une configuration qui ne fournira pas la bande passante nécessaire pour de la HBM mutualisée.

Activez le mode persistance pour que l'état GPU reste initialisé entre les processus, ce qui est particulièrement important lorsque les ressources mémoire sont gérées comme un pool plutôt que par processus :

sudo nvidia-smi -pm 1

Le mode persistance empêche les GPU de passer dans un état inactif qui démonte le contexte du pilote, réduisant ainsi la latence d'enregistrement mémoire pour les pools NVHBM.

Si le Fabric Manager fait partie du déploiement, assurez-vous qu'il est activé et en cours d'exécution pour que le fabric NVLink soit entièrement initialisé. Sur les systèmes basés sur systemd :

sudo systemctl enable nvidia-fabricmanager
sudo systemctl start nvidia-fabricmanager
systemctl status nvidia-fabricmanager

Enfin, exécutez un passage de diagnostic pour valider la santé de calcul, de mémoire et de liens de chaque GPU. L'outil NVIDIA Data Center GPU Manager fournit un niveau de diagnostic non destructif adapté aux vérifications périodiques :

dcgmi diag -r 1

Cela effectue un ensemble de tests de base couvrant l'énumération des périphériques, l'intégrité mémoire et la gestion des interruptions. Toute défaillance ici doit être résolue avant de planifier des travaux reposant sur NVHBM sur le nœud.

Exemples d'utilisation

Une fois le fabric sain, la question pratique est de savoir comment les applications observent et utilisent l'environnement mémoire. La première habitude à développer est d'inspecter la topologie mémoire par programmation avant de lancer un travail d'entraînement. En Python, avec les API CUDA de PyTorch, un ingénieur peut lister le nombre de GPU et leur capacité mémoire rapportée :

import torch

num_gpus = torch.cuda.device_count()
print(f"Detected {num_gpus} GPUs")

for i in range(num_gpus):
    props = torch.cuda.get_device_properties(i)
    print(f"GPU {i}: {props.name}")
    print(f"  SMs: {props.multi_processor_count}")
    print(f"  Total memory: {props.total_memory / 1e9:.1f} GB")

Sur un système où NVHBM est exposé comme une capacité mémoire étendue, les valeurs total_memory peuvent refléter une combinaison de HBM locale et du pool NVHBM accessible via NVLink Fusion. La manière exacte dont cela est présenté à l'environnement d'exécution peut varier, donc la discipline importante est de mesurer, pas de supposer. Enregistrez la mémoire rapportée au début d'un travail et comparez-la avec les spécifications HBM physiques des GPU.

La deuxième habitude est de vérifier la connectivité NVLink entre les GPU qui échangeront des tenseurs ou accéderont au même domaine mémoire mutualisé. L'extrait suivant interroge l'état des liens via les rapports de capacité des périphériques PyTorch :

import torch

def nvlink_ok(device_a: int, device_b: int) -> bool:
    try:
        torch.cuda.nvlink.query(device_a, device_b)
        return True
    except RuntimeError:
        return False

pairs = [(0, 1), (0, 2), (1, 3)]
for a, b in pairs:
    print(f"NVLink between GPU {a} and GPU {b}: {nvlink_ok(a, b)}")

Cette vérification importe car le parallélisme tensoriel et le parallélisme de pipeline bénéficient tous deux d'un accès mémoire pair à pair rapide. Si la paire qui devrait partager un domaine NVHBM ne rapporte aucune connexion NVLink, le travail retombera sur des transferts de mémoire hôte et le débit sera considérablement inférieur aux attentes.

Une troisième étape pratique consiste à observer le trafic mémoire pendant une charge de travail représentative. Avec nsys, le profileur système NVIDIA, vous pouvez capturer un profil court d'un lancement d'entraînement ou d'inférence pour voir si les transferts de pair à pair se font à la bande passante NVLink :

nsys profile --trace=cuda,nvtx -o profile_output python train.py

Après le profilage, inspectez la trace des opérations mémoire CUDA pour les transferts entre périphériques. Avec NVLink Fusion, ces transferts doivent apparaître comme des copies rapides de périphérique à périphérique plutôt que des copies hôte intermédiaires. Si vous voyez Memcpy DtoH suivi immédiatement de Memcpy HtoD, l'application n'utilise pas le chemin NVLink et perd l'essentiel du bénéfice de la HBM mutualisée.

Un schéma d'utilisation plus avancé, encore du côté de la planification, consiste à structurer le modèle et le placement des données en fonction de l'affinité mémoire. Pour une boucle d'entraînement partitionnée, placez chaque fragment de modèle sur le GPU qui possède la région NVHBM la plus proche. L'extrait suivant est une illustration minimale de la façon dont un ingénieur pourrait lier des fragments de modèle à des périphériques classés avec une connectivité confirmée :

import torch
import torch.distributed as dist

dist.init_process_group(backend="nccl")
rank = dist.get_rank()
local_gpu = rank % torch.cuda.device_count()
torch.cuda.set_device(local_gpu)

# In a memory-pooled system, the "world" of NVHBM is visible
# as a per-node memory domain; this is where a framework would
# register the buffer with the local fabric manager.
model_shard = torch.nn.Linear(8192, 8192).cuda(local_gpu)
buffer = torch.empty(2 * 1024 * 1024, dtype=torch.int8).cuda(local_gpu)

L'intention de cet extrait est de montrer que le modèle de programmation reste familier : torch.cuda.set_device, .cuda() et NCCL fonctionnent toujours. Ce qui change, c'est la planification des ressources — décider quel fragment s'exécute où en fonction de l'emplacement du pool NVHBM, et pas seulement des limites mémoire par GPU.

Surveillance et vérification en production

Exploiter une infrastructure NVHBM signifie traiter la mémoire comme une ressource surveillée de première classe. En plus des vérifications à l'installation, les opérations de production devraient inclure une surveillance continue. La commande nvidia-smi dmon fournit une vue continue de l'utilisation GPU et de l'activité mémoire :

nvidia-smi dmon -s pum -d 1

L'option -s pum sélectionne les colonnes puissance, utilisation et mémoire, avec une mise à jour chaque seconde. Pour la santé spécifique de NVLink, surveillez les erreurs de lien au fil du temps :

nvidia-smi nvlink -g -e

Cela affiche les compteurs d'erreurs NVLink pour tous les liens. Des compteurs non nuls qui augmentent régulièrement sont un signal sérieux, surtout sur un système reposant sur NVHBM, car le trafic mémoire sur un lien dégradé provoquera des pics de latence ou, pire, des nouvelles tentatives d'erreurs corrigées qui rongent la bande passante effective.

Pour les grappes, intégrez ces vérifications dans un travail de validation planifié plutôt que de vous fier à une inspection manuelle ad hoc. Une entrée cron peut exécuter un diagnostic léger toutes les heures :

0 * * * * /usr/bin/dcgmi diag -r 1 > /var/log/nvlink_diag.log 2>&1

Limites ouvertes et ce que l'annonce ne clarifie pas encore

L'annonce de NVLink Fusion est un jalon technique, mais elle laisse plusieurs questions opérationnelles ouvertes. La publication ne fournit pas de spécifications détaillées dans son résumé public : pas de chiffres de bande passante exacts, pas de limites de capacité mémoire par pool NVHBM, pas de liste de SKU GPU, pas de prix, et pas de calendrier de sortie au-delà du positionnement comme infrastructure de nouvelle génération. Les ingénieurs doivent traiter cette annonce comme une orientation officielle, et non comme une spécification d'achat. Tant que NVIDIA n'aura pas publié la documentation des pilotes, les notes de version du firmware et le guide de programmation NVHBM, les étapes d'intégration concrètes de cet article doivent être comprises comme une base disciplinée pour toute grappe de GPU connectée NVLink — des pratiques saines qui serviront les équipes quelle que soit la manière dont l'API NVHBM finale sera exposée.

Il y a aussi une question ouverte sur la sémantique des pannes. Lorsqu'un GPU lit une partition NVHBM distante via NVLink Fusion, le profil de latence diffère de la HBM locale. Les charges de travail avec des schémas d'accès aléatoire à grain fin peuvent ne pas bénéficier uniformément. Les développeurs d'applications devront profiler leurs noyaux plutôt que de supposer que tous les accès mémoire se comportent de manière identique.

Conclusion

L'annonce de NVIDIA selon laquelle NVLink Fusion apporte NVHBM à l'infrastructure IA de nouvelle génération est une déclaration claire sur la forme future de l'informatique accélérée : la mémoire devient une ressource mutualisée et connectée par fabric au lieu d'une propriété fixe propre à chaque GPU. Pour les équipes d'infrastructure IA, les implications pratiques sont immédiates, même avant l'arrivée du matériel. La planification de la capacité passe du GPU au domaine de fabric. La discipline opérationnelle — liens NVLink sains, firmware cohérent, topologie mémoire vérifiée — devient plus importante car un lien dégradé dégrade désormais la mémoire, pas seulement la communication. Et la pile logicielle, tout en restant familière via CUDA et PyTorch, exigera de nouvelles habitudes de mesure et de placement sensible à l'affinité.

Le fait vérifié dans le blog développeur de NVIDIA est la direction elle-même. La réponse d'ingénierie est la préparation : maintenir des vérifications rigoureuses de la santé NVLink, mesurer le comportement mémoire sous de vraies charges de travail, et construire des grappes avec la flexibilité nécessaire pour traiter la HBM comme un pool plutôt qu'un coût fixe attaché à chaque GPU. Cette préparation, plus que toute version de pilote particulière, est ce qui permettra aux équipes de tirer pleinement parti de NVHBM lorsque les systèmes NVLink Fusion arriveront en production.