NVIDIA NVLink Fusion bringt NVHBM in die KI-Infrastruktur der nächsten Generation

NVIDIA NVLink Fusion bringt NVHBM in die KI-Infrastruktur der nächsten Generation

Das unaufhaltsame Skalieren von KI-Modellen hat jede Ebene des Rechenzentrums-Stacks an seine Grenzen gebracht, und das Speicher-Subsystem ist heute der sichtbarste Engpass. Am 26. August 2026 veröffentlichte NVIDIA auf seinem Developer Blog eine Ankündigung mit dem Titel NVIDIA NVLink Fusion Brings NVHBM to Next-Generation AI Infrastructure, die einen bedeutenden Schritt nach vorn beschreibt, wie GPU-Speicher über KI-Systeme der nächsten Generation hinweg entworfen, gepoolt und konsumiert wird. Der Beitrag, gehostet unter https://developer.nvidia.com/blog/nvidia-nvlink-fusion-brings-nvhbm-to-next-generation-ai-infrastructure, stellt NVLink Fusion nicht als bloßen Geschwindigkeitsschub auf der Interconnect-Roadmap dar, sondern als das Vehikel, das NVHBM – NVIDIA High Bandwidth Memory – ins Herz der KI-Infrastruktur bringt.

Für Ingenieure, die die nächste Welle von GPU-Clustern planen, ist die Ankündigung am besten als Signal darüber zu lesen, wohin sich Speicher entwickelt: weg von streng lokalen, pro-GPU verteilten HBM-Stapeln und hin zu einem Fabric-gebundenen Speichermodell, das Bandbreite und Kapazität als Infrastrukturressourcen behandelt. Dieser Artikel erläutert, was die Ankündigung bedeutet, und geht dann eine praktische technische Perspektive durch – Voraussetzungen, Installations- und Verifizierungsschritte sowie Nutzungsmuster – für Teams, die sich darauf vorbereiten, Systeme auf Basis von NVLink Fusion und NVHBM zu betreiben.

Der angekündigte Wandel: Speicher wird Teil des Netzwerks

Der verifizierte Kern dieser Geschichte ist einfach und wichtig: NVLink Fusion bringt NVHBM in die KI-Infrastruktur der nächsten Generation. Die Ankündigung positioniert dies als natürliche Weiterentwicklung der NVIDIA-Interconnect- und Speicher-Roadmap, bei der sich das NVLink-Fabric zu einer Fusionsschicht entwickelt, die gepoolten HBM den GPUs auf kohärente Weise mit geringer Latenz zur Verfügung stellen kann. Die grundlegende Idee hinter NVHBM ist, dass High-Bandwidth-Speicher nicht mehr ausschließlich auf jedem GPU-Die oder -Board leben muss. Stattdessen behandelt NVLink Fusion HBM über eine Domäne von GPUs hinweg als gemeinsame Ressource, sodass ein einzelner Beschleuniger mit NVLink-Klassen-Bandbreite auf Speicher zugreifen kann, der physisch an anderer Stelle im System liegt.

Es lohnt sich, die bestätigte Behauptung von der umgebenden Interpretation zu trennen. Was bestätigt ist, ist die Existenz der Ankündigung: NVLink Fusion ist der Mechanismus, NVHBM ist die Speichertechnologie, und das Ziel ist die KI-Infrastruktur der nächsten Generation. Was Interpretation bleibt – vernünftig, aber in der Zusammenfassung der Ankündigung nicht explizit ausgeführt – ist, wie tief die Speicherdisaggregation die GPU-Programmiermodelle verändern wird. Aufgrund der Entwicklung früherer NVIDIA-Interconnect-Arbeiten ist der praktische Effekt wahrscheinlich ein Programmiermodell, bei dem Speicherkapazität und Bandbreite nicht mehr strikt an die lokale GPU gekoppelt sind. Ein Job, der einen 600-GB-Arbeitssatz benötigt, erfordert nicht unbedingt eine GPU mit 600 GB lokalem HBM; er kann eine GPU mit kleinerem lokalem Fußabdruck verwenden und über NVLink Fusion in gepoolten NVHBM hineinreichen.

Warum disaggregierter HBM die Ökonomie von KI-Clustern verändert

Für KI-Infrastrukturteams liegt die Bedeutung von NVLink Fusion und NVHBM weniger in einem einzelnen Benchmark als vielmehr darin, wie Cluster entworfen werden. Heute wird die GPU-Auswahl oft von der Speicherkapazität vor dem Rechendurchsatz bestimmt. Ein Team, das Training oder Inferenz großer Sprachmodelle ausführt, wählt möglicherweise eine GPU mit reichlich HBM, selbst wenn deren FLOPS höher sind als nötig, einfach weil das Modell sonst nicht in den Speicher passt. Dies führt zu Überprovisionierung, ungenutzter Kapazität und unangenehmen Kompromissen zwischen Tensor-Parallelismus und Speichereffizienz.

Mit einer Speicher-gepoolten Architektur verschieben sich diese Entscheidungen. Der Knoten oder das Rack wird zur Einheit der Speicherplanung anstelle der einzelnen GPU. Wenn NVLink Fusion den effektiven Speicherraum einer GPU transparent über NVHBM-Domänen hinweg erweitern kann, ändern sich die Nutzungsstrategien: Rechenleistung kann dichter gepackt werden, und Speicher kann den Jobs zugewiesen werden, die ihn zu einem bestimmten Zeitpunkt am meisten benötigen. Dies ist derselbe konzeptionelle Bogen, den die Branche bereits beim CPU-Speicher-Pooling gesehen hat, aber die Einsätze sind viel höher, weil HBM weitaus teurer und weitaus bandbreitenempfindlicher ist.

Es gibt auch eine Zuverlässigkeitsperspektive. In aktuellen Systemen kann der Ausfall des HBM einer einzelnen GPU einen Multi-GPU-Trainingsjob zum Absturz bringen. Wenn NVHBM eine gepoolte Fabric-Ressource ist, wird die Ausfallzone flexibler: Speicher kann um eine ausfallende Region herum neu ausbalanciert, umgeleitet oder entleert werden, ohne unbedingt den gesamten parallelen Kontext zu zerstören. Auch dies ist eine zukunftsgerichtete Interpretation und kein bestätigtes Merkmal der Ankündigung, aber sie steht im Einklang mit dem erklärten Ziel, NVHBM als verwaltete Ressource in die KI-Infrastruktur der nächsten Generation zu bringen.

Voraussetzungen

Da die Ankündigung eine Startoffenlegung und kein vollständiges Integrationshandbuch ist, spiegeln die folgenden Anforderungen die übliche technische Grundlage für den Betrieb von Systemen der NVLink-Klasse wider, ausgerichtet auf die neue Architektur. Teams, die NVLink Fusion und NVHBM evaluieren, sollten Folgendes einplanen:

• NVLink-fähige GPUs. NVHBM wird über NVLink Fusion bereitgestellt, daher müssen die GPUs im Cluster die aktuelle Generation der NVLink-Fabric-Konnektivität und Firmware unterstützen, die NVLink-Fusion-Support enthält.
• Eine kohärente Fabric-Topologie. NVLink Fusion stützt sich auf NVLink-Domänen, nicht auf herkömmliche Ethernet- oder InfiniBand-Pakettransporte. Backplane, Switch-Konfiguration und Gehäuse müssen für die Bildung von NVLink-Domänen verdrahtet sein und nicht nur für Message-Passing-Kommunikation.
• NVIDIA-Treiber und CUDA-Stack. Der Userspace-Treiber, Fabric Manager und die CUDA-Laufzeit müssen aktuell genug sein, um NVHBM-Attribute zu erkennen. In der Praxis bedeutet dies, den NVIDIA-Treiber, die in Containern verwendete Rechenzentrumstreibervariante und die Firmware der NVLink-Switches zu aktualisieren.
• Fabric-Manager-Konfiguration. Multi-GPU-NVLink-Systeme hängen üblicherweise vom NVIDIA-Fabric-Manager-Daemon ab, um das NVLink-Fabric zu starten und zu erhalten. Die NVLink-Fusion-Speicherfreigabe wird mit ziemlicher Sicherheit erfordern, dass der Fabric Manager ordnungsgemäß läuft, bevor GPUs ihre vollständige Speichertopologie melden.
• Administrativer Zugriff und Monitoring-Tools. Der Betrieb von GPUs mit Speicher-Pooling erfordert Transparenz über Verbindungszustand, Speicheraffinität und Fabric-Diagnose. Tools wie nvidia-smi, dcgmi und nvtop bilden die praktische Grundlage.

Die Befehle in den nächsten Abschnitten veranschaulichen die Art von Verifizierungs- und Einrichtungsarbeiten, die ein Ingenieur an einem System mit NVLink Fusion und NVHBM durchführen würde. Sie sind praktische Beispiele mit echten NVIDIA-Tools, nicht aus der Ankündigung selbst übernommen.

Schritt-für-Schritt-Installation

Bevor mit gepooltem HBM gearbeitet wird, muss das zugrunde liegende NVLink-Fabric gesund und für das Betriebssystem sichtbar sein. Die folgende Abfolge schafft eine saubere, überprüfbare Ausgangsbasis. Beginnen Sie mit der Treiberinstallation. Aktualisieren Sie auf einem Ubuntu-basierten System den Paketindex und installieren Sie das NVIDIA-Rechenzentrumstreiberpaket:

sudo apt-get update
sudo apt-get install -y nvidia-driver-570-server

Die genaue Paketversion hängt vom NVIDIA-Treiberzweig ab, der Ihre GPUs und die NVLink-Fusion-Firmware unterstützt. Ersetzen Sie 570-server durch die Version, die zu Ihrer Hardware und Ihrem CUDA-Release passt. Starten Sie den Knoten nach der Installation neu, damit die Kernelmodule sauber geladen werden:

sudo reboot

Sobald das System wieder läuft, bestätigen Sie, dass alle GPUs sichtbar sind und keine Fehler im Treiberzustand auftreten:

nvidia-smi

Achten Sie auf die erwartete Anzahl an GPUs, die korrekten Speichergrößen und einen gesunden Temperatur- und Leistungszustand. Wenn eine GPU fehlt oder ERR! anzeigt, sind das NVLink-Fabric oder der physische Steckplatz nicht gesund und müssen korrigiert werden, bevor Sie fortfahren.

Prüfen Sie als Nächstes den NVLink-Verbindungsstatus. Der Unterbefehl nvidia-smi nvlink meldet den Zustand und die Bandbreite jeder Verbindung. Das Flag -s fragt den Status über alle Verbindungen ab:

nvidia-smi nvlink -s

Eine gesunde NVLink-Fusion-Domäne zeigt alle Verbindungen mit Status Active und eine gemeldete Bandbreite, die zur installierten NVLink-Generation passt. Jede Verbindung im Zustand Inactive oder ERROR deutet auf ein Kabel-, Firmware- oder Switch-Problem hin.

Für eine umfassendere Fabric-Prüfung fragen Sie die NVLink-Verbindungsmatrix zwischen allen GPU-Paaren ab:

nvidia-smi nvlink -c

Dies gibt eine Matrix der Verbindungsstabilität und -geschwindigkeit für jedes GPU-Paar aus. Im NVHBM-Kontext ist diese Matrix das Rückgrat der Speicherfreigabe: Wenn Paarungsverbindungen beeinträchtigt sind, fällt der Zugriff auf gepoolten Speicher auf langsamere Pfade zurück, und die Leistungsvorteile von NVLink Fusion brechen zusammen.

Prüfen Sie die Speichertopologie, um zu sehen, wie HBM verteilt ist und wie Speicherdomänen mit dem NVLink-Fabric ausgerichtet sind:

nvidia-smi topo -m

Die Ausgabe zeigt den Verbindungstyp zwischen jedem GPU-Paar (NV#, PIX, PXB, SYS usw.). Für NVLink Fusion sollten Sie NV#-Verbindungen zwischen GPUs sehen, die NVHBM-Domänen gemeinsam nutzen. Dieser Befehl zeigt auch, ob das System GPUs über den CPU-Root-Complex statt über das NVLink-Fabric verbunden hat – eine Konfiguration, die nicht die Bandbreite bietet, die für gepoolten HBM erforderlich ist.

Aktivieren Sie den Persistenzmodus, damit der GPU-Zustand zwischen Prozessen initialisiert bleibt. Dies ist besonders wichtig, wenn Speicherressourcen als Pool und nicht pro Prozess verwaltet werden:

sudo nvidia-smi -pm 1

Der Persistenzmodus verhindert, dass die GPUs in einen Leerlaufzustand fallen, der den Treiberkontext abreißt, und reduziert so die Latenz der Speicherregistrierung für NVHBM-Pools.

Wenn der Fabric Manager Teil des Deployments ist, stellen Sie sicher, dass er aktiviert ist und läuft, damit das NVLink-Fabric vollständig initialisiert ist. Auf systemd-basierten Systemen:

sudo systemctl enable nvidia-fabricmanager
sudo systemctl start nvidia-fabricmanager
systemctl status nvidia-fabricmanager

Führen Sie schließlich einen Diagnoselauf durch, um die Rechen-, Speicher- und Verbindungsgesundheit jeder GPU zu validieren. Das NVIDIA Data Center GPU Manager-Tool bietet eine nicht-destruktive Diagnosestufe, die sich für regelmäßige Prüfungen eignet:

dcgmi diag -r 1

Dies führt eine grundlegende Reihe von Tests durch, die Geräteerkennung, Speicherintegrität und Interrupt-Behandlung abdecken. Jeder Fehler hier sollte behoben werden, bevor Workloads, die auf NVHBM angewiesen sind, auf dem Knoten geplant werden.

Nutzungsbeispiele

Sobald das Fabric gesund ist, stellt sich die praktische Frage, wie Anwendungen die Speicherumgebung beobachten und nutzen. Die erste Gewohnheit, die man entwickeln sollte, ist die programmatische Inspektion der Speichertopologie vor dem Start eines Trainingsjobs. In Python kann ein Ingenieur mit den PyTorch-CUDA-APIs die Anzahl der GPUs und deren gemeldete Speicherkapazität auflisten:

import torch

num_gpus = torch.cuda.device_count()
print(f"Detected {num_gpus} GPUs")

for i in range(num_gpus):
    props = torch.cuda.get_device_properties(i)
    print(f"GPU {i}: {props.name}")
    print(f"  SMs: {props.multi_processor_count}")
    print(f"  Total memory: {props.total_memory / 1e9:.1f} GB")

Auf einem System, auf dem NVHBM als erweiterte Speicherkapazität verfügbar gemacht wird, können die total_memory-Werte eine Kombination aus lokalem HBM und dem über NVLink Fusion erreichbaren NVHBM-Pool widerspiegeln. Die genaue Art, wie dies der Laufzeitumgebung dargestellt wird, kann variieren. Die wichtige Disziplin ist daher, zu messen und nicht zu raten. Erfassen Sie den gemeldeten Speicher zu Beginn eines Jobs und vergleichen Sie ihn mit den physischen HBM-Spezifikationen der GPUs.

Die zweite Gewohnheit ist, die NVLink-Konnektivität zwischen den GPUs zu verifizieren, die Tensoren austauschen oder auf dieselbe gepoolte Speicherdomäne zugreifen. Das folgende Snippet fragt den Verbindungsstatus über die Gerätefähigkeitsmeldung von PyTorch ab:

import torch

def nvlink_ok(device_a: int, device_b: int) -> bool:
    try:
        torch.cuda.nvlink.query(device_a, device_b)
        return True
    except RuntimeError:
        return False

pairs = [(0, 1), (0, 2), (1, 3)]
for a, b in pairs:
    print(f"NVLink between GPU {a} and GPU {b}: {nvlink_ok(a, b)}")

Diese Prüfung ist wichtig, da sowohl Tensor-Parallelismus als auch Pipeline-Parallelismus von schnellem Peer-to-Peer-Speicherzugriff profitieren. Wenn das Paar, das eine NVHBM-Domäne gemeinsam nutzen soll, keine NVLink-Verbindung meldet, fällt der Job auf Host-Speicherübertragungen zurück, und der Durchsatz ist drastisch niedriger als erwartet.

Ein dritter praktischer Schritt ist die Beobachtung des Speicherverkehrs während einer repräsentativen Workload. Mit nsys, dem NVIDIA-Systemprofiler, können Sie ein kurzes Profil eines Trainings- oder Inferenzstarts erfassen, um zu sehen, ob Peer-to-Peer-Übertragungen mit NVLink-Bandbreite stattfinden:

nsys profile --trace=cuda,nvtx -o profile_output python train.py

Untersuchen Sie nach der Profilerstellung die CUDA-Speicheroperationsspur auf Übertragungen zwischen Geräten. Mit NVLink Fusion sollten diese Übertragungen als schnelle Device-to-Device-Kopien erscheinen und nicht als gestufte Host-Kopien. Wenn Sie Memcpy DtoH gefolgt von Memcpy HtoD sehen, nutzt die Anwendung den NVLink-Pfad nicht und verliert den größten Teil des Vorteils von gepooltem HBM.

Ein fortgeschritteneres Nutzungsmuster, das noch auf der Planungsseite liegt, besteht darin, Modell- und Datenplatzierung an der Speicheraffinität auszurichten. Für eine Sharded-Trainingsschleife platzieren Sie jedes Modell-Shard auf der GPU, die die nächstgelegene NVHBM-Region besitzt. Das folgende Snippet ist eine minimale Veranschaulichung, wie ein Ingenieur Modell-Shards an Geräte mit bestätigter Konnektivität binden könnte:

import torch
import torch.distributed as dist

dist.init_process_group(backend="nccl")
rank = dist.get_rank()
local_gpu = rank % torch.cuda.device_count()
torch.cuda.set_device(local_gpu)

# In a memory-pooled system, the "world" of NVHBM is visible
# as a per-node memory domain; this is where a framework would
# register the buffer with the local fabric manager.
model_shard = torch.nn.Linear(8192, 8192).cuda(local_gpu)
buffer = torch.empty(2 * 1024 * 1024, dtype=torch.int8).cuda(local_gpu)

Die Absicht dieses Snippets ist zu zeigen, dass das Programmiermodell vertraut bleibt: torch.cuda.set_device, .cuda() und NCCL funktionieren weiterhin. Was sich ändert, ist die Ressourcenplanung – die Entscheidung, welches Shard wo läuft, basierend auf dem NVHBM-Poolstandort und nicht nur auf den Speicherobergrenzen pro GPU.

Monitoring und Verifizierung im Produktionsbetrieb

Der Betrieb von NVHBM-Infrastruktur bedeutet, Speicher als erstklassige überwachte Ressource zu behandeln. Zusätzlich zu den Prüfungen bei der Installation sollten Produktionsabläufe eine kontinuierliche Überwachung umfassen. Der Befehl nvidia-smi dmon liefert eine fortlaufende Ansicht der GPU-Auslastung und Speicheraktivität:

nvidia-smi dmon -s pum -d 1

Das Flag -s pum wählt Leistungs-, Auslastungs- und Speicherspalten aus und aktualisiert sie jede Sekunde. Für die NVLink-spezifische Gesundheit überwachen Sie Verbindungsfehler im Zeitverlauf:

nvidia-smi nvlink -g -e

Dies zeigt NVLink-Fehlerzähler für alle Verbindungen. Zähler ungleich Null, die stetig ansteigen, sind ein ernstes Signal, insbesondere auf einem System, das auf NVHBM angewiesen ist, da Speicherverkehr über eine beeinträchtigte Verbindung zu Latenzspitzen oder, schlimmer noch, zu Korrekturfehler-Wiederholungen führt, die die effektive Bandbreite aufzehren.

Integrieren Sie diese Prüfungen für Cluster in einen geplanten Validierungsjob, anstatt sich auf Ad-hoc-Manualprüfungen zu verlassen. Ein Cron-Eintrag kann stündlich eine leichte Diagnose ausführen:

0 * * * * /usr/bin/dcgmi diag -r 1 > /var/log/nvlink_diag.log 2>&1

Offene Grenzen und was die Ankündigung noch nicht klärt

Die NVLink-Fusion-Ankündigung ist ein technischer Meilenstein, lässt jedoch mehrere operative Fragen offen. Die Veröffentlichung liefert in ihrer öffentlichen Zusammenfassung keine detaillierten Spezifikationen: keine exakten Bandbreitenzahlen, keine Speicherkapazitätsgrenzen pro NVHBM-Pool, keine GPU-SKU-Liste, keine Preisgestaltung und keinen Release-Zeitplan über die Positionierung als Infrastruktur der nächsten Generation hinaus. Ingenieure sollten die Ankündigung als Richtungsangabe behandeln, nicht als Beschaffungsspezifikation. Bis NVIDIA Treiberdokumentation, Firmware-Release-Notes und den NVHBM-Programmierleitfaden veröffentlicht, sollten die konkreten Integrationsschritte in diesem Artikel als disziplinierte Grundlage für jeden NVLink-verbundenen GPU-Cluster verstanden werden – solide Praktiken, die Teams unabhängig davon dienen, wie die endgültige NVHBM-API verfügbar gemacht wird.

Es gibt auch eine offene Frage zu den Ausfallsemantiken. Wenn eine GPU über NVLink Fusion aus einer entfernten NVHBM-Partition liest, unterscheidet sich das Latenzprofil von lokalem HBM. Workloads mit feinkörnigen Zufallszugriffsmustern profitieren möglicherweise nicht gleichmäßig. Anwendungsentwickler müssen ihre Kernel profilieren, anstatt anzunehmen, dass sich alle Speicherzugriffe identisch verhalten.

Fazit

Die Ankündigung von NVIDIA, dass NVLink Fusion NVHBM in die KI-Infrastruktur der nächsten Generation bringt, ist eine klare Aussage über die zukünftige Form des beschleunigten Rechnens: Speicher wird zu einer gepoolten, Fabric-verbundenen Ressource anstelle einer festen Pro-GPU-Eigenschaft. Für KI-Infrastrukturteams sind die praktischen Auswirkungen unmittelbar, noch bevor die Hardware eintrifft. Die Kapazitätsplanung verschiebt sich von der GPU zur Fabric-Domäne. Operative Disziplin – gesunde NVLink-Verbindungen, konsistente Firmware, verifizierte Speichertopologie – wird wichtiger, weil eine beeinträchtigte Verbindung jetzt Speicher beeinträchtigt, nicht nur Kommunikation. Und der Software-Stack, der durch CUDA und PyTorch vertraut bleibt, wird neue Gewohnheiten der Messung und affinitätsbewussten Platzierung erfordern.

Die verifizierte Tatsache aus NVIDIAs Entwickler-Blog ist die Richtung selbst. Die technische Antwort ist Vorbereitung: NVLink-Integritätsprüfungen rigoros halten, Speicherverhalten unter realen Workloads messen und Cluster mit der Flexibilität bauen, HBM als Pool zu behandeln und nicht als feste Kosten, die an jede GPU gebunden sind. Diese Vorbereitung, mehr als jede einzelne Treiberversion, ist es, die es Teams ermöglichen wird, NVHBM voll auszuschöpfen, wenn NVLink-Fusion-Systeme in der Produktion ankommen.