Schnellere wissenschaftliche Simulationen mit neuen FP64-Algorithmen in NVIDIA cuBLAS

Das NVIDIA CUDA Toolkit 13.4.2 stellt die Ozaki-II- sowie 2M-Algorithmen vor, die die GEMM-Berechnungen in doppelter Präzision auf ganzzahligen Tensor Cores beschleunigen, wobei gleichzeitig eine vollständige FP64-Genauigkeit gewährleistet wird. Diese Methoden ermöglichen erhebliche Geschwindigkeitssteigerungen bei wissenschaftlichen Simulationen, ohne die numerische Präzision zu beeinträchtigen.

Vorlesen ist in diesem Browser nicht verfügbar
Schnellere wissenschaftliche Simulationen mit neuen FP64-Algorithmen in NVIDIA cuBLAS

Tags

Kurze Zusammenfassung

Das NVIDIA CUDA Toolkit 13.4.2 stellt die Ozaki-II- sowie 2M-Algorithmen vor, die die GEMM-Berechnungen in doppelter Präzision auf ganzzahligen Tensor Cores beschleunigen, wobei gleichzeitig eine vollständige FP64-Genauigkeit gewährleistet wird. Diese Methoden ermöglichen erhebliche Geschwindigkeitssteigerungen bei wissenschaftlichen Simulationen, ohne die numerische Präzision zu beeinträchtigen.

Schnellere wissenschaftliche Simulationen mit neuen FP64-Algorithmen in NVIDIA cuBLAS

Viele wissenschaftliche Simulationen, von der Molekularchemie bis zur Materialwissenschaft, verbringen den größten Teil ihrer Ausführungszeit mit dem Rechnen hochpräziser, dichter allgemeiner Matrixmultiplikationen (GEMM). Diese Operationen sind entscheidend für die Genauigkeit in Bereichen, in denen niedrigpräzisere Approximationen unzureichend sind. Traditionell erforderte das Erreichen einer vollständigen Doppelpräzision (FP64) die Verwendung nativer FP64-Anweisungen, die auf moderner Hardware oft langsamer als niedrigpräzisere Operationen sind.

Mit der Veröffentlichung des CUDA Toolkit 13.4.2 führt NVIDIA cuBLAS eine neue Klasse von Algorithmen ein, die Doppelpräzisions-GEMM-Aufgaben auf Integer Tensor Cores beschleunigen und dabei weiterhin eine vollständige FP64-Genauigkeit gewährleisten. Dadurch kann cuBLAS jede Doppelpräzisionszahl in Ganzzahleteile zerlegen, diese auf den Tensor Cores der GPU multiplizieren und das exakte Ergebnis neu zusammenstellen. Laut NVIDIA bedeutet dieser Ansatz, dass cuBLAS nicht mehr zwischen Genauigkeit und Geschwindigkeit wählen muss.

Die Ozaki-II- und 2M-Algorithmen

Zwei neue Algorithmen machen diese Beschleunigung effizienter: der Ozaki-II-Algorithmus und die 2M-Methode. Der Ozaki-II-Algorithmus verringert die Anzahl der Ganzzahlmultiplikationen im Vergleich zum früheren Ozaki-I-Ansatz, indem er das chinesische Restsatztheorem nutzt. Die 2M-Methode reduziert komplexe Matrixmultiplikationen von vier reellen Multiplikationen auf zwei.

Diese Algorithmen bauen auf dem zuvor in cuBLAS eingeführten Framework Automatic Dynamic Precision (ADP) auf. Das ADP-Framework erzielt eine höhere Leistung bei Doppelpräzisions-Matrixmultiplikationen, indem es FP64-Arithmetik auf Integer Tensor Cores abbildet und dabei weiterhin die native FP64-Genauigkeit bewahrt. cuBLAS bietet eine automatische Beschleunigung von DGEMM- und ZGEMM-Aufgaben ohne Änderungen am Anwendungscode. Da Geschwindigkeit nur dann wichtig ist, wenn die Genauigkeit nicht beeinträchtigt wird, überprüft NVIDIA diese Vorteile in realen Anwendungen.

Wie Ozaki-II funktioniert

Die Ozaki-I- und Ozaki-II-Schemata teilen sich einen gemeinsamen ersten Schritt: Die Exponenten der Eingabematrizen werden ausgerichtet und in eine gemeinsame, variabel lange Ganzzahldarstellung umgewandelt, sodass Produkte genau auf Integer Tensor Cores akkumuliert werden. cuBLAS verwendet Heuristiken, um automatisch zwischen Ozaki-I und Ozaki-II zur Erzielung der besten Leistung zu wählen. Die Ganzzahlbreite wird zur Laufzeit von ADP festgelegt oder kann auch vom Benutzer explizit gesetzt werden.

Der entscheidende Unterschied liegt darin, wie die Multiplikation großer Ganzzahlen durchgeführt wird. Ozaki-I teilt jede große Ganzzahl in 8-Bit-Slices auf und multipliziert die Slices von A gegenüber den Slices von B im Dreiecksmuster. Infolgedessen wächst die Anzahl der Tensor Core GEMMs mit dem Quadrat der Anzahl der Slices.

Im Gegensatz dazu verwendet Ozaki-II einen schnelleren Algorithmus zur Multiplikation großer Ganzzahlen, der auf dem chinesischen Restsatz (CRT) beruht. Es werden jeweils die Operanden modulo eine Menge kleiner, zueinander teilerfremder Ganzzahlen quantifiziert, pro Modul genau eine Ganzzahl-GEMM durchgeführt und das genaue Produkt aus den Resten rekonstruiert. Bei Ozaki-II ist die Anzahl der GEMMs linear zur Anzahl der Module, während sie bei Ozaki-I mit dem Quadrat der Slice-Anzahl zunimmt. Daher wird der Vorteil mit steigenden Genauigkeitsanforderungen größer. Bei der für FP64 erforderlichen Genauigkeit benötigt Ozaki-I etwa doppelt so viele Tensor Core GEMMs wie Ozaki-II.

Was den Speicherverbrauch betrifft, so würde eine naive Implementierung aufgrund der Erzeugung eines Restpaars pro Modul bei Ozaki-II einen deutlich größeren Arbeitsraum benötigen als Ozaki-I. Allerdings wendet cuBLAS auch beim Ozaki-II-Schema das für Ozaki-I im CUDA Toolkit 13.3 eingeführte, speichereffiziente Tiling an. Dadurch werden die Restpaare unmittelbar nach der jeweiligen GEMM verworfen, was zu einer überschaubareren Größe des Arbeitsraums führt.

Leistungsmerkmale

NVIDIA berichtet von erheblichen Leistungssteigerungen mit den neuen Algorithmen auf verschiedenen Hardwareplattformen. cuBLAS DGEMM mit Ozaki-II läuft 5.5x schneller als die native FP64-Implementierung auf NVIDIA VR NVL72 und 3.9x schneller auf NVIDIA GB200.. Zudem ist es 2x schneller als Ozaki-I auf NVIDIA GB200..

Für komplexe Matrixmultiplikationen erreicht cuBLAS ZGEMM mit dem 2M-Algorithmus eine 5x-Fach Beschleunigung gegenüber den nativen Complex FP64 (CFP64)-Algorithmen auf NVIDIA GB200.. Was die Spitzenleistung angeht, erreicht cuBLAS DGEMM mit Ozaki-II bis zu 175 TFLOPS auf NVIDIA VR NVL72, 147 TFLOPS auf NVIDIA GB200 sowie 37 TFLOPS auf NVIDIA RTX PRO 6000..

Genauigkeitsgarantien

Das cuBLAS ADP-Framework ist so konzipiert, dass es Genauigkeitsgarantien bietet, die mit denen von Standard-Fließkomma-GEMM-Algorithmen vergleichbar oder sogar besser sind. Wenn zur Laufzeit die Anzahl der Mantissabits, die zur Aufrechterhaltung der FP64-equivalent-Genauigkeit erforderlich sind, den Standardwert der Bibliothek oder ein vom Benutzer festgelegtes Maximum überschreitet, wechselt cuBLAS auf einen Codepfad, der die nativen FP64-MMA-Befehle verwendet. Dadurch können Anwendungen cuBLAS in Produktumgebungen sicher einsetzen, ohne sich um numerische Genauigkeit sorgen zu müssen.

Benchmark-Ergebnisse aus der Praxis

Um das potenzielle Leistungspotenzial dieser Algorithmen zu demonstrieren, bewertete NVIDIA zwei spezifische Anwendungsfallbeispiele: coupled cluster singles and doubles (CCSD) in der Quantenchemie sowie BerkeleyGW in der Materialwissenschaft.

CCSD in der Quantenchemie

CCSD ist eine grundlegende post-DFT-Methode in der Elektronenstrukturtheorie und gilt als „Goldstandard“ der Quantenchemie. Auffällig ist dabei die sehr hohe Rechenlast durch dichte FP64-Tensor-Kontraktionen, die durch das Ozaki-II-Verfahren in cuBLAS erheblich beschleunigt werden können.

Eine kleine CCSD-Demonstration wurde mithilfe von cuBLAS im CUDA Toolkit 13.4.2. implementiert. Die Ergebnisse zeigen, dass Ozaki-II DGEMM mit einer Fehlerskalierung (ESC), die eine vollständige FP64-Genauigkeit garantiert, zu einer monoton steigenden Leistung führt – es ergibt sich eine Gesamtbeschleunigung von 4.7x gegenüber Rubin auf A100..

Eine weitere überzeugende Möglichkeit besteht darin, einen anwendungsbezogenen Mixed-Precision-Modus mit einem festen Ozaki-II-Mantissabitbudget zu verwenden, das hier auf 32 Mantissabits festgelegt ist. Dies führt zu einer Gesamtbeschleunigung um 11.5x im Vergleich zur nativen FP64 A100.-Genauigkeit. Bei voller FP64-Qualität von ESC sind die Ergebnisse nicht von der nativen FP64-Genauigkeit zu unterscheiden, wobei die Fehler in der CCSD-Korrelationsenergie bei -14 E h liegen.

Die Ozaki-II-Emulation bietet außerdem die Möglichkeit, eine niedrigere feste Genauigkeit mit 32 Mantissabits zu verwenden, während dennoch eine ausreichende Genauigkeit für die überwiegende Mehrheit praktischer Anwendungen gewährleistet wird. In diesem Modus liegen die Energiefehler bei -10 E h, und die Amplitudengleichungen können auf ein Restfehlermaß von 10^-9 oder besser konvergieren. Auf Rubin für uracil-dimer-frozen-core CCSD/cc-pVTZ erreicht die feste Genauigkeit mit 32 Mantissabits eine End-zu-End-Durchsatzleistung von 173 TFLOPS; der Durchsatz einzelner GEMMs liegt bei bis zu 368 TFLOPS, wobei der durchschnittliche GEMM-Durchsatz 200 TFLOPS beträgt.

BerkeleyGW in der Materialwissenschaft

BerkeleyGW ist ein Simulationswerkzeug für die Materialwissenschaft. Durch den Einsatz von cuBLAS ZGEMM mit dem 2M-Algorithmus erreicht BerkeleyGW eine 6.6x-fache Beschleunigung gegenüber der nativen ZGEMM auf NVIDIA VR NVL72 sowie eine 3.9x-fache Beschleunigung auf NVIDIA GB200..

NVIDIA Rubin und das TI16-Format

NVIDIA-Rubin-GPUs führen das TI16-Numerikformat sowie die tcgen05.mma-Anweisung ein, wodurch die Berechnungen nach Ozaki-I und Ozaki-II weiter beschleunigt werden. Das TI16-Format ist ein 12-Bit-Integer im Sign-Magnitude-Format mit einem Bereich von [-2047, +2047], was sich hervorragend für die Beschleunigung von Ozaki-Schema-Berechnungen eignet. cuBLAS 13.4 verwendet den TI16-Typ zur Beschleunigung von Ozaki-I- und Ozaki-II-Berechnungen mithilfe der tcgen05.mma-Anweisung auf NVIDIA-Rubin-GPUs (Rechenfähigkeit 10.7).

Erste Schritte

Entwickler können auf diese neuen Algorithmen zugreifen, indem sie das neueste NVIDIA CUDA Toolkit herunterladen und installieren. Die cuBLAS-Dokumentation enthält einen Abschnitt zur Fließkommene뮬레이션 mit API-Details, einschließlich cublasSetEmulationStrategy sowie der manuellen Steuerung der Mantissabits.

Um die Vorteile für ihre eigenen Arbeitslasten zu bewerten, können Benutzer die cuBLAS-Emulationssamples auf GitHub ausprobieren. Diese Samples ermöglichen es Entwicklern, die Leistung und Genauigkeit der neuen Algorithmen in ihren spezifischen Umgebungen zu testen.

Fazit

Die Einführung von Ozaki-II sowie des 2M-Algorithmus im CUDA Toolkit 13.4.2 stellt einen bedeutenden Schritt voran in der Hochleistungsrechnung dar. Durch die Nutzung von ganzzahligen Tensor Cores zur Ausführung von Doppelpräzisionsoperationen erreicht NVIDIA cuBLAS erhebliche Geschwindigkeitsverbesserungen im Vergleich zu nativen FP64-Implementierungen, ohne auf Genauigkeit zu verzichten. Egal ob für Quantenchemie-Simulationen oder Modellierung in der Materialwissenschaft – diese Algorithmen bieten ein mächtiges Werkzeug zur Beschleunigung wissenschaftlicher Entdeckungen.

Quelle: https://developer.nvidia.com/blog/faster-scientific-simulations-with-new-fp64-algorithms-in-nvidia-cublas

Quellen