Simulations scientifiques plus rapides grâce aux nouveaux algorithmes FP64 de NVIDIA cuBLAS

Le NVIDIA CUDA Toolkit 13.4.2 introduit les algorithmes Ozaki-II et 2M, qui accélèrent les opérations GEMM en double précision sur des Tensor Cores entiers tout en conservant une précision totale FP64. Ces méthodes permettent des gains de vitesse importants pour les simulations scientifiques sans compromettre la précision numérique.

Lecture audio non disponible dans ce navigateur
Simulations scientifiques plus rapides grâce aux nouveaux algorithmes FP64 de NVIDIA cuBLAS

Tags

Résumé rapide

Le NVIDIA CUDA Toolkit 13.4.2 introduit les algorithmes Ozaki-II et 2M, qui accélèrent les opérations GEMM en double précision sur des Tensor Cores entiers tout en conservant une précision totale FP64. Ces méthodes permettent des gains de vitesse importants pour les simulations scientifiques sans compromettre la précision numérique.

Des simulations scientifiques plus rapides grâce à de nouveaux algorithmes FP64 dans NVIDIA cuBLAS

De nombreuses simulations scientifiques, allant de la chimie moléculaire à la science des matériaux, passent la majeure partie de leur temps d’exécution à effectuer des multiplications de matrices générales denses à haute précision (GEMM). Ces opérations sont essentielles pour assurer une exactitude suffisante dans des domaines où les approximations à moindre précision ne suffisent pas. Traditionnellement, pour atteindre une précision double entière (FP64) complète, il fallait utiliser des instructions natives FP64, qui sont souvent plus lentes que les opérations à moindre précision sur du matériel moderne.

Avec la sortie du CUDA Toolkit 13.4.2, NVIDIA cuBLAS introduit une nouvelle catégorie d’algorithmes qui accélèrent les GEMM en double précision sur des Tensor Cores entiers tout en conservant une précision FP64 parfaite. Cette avancée permet à cuBLAS de décomposer chaque nombre en double précision en éléments entiers, de les multiplier sur les Tensor Cores de la GPU, puis de reconstituer le résultat exact. Selon NVIDIA, cette approche signifie que cuBLAS n’a plus besoin de choisir entre précision et vitesse.

Les algorithmes Ozaki-II et 2M

Deux nouveaux algorithmes rendent cette accélération plus efficace : l’algorithme Ozaki-II et la méthode 2M. L’algorithme Ozaki-II réduit le nombre de multiplications entières par rapport à l’approche précédente Ozaki-I en utilisant le théorème du reste chinois. La méthode 2M diminue le nombre de multiplications de matrices complexes de quatre multiplications réelles à deux.

Ces algorithmes s’appuient sur le cadre de la précision dynamique automatique (ADP) déjà introduit précédemment dans cuBLAS. Le cadre ADP améliore les performances des multiplications de matrices en double précision en affectant les opérations FP64 aux Tensor Cores entiers tout en conservant une précision native FP64. cuBLAS assure une accélération automatique des DGEMM et ZGEMM sans modification du code de l’application. Comme la vitesse n’a d’importance que lorsque la précision n’est pas compromise, NVIDIA valide ces améliorations sur des applications réelles.

Comment fonctionne Ozaki-II

LES schémas Ozaki-I et Ozaki-II partagent une première étape commune : aligner les exposants des matrices d’entrée et les convertir en une représentation entière à longueur variable à exposant commun, de manière que les produits s’accumulent exactement sur des Tensor Cores entiers. cuBLAS utilise des heuristiques pour choisir automatiquement entre Ozaki-I et Ozaki-II afin d’obtenir les meilleures performances. La largeur entière est choisie par ADP en temps de exécution ou peut également être définie explicitement par l’utilisateur.

La différence clé réside dans la manière dont s’effectue la multiplication des grands entiers. Ozaki-I divise chaque grand entier en tronçons de 8 bits et multiplie les tronçons de A par les tronçons de B selon un motif triangulaire. Par conséquent, le nombre de GEMM sur Tensor Core augmente avec le carré du nombre de tronçons.

En revanche, Ozaki-II utilise un algorithme de multiplication de grands entiers plus rapide basé sur le théorème du reste chinois (CRT). Il quantifie chaque opérande modulo un ensemble d’entiers petits et coprimes entre eux, effectue exactement une GEMM entière par module, puis reconstitue le produit exact à partir des résidus. Avec Ozaki-II, le nombre de GEMM est linéaire par rapport au nombre de modules, tandis qu’avec Ozaki-I il augmente avec le carré du nombre de tronçons. Ainsi, l’avantage s’accroît à mesure que la précision visée augmente. Pour atteindre la précision requise pour égaler FP64, Ozaki-I nécessite environ deux fois plus de GEMM sur Tensor Core qu’Ozaki-II.

En ce qui concerne l’utilisation de la mémoire, comme Ozaki-II matérialise une paire de résidus par module, une implémentation naïve nécessiterait un espace de travail bien plus grand que Ozaki-I. Cependant, cuBLAS applique également au schéma Ozaki-II le découpage économe en mémoire introduit pour Ozaki-I dans le CUDA Toolkit 13.3. Cela permet d’éliminer immédiatement chaque paire de résidus après sa GEMM, ce qui réduit la taille de l’espace de travail.

Points forts en termes de performances

NVIDIA indique des améliorations significatives des performances avec les nouveaux algorithmes sur diverses plateformes matérielles. cuBLAS DGEMM avec Ozaki-II fonctionne 5.5x plus rapidement que la version native FP64 sur NVIDIA VR NVL72 et 3.9x plus rapidement sur NVIDIA GB200.. Il est également 2x plus rapide qu’Ozaki-I sur NVIDIA GB200..

Pour les multiplications de matrices complexes, cuBLAS ZGEMM avec l’algorithme 2M offre une accélération de 5x par rapport aux algorithmes Complex FP64 (CFP64) natifs sur NVIDIA GB200.. En termes de performance maximale, cuBLAS DGEMM avec Ozaki-II atteint jusqu’à 175 TFLOPS sur NVIDIA VR NVL72, 147 TFLOPS sur NVIDIA GB200, et 37 TFLOPS sur NVIDIA RTX PRO 6000..

Garanties de précision

Le cadre cuBLAS ADP est conçu pour fournir des garanties de précision comparables, voire supérieures, à celles des algorithmes GEMM en virgule flottante standards. Si, au moment de l’exécution, le nombre de bits de mantisse nécessaires pour préserver la précision FP64-equivalent dépasse la valeur par défaut de la bibliothèque ou une valeur maximale fournie par l’utilisateur, cuBLAS passe à un chemin de code qui utilise les instructions MMA natives FP64. Cela permet aux applications d’utiliser cuBLAS en toute sécurité dans des déploiements en production sans se soucier de la précision numérique.

Tests de performance dans des applications réelles

Afin de démontrer les performances potentielles de ces algorithmes dans des applications concrètes, NVIDIA a évalué deux cas d’usage spécifiques : les méthodes CCSD simples et doubles pour les clusters couplés en chimie quantique, ainsi que BerkeleyGW en science des matériaux.

CCSD en chimie quantique

CCSD est une méthode fondamentale post-DFT en structure électronique qui constitue la « norme d’or » de la chimie quantique. Elle se distingue par son coût très élevé lié aux contractions de tenseurs denses FP64, processus que le schéma Ozaki-II dans cuBLAS peut accélérer de manière significative.

Une petite démonstration de CCSD a été mise en œuvre à l’aide de cuBLAS dans le CUDA Toolkit 13.4.2.. Les résultats montrent que l’utilisation de Ozaki-II DGEMM, avec une garantie d’échelle d’erreur (ESC) assurant une précision totale FP64, entraîne une amélioration monotone des performances en fonction du nombre de générations, ce qui donne un accélération globale de 4.7x par rapport à Rubin sur A100..

Une autre possibilité intéressante consiste à utiliser un mode de précision mixte spécifique à une application, avec un budget fixe de bits de mantisse Ozaki-II, choisi ici à 32 bits de mantisse. Cela permet d’obtenir un accélération globale de 11.5x fois par rapport à la précision native FP64 A100.. Avec ESC à une qualité maximale de FP64, les résultats sont indiscernables de ceux obtenus avec une précision native FP64, avec des erreurs dans l’énergie de corrélation CCSD de -14 E h.

L’émulation Ozaki-II offre également la possibilité d’utiliser une précision fixe plus faible, avec 32 bits de mantisse, tout en assurant une précision suffisante pour la grande majorité des applications pratiques. Dans ce mode, les erreurs d’énergie sont de -10 E h, et les équations d’amplitude peuvent être convergées à un résidu de 10^-9 ou mieux. Sur Rubin pour le calcul CCSD/cc-pVTZ de dimères d’uracile à noyau gelé, une précision fixe avec 32 bits de mantisse atteint un débit global de 173 TFLOPS ; le débit des GEMM individuels est aussi élevé que 368 TFLOPS, avec un débit moyen des GEMM de 200 TFLOPS.

BerkeleyGW en sciences des matériaux

BerkeleyGW est un outil de simulation en sciences des matériaux. En utilisant cuBLAS ZGEMM avec l’algorithme 2M, BerkeleyGW atteint une accélération de 6.6x fois par rapport à ZGEMM natif sur NVIDIA VR NVL72, ainsi qu’une accélération de 3.9x fois sur NVIDIA GB200..

NVIDIA Rubin et le format TI16

Les GPU NVIDIA Rubin introduisent le format numérique TI16 ainsi que l’instruction tcgen05.mma, ce qui accélère encore davantage les calculs Ozaki-I et Ozaki-II. Le format TI16 est un entier de 12 bits en format signe-magnitude, avec une plage allant de [-2047, +2047], ce qui le rend particulièrement adapté à l’accélération des calculs selon le schéma Ozaki. cuBLAS 13.4 utilise le type TI16 pour accélérer les calculs Ozaki-I et Ozaki-II grâce à l’instruction tcgen05.mma sur les GPU NVIDIA Rubin (capacité de calcul 10.7).

Pour commencer

Les développeurs peuvent accéder à ces nouveaux algorithmes en téléchargeant et en installant la dernière version du NVIDIA CUDA Toolkit. La documentation cuBLAS comprend une section sur l’émulation en virgule flottante avec des détails sur l’API, y compris cublasSetEmulationStrategy ainsi que le contrôle manuel des bits de mantisse.

Pour évaluer les gains sur leurs propres charges de travail, les utilisateurs peuvent explorer les exemples d’émulation cuBLAS sur GitHub. Ces exemples permettent aux développeurs de tester les performances et la précision des nouveaux algorithmes dans leurs environnements spécifiques.

Conclusion

L’introduction d’Ozaki-II et de l’algorithme 2M dans le CUDA Toolkit 13.4.2 représente une avancée significative dans le domaine du calcul haute performance. En utilisant des Tensor Cores entiers pour effectuer des opérations en double précision, NVIDIA cuBLAS permet d’obtenir des accélérations importantes par rapport aux implémentations natives FP64 sans compromettre la précision. Que ce soit pour des simulations en chimie quantique ou pour la modélisation en sciences des matériaux, ces algorithmes constituent un outil puissant pour accélérer la découverte scientifique.

Source : https://developer.nvidia.com/blog/faster-scientific-simulations-with-new-fp64-algorithms-in-nvidia-cublas

Sources