محاكاة علمية أسرع باستخدام خوارزميات جديدة من نوع FP64 في NVIDIA cuBLAS

يقدم أداة NVIDIA CUDA Toolkit 13.4.2 خوارزميات Ozaki-II و2M التي تسرع عمليات GEMM ذات الدقة المزدوجة على نوى Tensor الصحيحة مع الحفاظ على دقة كاملة FP64. تتيح هذه الطرق تسريعًا كبيرًا في المحاكاة العلمية دون التأثير على الدقة الرقمية.

القراءة الصوتية غير متاحة في هذا المتصفح
محاكاة علمية أسرع باستخدام خوارزميات جديدة من نوع FP64 في NVIDIA cuBLAS

الوسوم

ملخص سريع

يقدم أداة NVIDIA CUDA Toolkit 13.4.2 خوارزميات Ozaki-II و2M التي تسرع عمليات GEMM ذات الدقة المزدوجة على نوى Tensor الصحيحة مع الحفاظ على دقة كاملة FP64. تتيح هذه الطرق تسريعًا كبيرًا في المحاكاة العلمية دون التأثير على الدقة الرقمية.

محاكاة علمية أسرع باستخدام خوارزميات جديدة FP64 في NVIDIA cuBLAS

تقضي العديد من المحاكاة العلمية، بدءًا من الكيمياء الجزيئية وصولاً إلى علوم المواد، معظم وقت تنفيذها في حساب عمليات ضرب المصفوفات العامة المكثفة ذات الدقة العالية (GEMM). تعتبر هذه العمليات أساسية للدقة في المجالات التي لا تكفي فيها التقريبات ذات الدقة المنخفضة. تقليدياً، كان تحقيق دقة مزدوجة كاملة (FP64) يتطلب استخدام تعليمات أصلية FP64، والتي غالباً ما تكون أبطأ من عمليات الدقة المنخفضة على الأجهزة الحديثة.

مع إصدار CUDA Toolkit 13.4.2، يقدم NVIDIA cuBLAS فئة جديدة من الخوارزميات التي تسرع عمليات ضرب المصفوفات ذات الدقة المزدوجة على نوى Tensor الصحيحة مع الحفاظ على دقة كاملة FP64. يسمح هذا التطور لـ cuBLAS بتقسيم كل رقم ذو دقة مزدوجة إلى أجزاء صحيحة، وضربها على نوى Tensor في الـ GPU، ثم إعادة تجميع النتيجة الدقيقة. وفقاً لـ NVIDIA، يعني هذا النهج أن cuBLAS لم يعد بحاجة إلى الاختيار بين الدقة والسرعة.

خوارزميات Ozaki-II و2M

هناك خوارزميتان جديدتان تجعلان هذا التسريع أكثر كفاءة: خوارزمية Ozaki-II وطريقة 2M. تقلل خوارزمية Ozaki-II من عدد عمليات الضرب الصحيحة مقارنة بالنهج السابق Ozaki-I عبر استخدام نظرية الباقي الصيني. تقلل طريقة 2M من عمليات ضرب المصفوفات المعقدة من أربع عمليات ضرب حقيقية إلى عمليتين فقط.

تعتمد هذه الخوارزميات على إطار الدقة الديناميكية التلقائية (ADP) الذي تم تقديمه سابقاً في cuBLAS. يوفر إطار ADP أداءً أعلى في عمليات ضرب المصفوفات ذات الدقة المزدوجة عن طريق توجيه العمليات الحسابية FP64 إلى نوى Tensor الصحيحة مع الحفاظ على الدقة الأصلية FP64. يوفر cuBLAS تسريعاً تلقائياً لعمليات DGEMM وZGEMM دون الحاجة إلى تغييرات في كود التطبيق. وبما أن السرعة مهمة فقط عندما لا تتأثر الدقة، تقوم NVIDIA بالتحقق من هذه المكاسب على تطبيقات واقعية.

كيف تعمل خوارزمية Ozaki-II

تشترك خطط Ozaki-I وOzaki-II في خطوة أولى مشتركة: محاذاة الأسس لمصفوفات الإدخال وتحويلها إلى تمثيل صحيح ذو طول متغير وأساس مشترك، بحيث يتم تراكم الحاصل الضرب بدقة على نوى التنسور الصحيحة. يستخدم cuBLAS أساليب استدلالية لاختيار أحد خياري Ozaki-I أو Ozaki-II تلقائيًا لتحقيق أفضل أداء. يتم اختيار عرض الصحيح من قبل ADP أثناء التشغيل، أو يمكن أيضًا تحديده صراحةً من قبل المستخدم.

يكمن الفرق الأساسي في طريقة أداء عملية ضرب الأعداد الصحيحة الكبيرة. يقوم Ozaki-I بتقسيم كل عدد صحيح كبير إلى شرائح بعدد 8 بتًا ويقوم بضرب شرائح A مع شرائح B بأسلوب مثلثي. ونتيجة لذلك، يزداد عدد عمليات GEMM على نوى التنسور مع تربيع عدد الشرائح.

على النقيض من ذلك، يستخدم Ozaki-II خوارزمية أسرع لضرب الأعداد الصحيحة الكبيرة تعتمد على نظرية الباقي الصينية (CRT). فهو يقوم بتقسيم كل متغير مُكمّل إلى باقيات بالنسبة لمجموعة من الأعداد الصحيحة الصغيرة المتبادلة المتباينة، ويؤدي عملية GEMM صحيحة واحدة فقط لكل معامل، ثم يعيد بناء الحاصل الضرب الدقيق من تلك الباقيات. مع Ozaki-II، يكون عدد عمليات GEMM خطيًا مع عدد المعاملات، بينما يزداد مع Ozaki-I مع تربيع عدد الشرائح. لذلك، يزداد الفارق في الأداء كلما ارتفع هدف الدقة. عند الدقة المطلوبة لمطابقة FP64، يحتاج Ozaki-I إلى عدد أكبر تقريبًا ضعف عدد عمليات GEMM على نوى التنسور مقارنة بـ Ozaki-II.

فيما يتعلق باستخدام الذاكرة، نظرًا لأن Ozaki-II يولد زوجًا واحدًا من الباقيات لكل معامل، فإن التنفيذ البسيط سيتطلب حيز عمل أكبر بكثير مقارنة بـ Ozaki-I. ومع ذلك، يطبق cuBLAS أيضًا أسلوب التقسيم الموفر للذاكرة الذي تم تقديمه لـ Ozaki-I في مجموعة أدوات CUDA 13.3 على خطة Ozaki-II أيضًا. وهذا يؤدي إلى التخلص من كل زوج باقيات فور إجراء عملية GEMM الخاصة به، مما يخفض حجم حيز العمل إلى مستوى أكثر قابلية للإدارة.

نقاط الأداء البارزة

تذكر NVIDIA تحسينات كبيرة في الأداء مع الخوارزميات الجديدة على مختلف منصات الأجهزة. يعمل cuBLAS DGEMM مع Ozaki-II بسرعة 5.5x أسرع من النسخة الأصلية FP64 على NVIDIA VR NVL72 وبسرعة 3.9x أسرع على NVIDIA GB200. كما أنه أسرع بمقدار 2x من Ozaki-I على NVIDIA GB200..

بالنسبة لعمليات ضرب المصفوفات المعقدة، يحقق algoritma cuBLAS ZGEMM مع 2M تسريعًا بمقدار 5x مقارنةً بخوارزمية Complex FP64 (CFP64) الأصلية على أجهزة NVIDIA GB200. من حيث الأداء الأقصى، يحقق algoritma cuBLAS DGEMM مع Ozaki-II سرعة تصل إلى 175 TFLOPS على أجهزة NVIDIA VR NVL72، و147 TFLOPS على أجهزة NVIDIA GB200، و37 TFLOPS على أجهزة NVIDIA RTX PRO 6000.

ضمانات الدقة

تم تصميم إطار عمل cuBLAS ADP لتوفير ضمانات دقة مماثلة لخوارزميات GEMM القياسية للأرقام العشرية أو أفضل منها. إذا تجاوز عدد بتات الجزء العشري المطلوبة للحفاظ على دقة FP64-equivalent القيمة الافتراضية للمكتبة أو الحد الأقصى الذي يحدده المستخدم أثناء التشغيل، يعود algoritma cuBLAS إلى مسار كودي يستخدم تعليمات MMA الأصلية FP64، مما يضمن استخدام التطبيقات لـ cuBLAS بأمان في البيئات الإنتاجية دون القلق بشأن الدقة الرقمية.

معايير أداء التطبيقات الواقعية

لإظهار الأداء المحتمل لهذه الخوارزميات في التطبيقات، قامت NVIDIA بتقييم حالتي استخدام محددتين: نماذج CCSD المترابطة للأنظمة الفردية والمزدوجة في الكيمياء الكمومية، وبرنامج BerkeleyGW في علوم المواد.

CCSD في الكيمياء الكمومية

يعتبر CCSD طريقة أساسية بعد تقنية DFT في دراسة البنية الإلكترونية، ويُعد "المعيار الذهبي" في الكيمياء الكمومية. من الجدير بالذكر أن تكلفة عمليات التقارب للمصفوفات المكثفة FP64 فيه مرتفعة جدًا، ويمكن لخطة Ozaki-II في cuBLAS تسريع هذه العمليات بشكل كبير.

تم تنفيذ عرض توضيحي صغير لـ CCSD باستخدام cuBLAS ضمن مجموعة أدوات CUDA 13.4.2.، وأظهرت النتائج أن algoritma Ozaki-II DGEMM مع ضمان دقة كاملة FP64 عبر نظام تصحيح الأخطاء (ESC) يؤدي إلى ارتفاع تدريجي في الأداء مع زيادة عدد الجولات، مما ينتج عنه تسريع إجمالي بمقدار 4.7x مقارنةً بـ Rubin على A100.

إحدى الإمكانيات المقنعة الأخرى هي استخدام وضع دقة مختلطة مخصص للتطبيق مع ميزانية ثابتة لبتات الجزء العشري في Ozaki-II، والتي تم اختيارها هنا لتكون 32 بتًا من بتات الجزء العشري. يؤدي ذلك إلى تحسين سرعة إجمالية بمقدار 11.5x في FP64 A100. الأصلي. مع ESC بجودة كاملة FP64، تكون النتائج غير مختلفة عن دقة FP64 الأصلية، مع أخطاء في طاقة الترابط CCSD تبلغ -14 E h.

كما يوفر تقليد Ozaki-II فرصة استخدام دقة ثابتة أقل مع 32 بتًا من بتات الجزء العشري، مع الحفاظ على دقة كافية للغالبية العظمى من التطبيقات العملية. في هذا الوضع، تكون الأخطاء في الطاقة -10 E h، ويمكن تقارب معادلات السعة إلى باقي قدره 10^-9 أو أفضل. على Rubin لتمثيل ديمر اليوراسيل ذو النواة المجمدة CCSD/cc-pVTZ، تحقق الدقة الثابتة مع 32 بتًا من بتات الجزء العشري إنتاجية نهائية تبلغ 173 TFLOPS؛ وإنتاجية كل عملية GEMM تصل إلى 368 TFLOPS، مع متوسط إنتاجية GEMM يبلغ 200 TFLOPS.

BerkeleyGW في علم المواد

BerkeleyGW هو أداة لمحاكاة علم المواد. باستخدام cuBLAS ZGEMM مع خوارزمية 2M، يحقق BerkeleyGW تحسينًا في السرعة بمقدار 6.6x مقارنة بـ ZGEMM الأصلي على NVIDIA VR NVL72، وتحسينًا بمقدار 3.9x على NVIDIA GB200..

NVIDIA Rubin وتنسيق TI16

تقدم رقائق GPU NVIDIA Rubin التنسيق الرقمي TI16 والأمر tcgen05.mma، مما يسرع من عمليات Ozaki-I وOzaki-II. التنسيق TI16 هو عدد صحيح بـ 12 بتًا في تنسيق القيمة والإشارة، ذو نطاق يتراوح بين [-2047، +2047]، وهو مناسب تمامًا لتسريع عمليات خوارزمية Ozaki. يستخدم cuBLAS 13.4 النوع TI16 لتسريع عمليات Ozaki-I وOzaki-II من خلال الأمر tcgen05.mma على رقائق GPU NVIDIA Rubin (بقدرة حسابية 10.7).

البدء

يمكن للمطورين الوصول إلى هذه الخوارزميات الجديدة عن طريق تنزيل وتثبيت أحدث أداة NVIDIA CUDA Toolkit. يتضمن توثيق cuBLAS قسمًا لمحاكاة الأرقام العشرية مع تفاصيل API، بما في ذلك cublasSetEmulationStrategy والتحكم اليدوي في بتات المانتيسا.

لتقييم المكاسب في أعباء العمل الخاصة بهم، يمكن للمستخدمين استكشاف عينات محاكاة cuBLAS على GitHub. تسمح هذه العينات للمطورين باختبار أداء ودقة الخوارزميات الجديدة في بيئاتهم المحددة.

الخلاصة

يمثل إدخال Ozaki-II والخوارزمية 2M في أداة CUDA Toolkit 13.4.2 خطوة كبيرة إلى الأمام في مجال الحوسبة عالية الأداء. من خلال الاستفادة من نوى Tensor الصحيحة لتنفيذ عمليات ذات دقة مزدوجة، يحقق NVIDIA cuBLAS تسريعًا كبيرًا مقارنة بالتنفيذات الأصلية FP64 دون التضحية بالدقة. سواء لمحاكاة الكيمياء الكمومية أو نمذجة علوم المواد، فإن هذه الخوارزميات توفر أداة قوية لتسريع الاكتشافات العلمية.

المصدر: https://developer.nvidia.com/blog/faster-scientific-simulations-with-new-fp64-algorithms-in-nvidia-cublas

المصادر