نقص عوائق التنفيذ في تعلم التعزيز باستخدام NVIDIA Dynamo

نيفيديا داينامو تتعامل مع عقبات تطبيق التعلم المعزز من خلال التوجيه القائم على مفهوم KV، وتوزيع أوزان ModelExpress، وآليات الاستعادة. ومن خلال تحقيق التوازن بين إعادة استخدام الذاكرة المؤقتة وأعباء العمال، يقلل النظام من الحسابات الزائدة ويسرع من مراحل التدريب باستخدام قدرات GPU الموزعة.

القراءة الصوتية غير متاحة في هذا المتصفح
نقص عوائق التنفيذ في تعلم التعزيز باستخدام NVIDIA Dynamo

الوسوم

ملخص سريع

نيفيديا داينامو تتعامل مع عقبات تطبيق التعلم المعزز من خلال التوجيه القائم على مفهوم KV، وتوزيع أوزان ModelExpress، وآليات الاستعادة. ومن خلال تحقيق التوازن بين إعادة استخدام الذاكرة المؤقتة وأعباء العمال، يقلل النظام من الحسابات الزائدة ويسرع من مراحل التدريب باستخدام قدرات GPU الموزعة.

تقليل نقاط الاختناق في عمليات التدريب باستخدام NVIDIA Dynamo

يعتمد التعلم المعزز على حلقة مستمرة حيث تولد النماذج إجراءات، وتتلقى مكافآت، وتقوم بتحديث أوزانها لحل المشكلات بشكل أكثر فعالية. في هذه العملية، يُعد التنبؤ الآلي المحرك الذي يدفع عجلة التقدم. تولد العماليات تسلسلات من مخرجات النموذج والإجراءات وتفاعلات البيئة، والتي يقوم إطار عمل التعلم المعزز بتقييمها ثم استخدامها لتحسين النموذج. لكن مع توسع عمليات تدريب التعلم المعزز، تظهر نقاط اختناق. يمكن أن يؤدي العمل الحسابي الزائد وبطء عمليات التنفيذ وتأخر تحديثات الأوزان وفشل العماليات إلى إهدار قدرة وحدات GPU وتأخير كبير في جولات التدريب.

يتصدى NVIDIA Dynamo لهذه التحديات من خلال توفير طبقة خدمة تنسق عملية توليد التسلسلات الموزعة. من خلال تحسين آليات التوجيه وتوزيع الأوزان وآليات الاستعادة، يساعد Dynamo الفرق على توليد عينات تدريب أكثر جودة وإكمال جولات التدريب بشكل أسرع.

لماذا يحتاج التعلم المعزز إلى بنية تحتية لتوليد التسلسلات الموزعة

تختلف تعقيدات مهام التعلم المعزز بشكل كبير حسب المهمة. قد يتكون تسلسل التنبؤ من استجابة واحدة فقط، بينما قد يشمل تسلسل العميل المبرمج استكشاف المستودعات وإجراء التعديلات واستخدام الأدوات وإجراء الاختبارات. تؤدي هذه الاختلافات إلى تفاوت في حجم العمل بين العماليات المسؤولة عن التنبؤ، مما يجعل توزيع الطلبات بشكل بسيط غير كافٍ لتحقيق تدريب فعال.

وفقًا لشركة NVIDIA، هناك ثلاث قيود محددة تحدد مدى فعالية البنية التحتية الموزعة في دعم عمليات تدريب التعلم المعزز:

  1. وقت إتمام عملية النشر: عندما يتطلب التدريب مجموعة محددة من العينات، فإن أبطأ عملية نشر قد تؤخر الخطوة التالية بأكملها. ولا يضمن توزيع عدد الطلبات بالتساوي على وحدات المعالجة الرسومية توزيع العمل الفعلي بالتساوي، مما يؤدي إلى وجود طاقة خاملة.
  2. السياق المتكرر: غالبًا ما تبدأ المحاولات المتعددة بتعليمات متطابقة أو وصف للمهمة أو سياق لمستودع البرمجة. إعادة حساب هذه البدايات تستهلك طاقة وحدات المعالجة الرسومية الثمينة قبل توليد نتائج جديدة.
  3. حداثة الأوزان: ينتج التدريب أوزانًا جديدة للنموذج طوال مدة التشغيل. يجب على العاملين استلام هذه التحديثات وفقًا لمتطلبات الخوارزمية المتعلقة بأخذ العينات ومستوى القدم في استخدام الأوزان.

إن التغلب على هذه القيود يسمح للفرق بإكمال المزيد من التكرارات ضمن ميزانية حسابية ثابتة. ويعتمد الأمر المثالي للتحسين على القيد الذي يحدد حجم العمل المحدد.

بنية داينامو للتعلم الآلي التكراري

تقع بنية داينامو بين تنسيق عمليات النشر وعمال التنبؤ. يقوم إطار عمل التعلم الآلي التكراري بإرسال طلبات التوليد؛ وتقوم داينامو بتوجيهها إلى القدرات المتاحة؛ وتقوم محركات التنبؤ بتنفيذ النموذج. تحافظ هذه البنية على فصل واضح بين المسؤوليات: حيث يتبع كل من التوليد وإدارة الأوزان مسارات منفصلة. تستخدم الطلبات واجهة أمامية مشتركة للخدمة، بينما تستهدف عمليات التحديث العاملين المختارين تحت سيطرة الإطار. يسمح هذا الفصل للفرق بتحسين أداء الخدمة دون نقل مسؤولية عملية التعلم.

التوجيه القائم على معرفة KV

غالبًا ما يولد التعلم الآلي التكراري عدة حلول لنفس المهمة باستخدام نفس النص التحفيزي. إرسال هذه الطلبات إلى عامل قد قام بالفعل بتخزين النص التحفيزي في ذاكرته المؤقتة يتجنب المعالجة المتكررة، مما يوفر طاقة وحدات المعالجة الرسومية. لكن إرسال كل طلب إلى ذلك العامل قد يؤدي إلى تكوين طابور، مما يؤخر عمليات النشر والخطوة التالية في التدريب.

لحل هذه المشكلة، يقوم موجه Dynamo بتحقيق التوازن بين إعادة استخدام ذاكرة التخزين المؤقت KV وحمل العمال. الهدف هو تقليل الحسابات الزائدة وأوقات الانتظار مع ضمان إكمال العينات اللازمة للتدريب في وقت أسرع. من خلال تحقيق التوازن الذكي بين هذه العوامل، يقلل Dynamo من الأعباء المتعلقة بإعادة حساب السياق مع منع نقاط الضعف التي تؤخر دورة التدريب الكلية.

ModelExpress: تقليل أعباء توزيع الأوزان

يقوم تدريب RL بتحديث النموذج مرارًا وتكرارًا. تقليديًا، يستغرق إرسال نقطة تحقق كاملة إلى كل عامل تنفيذ وقتًا وقد يعطل عملية التوليد. يقلل ModelExpress من هذه الأعباء عن طريق إعادة استخدام الأوزان المتوفرة بالفعل في المجموعة بدلاً من تحميلها من التخزين البعيد.

يمكن للعمال المتوافقين نسخ الأوزان مباشرة من GPU أخرى عبر NIXL، مما يجعلها متاحة في وقت أسرع من تحميلها من التخزين. بالإضافة إلى ذلك، يستخدم ModelExpress نقل الأوزان عبر الفروقات. بدلاً من نقل النموذج الكامل، يرسل تمثيلاً مضغوطًا لما تغير. يعيد العمال بناء الأوزان الجديدة من الإصدار الأساسي المطابق، مما يقلل من وقت النقل وحركة المرور على الشبكة.

يساعد هذا النهج أيضًا في التعافي. يمكن لعامل بديل تحميل نقطة تحقق وتطبيق الفروقات اللاحقة لللحاق بعملية التدريب، بينما يستمر العمال السليمون في توليد النتائج.

آليات التعافي من فشل العمال

يجب أن تتحمل عمليات التدريب الطويلة فشل العمال دون إعاقة القدرات السليمة بشكل غير ضروري. يكتشف Dynamo فقدان العمال ويوجه الطلبات الجديدة نحو العمال المؤهلين. بمجرد أن يصبح العمال البديلون جاهزين، يتم إضافتهم إلى مجموعة التوجيه.

يدعم النظام الهجرة للطلبات الجارية المؤهلة والإيقاف التدريجي السلس. عند فشل عامل، يعيد Dynamo توجيه الجلسات المدعومة إلى العمال السليمين، باستخدام التاريخ المحفوظ لتجنب إعادة بدء عملية التنفيذ بالكامل. هذا يضمن قدرة إطار RL على التعامل مع العينات المتقطعة ويضمن استخدام العمال البديلين للأوزان المطلوبة، مما يحافظ على سلامة عملية التدريب.

Dynamo في سير عمل RL

يشمل استخدام NVIDIA Dynamo في RL تطوير النماذج المتقدمة والبنية التحتية المُدارة والأطر المفتوحة المصدر. أبلغت عدة منظمات عن تحسينات كبيرة في الأداء:

  • Microsoft AI تستخدم NVIDIA Dynamo لدعم عمليات الاستدلال أثناء مرحلة التطبيق بعد التدريب.
  • CoreWeave تستخدم Dynamo وModelExpress لتسريع تحديثات أوزان النماذج بمقدار يصل إلى 15×.
  • Cognition تستخدم Dynamo لإدارة عمال الاستدلال وتوجيه عمليات التطبيق أثناء مرحلة التدريب لـ SWE-1.7.
  • Prime Intellect تستخدم Dynamo لتنسيق عمليات الاستدلال الموزعة.
  • H Company تستخدم Dynamo وModelExpress لتقليل متوسط وقت خطوات التدريب بمقدار يصل إلى 20% وساعات استخدام وحدات GPU بمقدار يصل إلى 5%.

تربط التكاملات مفتوحة المصدر Dynamo بأنظمة التعلم القوي الحالية، مثل verl وNeMo RL وSlime وprime-rl. تسمح هذه التكاملات للفرق باستغلال قدرات Dynamo في عملياتها الحالية.

الخلاصة

تتطلب بنية التعلم القوي الفعالة أن تتم عمليات إنشاء عمليات التطبيق وتوزيع الأوزان واستعادة العمال معًا. تجلب NVIDIA Dynamo هذه القدرات إلى دورة التدريب، مما يساعد الفرق على تحويل قدرات وحدات GPU الموزعة إلى عينات تدريبية صالحة وتكرارات أسرع. من خلال التغلب على العقبات الأساسية مثل وقت إتمام عمليات التطبيق وتكرار السياقات وحداثة الأوزان، تمكّن Dynamo الفرق من توسيع نطاق عمليات الاستدلال لتدريب التعلم القوي بشكل أكثر فعالية.

للبدء في توسيع نطاق عمليات الاستدلال لتدريب التعلم القوي، يجب على الفرق استكشاف وثائق Dynamo RL.

المصدر: https://developer.nvidia.com/blog/reducing-rollout-bottlenecks-in-reinforcement-learning-with-nvidia-dynamo

المصادر