نواة العامل: تطوير Kubernetes للعملاء على نطاق واسع

يتغلب Agent Substrate على قيود Kubernetes المتعلقة بالعمليات الخاملة لوكلاء الذكاء الاصطناعي من خلال دمج الجلسات عبر مجموعات العمال النشطة. يتيح هذا المشروع التابع لـ CNCF Sandbox، بالتزامن مع NVIDIA Dynamo وKAI Scheduler، تنفيذ فعّال للوكلاء ذات الحالة لمساعدات البرمجة وتقنيات التعلم المعزز وأعباء العمل البحثية المستخدمة لوحدات معالجة الرسومات.

القراءة الصوتية غير متاحة في هذا المتصفح
نواة العامل: تطوير Kubernetes للعملاء على نطاق واسع

الوسوم

ملخص سريع

يتغلب Agent Substrate على قيود Kubernetes المتعلقة بالعمليات الخاملة لوكلاء الذكاء الاصطناعي من خلال دمج الجلسات عبر مجموعات العمال النشطة. يتيح هذا المشروع التابع لـ CNCF Sandbox، بالتزامن مع NVIDIA Dynamo وKAI Scheduler، تنفيذ فعّال للوكلاء ذات الحالة لمساعدات البرمجة وتقنيات التعلم المعزز وأعباء العمل البحثية المستخدمة لوحدات معالجة الرسومات.

الركيزة الخاصة بالعملاء: تطوير Kubernetes للعملاء على نطاق واسع

يقضي عملاء الذكاء الاصطناعي معظم وقتهم في حالة خمول، في انتظار أمر من إنسان أو نتيجة من أداة أو رد من نموذج. لم يتم بناء البنية التحتية التقليدية لـ Kubernetes في الأصل للتعامل مع هذا النمط المحدد من النشاط المتقطع. تشغيل Pod واحد لكل جلسة يحتفظ بالذاكرة للجلسات التي لا تقوم بأي شيء، بينما حذف ال Pods بين الجلسات يؤدي إلى عقوبة بدء تشغيل جديد تستغرق عدة ثوانٍ في كل مرة ويؤدي إلى فقدان حالة العميل. يواجه التعلم المعزز بعد التدريب نفس التحديات.

لمواجهة هذه التحديات، طورت NVIDIA أداة Agent Substrate، وهي بيئة تشغيل مفتوحة المصدر ومعززة من الناحية الأمنية وقائمة على مبدأ عدم الثقة، وقد تم التبرع بها الآن إلى بيئة Sandbox التابعة لمؤسسة Cloud Native Computing Foundation (CNCF). تم تصميم هذه البيئة لتشغيل ملايين العملاء والأدوات بكثافة أعلى بكثير من الحاويات القياسية باستخدام 10x. تقوم بتوزيع العديد من الجلسات عبر مجموعة صغيرة من Pods العاملة في Kubernetes. عندما يصبح العميل في حالة خمول، يتم أخذ لقطة له داخل بيئته الآمنة باستخدام gVisor أو microVM، ويتم تحرير Pod العامل الخاص به. عند استدعاء العميل مرة أخرى، يتم إعادته إلى أي Pod عامل متاح، مع الحفاظ على ذاكرته وحالة نظام الملفات الخاص به كما هي.

كما ذكرت NVIDIA، لا يتطلب إيقاظ العميل القيام بزيارة جديدة إلى خادم API أو جدول المهام أو kubelet. بدلاً من ذلك، تقوم Agent Substrate بإعادة العميل إلى أحد Pods العاملة الموجودة. تظل Pods العاملة عبارة عن Pods عادية في Kubernetes، مما يضمن استمرار تطبيق سياسات جدولة المجموعة والحصص وتوزيع الموارد.

شكل عبء عمل العميل

تستهدف هذه البيئة التشغيلية ثلاثة أنواع رئيسية من أعباء العمل التي تدفع بالطلب على هذه البنية:

نص المصدر:

  1. مساعدي البرمجة والوكلاء الخدميين: يتنقل وكيل البرمجة بين استدعاءات نماذج اللغة الكبيرة والعمل في بيئته الخاصة، مثل نسخ المستودعات، وتعديل الملفات، وتشغيل عمليات البناء، وتنفيذ الاختبارات. يتوقع المستخدمون أن تظل البيئة كما هي بين كل جولة وأن تستجيب فورًا. لا يمكن لمنصة تخدم آلاف هذه الجلسات أن تتحمل امتلاك حاوية اختبار منفصلة لكل جلسة.
  1. التعلم المعزز بعد التدريب: يعمل التعلم المعزز مع مكافآت قابلة للتحقق عبر تشغيل أجهزة التدريب من نوع GPU وخوادم التوليد جنبًا إلى جنب مع مجموعة من البيئات الثقيلة على وحدات المعالجة المركزية، بما في ذلك حاويات البرمجة، والمترجمات، والمتصفحات، وأجهزة المحاكاة. تقوم هذه البيئات بتنفيذ الإجراءات وفحص النتائج. يأتي الطلب على حاويات الاختبار بشكل مفاجئ مع إرسال دفعات الإجراءات. يمكن أن يزداد عدد حاويات الاختبار من بضع مئات في التجارب الأولية إلى مئات الآلاف في البيئة الإنتاجية. تحدد البيئة الأبطأ وقت حصول جهاز التدريب على الدفعة التالية، مما يؤدي إلى بقاء أجهزة GPU غير مستخدمة.
  1. حاويات GPU للبحث: يحتاج وكيل البرمجة الخاص بالباحث إلى جهاز GPU، ليس لتشغيل نموذج بل لتجميع كود CUDA أو اختبار نواة معينة أو تنفيذ حسابات رقمية. يقوم بتشغيل حاوية GPU على مجموعة مشتركة، وينفذ المهمة، ثم يحذف الحاوية. يتطلب دعم هذا الأمر عبر المؤسسة وجود العديد من حاويات GPU قصيرة الأمد ومعزولة تبدأ بسرعة وتشارك مجموعة محدودة من أجهزة GPU بشكل عادل.

كيف يعمل Agent Substrate

يستخدم Agent Substrate Kubernetes لتشغيل مجموعة من البودات الجاهزة. ينشئ طبقة تحكم منفصلة تقوم بتعيين مجموعة كبيرة من العناصر (الوكلاء وبيئاتهم) على تلك المجموعة الأصغر من العاملات. يحل هذا النهج مشكلة التأخير الناتجة عن تشغيل بودات الحوسبة للوكلاء، والتي تتضمن رحلة عبر خادم API، وعملية القبول، ونظام etcd، والمخطط، وبرنامج kubelet، وتنزيل الصور، وإعداد الشبكة. تستغرق تلك العملية ثوانٍ، وهو أمر مقبول لخدمة تعمل لأسابيع، لكنه بطيء جدًا بالنسبة لحاوية اختبار يجب أن تظهر وتنفذ أمر bash في 10 مللي ثانية ثم تغادر، مئات المرات في الثانية.

عندما يكون كل عامل مشغولًا، ينتظر الطلب التالي بدلاً من أن يفشل. في نظام مزدحم، مثل منصة مساعدة في البرمجة في أوقات الذروة أو أثناء تنفيذ خوارزميات التعلم الآلي بشكل مفاجئ، قد يأتي دور المستخدم التالي بينما يكون كل عامل مشغولًا. يُطبق Agent Substrate آلية توقيف الطلبات في الراوتر لترتيب الطلبات عندما يكون جميع العاملين مشغولين. تحتفظ هذه الآلية بالطلب وتحاول استئنافه حتى يتفرغ أحد العاملين، مع وجود حد زمني للانتظار وحد أقصى لعدد الطلبات التي يمكن أن تنتظر في نفس الوقت. كما تضمن إضافة لاحقة ألا تظل الطلبات الموجهة إلى العناصر القيد التشغيل أبدًا عالقة في هذه الطابور.

الأعمال الأساسية: الأمان وإدارة الموارد

بدأت كل مساهمة في المشروع من أحد حالات الاستخدام الموصوفة أعلاه. كل هذه الأعمال متاحة للجميع في مستودع Agent Substrate.

إمكانية توصيل الأجهزة: من الضروري توفير وحدة معالجة الرسومات داخل بيئة العمل الخاصة بالعوامل لأعباء العمل البحثية وبيئات التعلم الآلي المدعومة بوحدات معالجة الرسومات مثل المحاكيات. يعمل Agent Substrate على تحقيق إمكانية توصيل الأجهزة من خلال دعم أجهزة Kubernetes Dynamic Resource Allocation (DRA). يقوم موردو الأجهزة بتوصيل أجهزتهم عبر ملف تعريف، ويطلب كل حاوية في بيئة العمل الخاصة بالعوامل فقط الأجهزة التي يحتاجها. يعمل هذا التصميم مع كل من بيئات gVisor وmicroVM. تُعد وحدات معالجة الرسومات من NVIDIA أول أجهزة مدعومة.

الحدود لكل حاوية: لا يمكن لأي حاوية أن تؤثر سلبًا على الحاويات المجاورة لها. غالبًا ما تعمل بيئة العمل الخاصة بالعوامل إلى جانب حاويات مساعدة لأغراض التسجيل أو الوكالة أو قياس المؤشرات، وقد تكون بعض هذه الحاويات غير موثوقة. لا ينبغي لأي حاوية خارجة عن السيطرة أن تستهلك كل ذاكرة بيئة العمل وتؤدي إلى توقف العامل المرتبط بها. تعالج الحدود المحددة لوحدة المعالجة المركزية والذاكرة لكل حاوية في بيئات microVM هذه المشكلة. تتوقف الحاوية التي تتجاوز حد ذاكرتها تلقائيًا، بينما يستمر باقي بيئة العمل في العمل.

الحفاظ على بيئات العمل الخاصة بوحدات المعالجة الرسومية: عندما يتوقف العامل لانتظار مراجعة بشرية، يجب أن تطلق بيئة عمله وحدة المعالجة الرسومية وتستأنف العمل لاحقًا مع النتائج المجمعة والبيانات المُحمَّلة كما هي. يتطلب ذلك حفظ حالة العامل وحالة وحدة المعالجة الرسومية واستعادتهما. تؤدي استعادة حالة وحدة المعالجة الرسومية إلى قيود تتعلق بتوافق الأجهزة؛ فعادةً لا يمكن استعادة نقطة التحقق الخاصة بوحدة المعالجة الرسومية إلا على نفس نموذج وحدة المعالجة الرسومية، وأحيانًا فقط مع نفس إصدار برنامج التشغيل. يقترح نظام Agent Substrate تصميمًا لمعالجة هذه المشكلة. يوضح موردو الأجهزة كيفية إيقاف أجهزتهم بأمان وأي خصائص للجهاز تعتمد عليها لقطة الشاشة. يسجل نظام Agent Substrate تلك الخصائص مع كل لقطة شاشة ويستعيد بيئة العمل على جهاز متوافق، أو يعود إلى بداية جديدة نظيفة إذا لم يكن هناك جهاز متوافق. التصميم محايد تجاه الموردين ويعتمد على DRA. تُعد وحدات المعالجة الرسومية من NVIDIA الهدف الأول؛ ويمكن توسيع التصميم ليشمل أنواع أخرى من الأجهزة.

NVIDIA Dynamo: ربط حلقة العملاء

يدير نظام Agent Substrate المكان الذي يعمل فيه العملاء؛ بينما تدير أوقات تنفيذ عمليات الاستدلال المكان الذي يفكرون فيه. كلاهما يواجه تحديًا مشابهًا في الكفاءة: فإبقاء بيئات العمل غير المستخدمة نشطة يهدر وحدة المعالجة المركزية والذاكرة، بينما إعادة بناء سياق النموذج في كل مرة يتم فيها استدعاء النموذج يهدر دورات وحدة المعالجة الرسومية. يحسّن التوسع المستقل لكل طبقة من استغلال الموارد، لكن التنسيق بينها يمكن أن يقلل أيضًا من التأخير ويحافظ على السياق القابل لإعادة الاستخدام أثناء انتقال العملاء بين تنفيذ الأدوات واستدعاء النماذج.

يوفر NVIDIA Dynamo، وهو إطار عمل موزع لعمليات الاستدلال مفتوح المصدر، ذلك التنسيق. يقوم نظام Agent Substrate بتفعيل وتعليق واستعادة بيئات العمل للعملاء ذات الحالة عبر مجموعة من عمال بيئات العمل النشطة. ينسق Dynamo عمليات الاستدلال عبر عمال وحدات المعالجة الرسومية. يقع موجه Dynamo بينهم ويربط ما يفعله العامل بما يحدث على وحدات المعالجة الرسومية.

تعتبر طريقة توجيه عمليات الاستنتاج التقليدية كل استدعاء للنموذج كطلب مستقل. في الوكيل، يمثل كل طلب خطوة واحدة في حلقة أطول، وغالبًا ما تعيد الطلبات المتتالية استخدام نفس رسالة النظام وتعريفات الأدوات وتاريخ المحادثة. يقوم NVIDIA Dynamo بتنسيق عمليات الاستنتاج عبر عمال GPU، بينما يدير Agent Substrate بيئات الوكيل. يستخدم موجه Dynamo هوية الجلسة وموقع ذاكرة التخزين المؤقت KV وحدود استدعاءات الأدوات لإبقاء الاستدعاءات المرتبطة بالنماذج على العمال الذين يحتوون بالفعل على سياق قابل لإعادة الاستخدام.

يعرض Dynamo إشارات الاستنتاج مثل الوقت المتوقع لظهور أول رمز ومستوى امتلاء مجموعة GPU إلى Agent Substrate. يستخدم Agent Substrate هذه الإشارات لتحديد ما إذا كان سيبقي الوكيل نشطًا، أو يعلقه أثناء فترات الانتظار الطويلة لعمليات الاستنتاج، أو يستأنف تشغيله عندما يقترب رد النموذج من الانتهاء.

تشغيل Agent Substrate مع جدولة KAI

تضع جدولة KAI حاويات عمال Substrate بجانب مدربات GPU وخوادم الاستنتاج. يعمل هذا المجمع على منصة NVIDIA DSX AI Factory Platform، حيث يعتبر Substrate مشروعًا مستقلاً ضمن CNCF Sandbox يتكامل مع مكونات نظام DSX. يسمح هذا التكامل للفرق ببناء بنية تحتية للوكيلات تنسق التنفيذ وعمليات الاستنتاج وموارد المجموعة المشتركة بفعالية.

لنشر مساعد للبرمجة على Dynamo وAgent Substrate، يمكن للفرق اتباع دليل الوكيلات المبرمجة في بيئة sandbox. يضمن هذا النهج أن تكون البنية التحتية قوية وقابلة للتوسع، وتتعامل مع تعقيدات بيئات الوكيلات ذات الحالة دون الحاجة إلى إدارة حاويات Kubernetes التقليدية لكل تفاعل.

الخلاصة

يمثل Agent Substrate تقدمًا كبيرًا في طريقة تعامل Kubernetes مع أعباء الوكيلات. من خلال تعدد الجلسات عبر مجموعة صغيرة من العمال النشطين واستخدام تقنية التحقق من النقاط، يتخلص من عقوبات البدء البطيء وفقدان الحالة المرتبطة بنماذج الحاوية لكل جلسة التقليدية. يضمن التكامل مع NVIDIA Dynamo أن تكون حلقة الاستنتاج فعالة مثل حلقة التنفيذ، مع الحفاظ على السياق وتقليل التأخير.

مع توجه الصناعة نحو ملايين العملاء، يصبح القدرة على إدارة هذه الأعباء بشكل آمن وفعال على كلاستر مشترك أمرًا بالغ الأهمية. يوفر Agent Substrate، الذي أصبح الآن جزءًا من نظام CNCF البيئي، الأساس المفتوح المصدر لهذا المستقبل، مما يسمح لفرق المنصات بالتركيز على بناء تطبيقات ذكية بدلاً من التعامل مع قيود البنية التحتية.

المصدر:

  • Agent Substrate: تطوير Kubernetes للعملاء على نطاق واسع — مدونة NVIDIA AI — https://developer.nvidia.com/blog/agent-substrate-advancing-kubernetes-for-agents-at-scale

المصادر