كيف تستخدم نفيديا عوامل الذكاء الاصطناعي لتبسيط عمليات مصانع الذكاء الاصطناعي

نيفيديا طورت وكيل عمليات مصنع الذكاء الاصطناعي لتبسيط عمليات DGX SuperPOD الداخلية، مما يقلل من الجهد اليدوي المطلوب من مهندسي موثوقية المواقع. يقوم هذا الوكيل بتنسيق وكلاء فرعية متخصصة للكشف عن الأعطال وربط الأسباب الجذرية عبر طبقات الحوسبة والشبكات والأجهزة والجدولة.

القراءة الصوتية غير متاحة في هذا المتصفح
كيف تستخدم نفيديا عوامل الذكاء الاصطناعي لتبسيط عمليات مصانع الذكاء الاصطناعي

الوسوم

ملخص سريع

نيفيديا طورت وكيل عمليات مصنع الذكاء الاصطناعي لتبسيط عمليات DGX SuperPOD الداخلية، مما يقلل من الجهد اليدوي المطلوب من مهندسي موثوقية المواقع. يقوم هذا الوكيل بتنسيق وكلاء فرعية متخصصة للكشف عن الأعطال وربط الأسباب الجذرية عبر طبقات الحوسبة والشبكات والأجهزة والجدولة.

كيف تستخدم نيفيديا وكلاء الذكاء الاصطناعي لتبسيط عمليات مصانع الذكاء الاصطناعي

مع توسع مجموعات وحدات المعالجة الرسومية، تشمل العمليات المعالجة والشبكات والأجهزة والجدولة. غالبًا ما يضطر مهندسو موثوقية المواقع (SREs) إلى فحص عدة لوحات تحكم لتحديد سبب انخفاض أداء التدريب. ماذا لو استطاع فريق من وكلاء الذكاء الاصطناعي إجراء هذه المقارنات عبر واجهة واحدة؟

طورت نيفيديا وكيل عمليات مصانع الذكاء الاصطناعي لتبسيط عمليات NVIDIA DGX SuperPOD الداخلية الخاصة بها وتقليل الجهد اليدوي الذي يبذله مهندسو موثوقية المواقع في نيفيديا. يتواصل الوكلاء الفرعية عبر بروتوكول سياق النموذج (MCP) الذي يمكن لأي منظمة اعتماده لتعظيم وقت تشغيل مصانع الذكاء الاصطناعي وأدائها.

بدلاً من مطالبة مهندسي موثوقية المواقع بفحص كل طبقة من طبقات برمجيات وأجهزة مصانع الذكاء الاصطناعي بشكل منفصل، يستخدم وكيل عمليات مصانع الذكاء الاصطناعي وكلاء متخصصين لمجالات تشغيلية مختلفة. في بيئة الإنتاج، يكتشف هذه الوكلاء الأعطال، ويقارن الأسباب الجذرية عبر الطبقات المختلفة، ويقدم توصيات واضحة عبر واجهة دردشة. يمكن لمهندسي موثوقية المواقع التفاعل مع أي وكيل باستخدام اللغة الطبيعية، والتبديل بين عمليات التحقيق، وتتبع كل إجراء لأغراض التدقيق.

المعمارية: استخدام خطط نيفيديا والنماذج المفتوحة

تم بناء مثال مطور وكيل عمليات مصانع الذكاء الاصطناعي حول خطة NVIDIA NemoClaw. في المركز يوجد وقت تشغيل الوكيل الموجه للمستخدم، الذي يتلقى استعلامات مهندسي موثوقية المواقع عبر واجهة دردشة ويستدعي الوكلاء والأدوات المناسبة لكل مجال.

تتصل الوكلاء بالبنية التحتية عبر إضافات OpenClaw وخوادم MCP، حيث يعرض كل MCP مجموعة محددة من الأدوات التشغيلية المعتمدة. يمكنك العمل عبر واجهة المستخدم الويب المدمجة أو دمج واجهات الوكلاء البرمجية الحالية عبر API. يسمح هذا التصميم المعياري بإضافة وكلاء جدد وتكاملات بنية تحتية دون تغيير الوكلاء الحالية.

تم بناء الإطار باستخدام NVIDIA OpenShell وهو قادر على العمل بالكامل في البيئة المحلية، مع دعم القابلية للتوسع وسيادة البيانات. يستخدم استنتاج الوكلاء نماذج NVIDIA Nemotron المفتوحة المُقدمة محليًا، بينما يعمل الإطار عبر مجموعات الإنتاج الداخلية NVIDIA DGX H100 وNVIDIA DGX B200 وNVIDIA DGX GB300.

كيف بنت نيفيديا هذا الإطار

يعمل وكيل عمليات مصنع الذكاء الاصطناعي كتطبيق في مستوى التحكم لـ Kubernetes. يقوم Helm بنشر واجهة المستخدم، وبوابة OpenClaw، وخوادم أدوات MCP، ونقطة نهاية التنبؤ، وبيئة التشغيل NVIDIA OpenShell كخدمات في Kubernetes. ترسل واجهة المحادثة كل طلب إلى NemoClaw، الذي يوجهه إلى الوكيل المناسب للنطاق.

لتنفيذ الأوامر في بيئة الشل، يُنشئ OpenShell بيئة عزل خاصة بكل جلسة في Kubernetes بدلاً من تنفيذ الأوامر داخل pod البوابة الرئيسي. تتلقى بيئة التشغيل مساحة عمل وكيل عمليات مصنع الذكاء الاصطناعي، والمهارات المختارة، وسياسة الأوامر. لا تقوم دورة حياتها بتعديل الخدمات الحالية أو أعباء العمل الإنتاجية.

يتم تطبيق إجراءات الأمان على مستويات متعددة. يستخدم فحص Kubernetes أداة run_kubectl على جانب الخادم، والتي تستدعي برنامج kubectl المثبت باستخدام بيانات اعتماد قراءة فقط مسجلة. لا تتلقى OpenShell بيانات اعتماد kubectl ولا بيانات اعتماد Kubernetes. تحدد حسابات خدمات Kubernetes ونظام التحكم في الوصول بناءً على الأدوار (RBAC) موارد المجموعة التي يمكن للأداة فحصها.

نظرًا لأن هذه الفحوصات تتم عبر نفس مسار الوصول في Kubernetes الذي تستخدمه بيئة التشغيل، فإن النتائج توضح ما يمكن للوكيل القيام به وما لا يمكنه القيام به داخل المجموعة.

(agent) $ kubectl auth can-i get pods yes
(agent) $ kubectl auth can-i get configmaps yes
(agent) $ kubectl auth can-i get secrets no
(agent) $ kubectl auth can-i create pods no
(agent) $ kubectl auth can-i update pods no

الوكلاء والأدوات الخاصة بكل نطاق

تستخدم عملية نشر وكيل عمليات مصنع الذكاء الاصطناعي داخليًا من قبل NVIDIA نظامًا بيئيًا متناميًا من الوكلاء الخاصة بمراكز بيانات NVIDIA والمخصصة لكل نطاق، حيث يقدم كل منها توصيات.

  • عامل استعادة الوظائف: يكتشف فشل وظائف التدريب وتدهور الأداء؛ يقوم بتحليل الأسباب الجذرية على مستويات المخطط والتطبيق والأجهزة والشبكة؛ ويقترح خطوات الاستعادة عند تأكيد السبب الجذري.
  • عامل الأجهزة: يصنف أعطال الأجهزة على مستوى الجهاز—أخطاء PCIe، وأخطاء ECC، ومشاكل GPU، وفشل NVMe، والانحرافات الحرارية—مع تتبع الأعراض حتى المكون المحدد.
  • عامل القابلية للمراقبة: يستعلم عن سجلات Prometheus التاريخية والبيانات القياسية وسجلات Grafana Loki المتكاملة لإنشاء لوحات تحكم بشكل ديناميكي وعرضها مباشرة في واجهة المستخدم الخاصة بالويب.
  • عامل البحث: يبحث في الوثائق المُحمَّلة مسبقًا بما في ذلك كتيبات NVIDIA Mission Control والأركيتكتورات المرجعية لـ DGX SuperPOD ودليل النشر. يمكنك أيضًا تحميل دلائل التشغيل الخاصة بك والدلائل المخصصة للموقع.
  • عامل Kubernetes: يوفر إمكانية الوعي التشغيلي للقراءة فقط عبر الحاويات والخدمات وعمليات النشر وموارد GPU وحالة العقد وحالة التخطيط.
  • عامل إدارة المجموعات: يتفاعل مع واجهات برمجة التطبيقات لـ NVIDIA Base Command Manager عبر أدوات MCP التشخيصية لإدارة المجموعات وحل المشكلات.

بالإضافة إلى عوامل المجال، يدمج الإطار أدوات MCP شاملة تشمل البحث عبر الويب وتنفيذ الكود ولوحات تحكم Grafana.

يمكنك أيضًا توصيل خوادم MCP وواجهات برمجة التطبيقات الخاصة بك، مما يسمح بتكييف الإطار مع المخططات ومنصات القابلية للمراقبة ومديري المجموعات والإجراءات التشغيلية المستخدمة بالفعل في تلك البيئات.

الدروس المستفادة من الاستخدام الفعلي وأفضل الممارسات

تواصل NVIDIA تحسين الإطار عن طريق قياس دقة تحليل الأسباب الجذرية (RCA)، وتتبع مدى توافق SRE، وتوسيع نظام عوامل الإطار. من خلال الاستخدام الفعلي، هناك خمسة دروس بارزة:

  1. تحديد حدود العوامل بوضوح: يؤدي التداخل في الملكية إلى ظهور ضوضاء وليس إشارات واضحة.
  2. القراءة فقط أولاً: يُعد التحقيق الدقيق أساساً لبناء ثقة SRE قبل تطبيق الأتمتة.
  3. الارتباط بين الطبقات المختلفة: يربط الإطار بين أعباء العمل والأجهزة وإشارات الشبكة للعثور على الأسباب الجذرية التي تفوتها الأدوات المنعزلة.
  4. أدوات MCP الدقيقة: تحسّن تعريفات الأدوات الواضحة عملية التوجيه وتقلل من اختيار الأدوات الخاطئة.
  5. الاستدلال الشفاف: يحتاج موظفو SRE إلى رؤية استدعاءات الأدوات والأدلة والاستنتاجات قبل اتخاذ أي إجراء.

نماذج التنفيذ لمصانع AI متعددة المستأجرين

بالنسبة للمؤسسات التي تدير مصانع AI على نطاق واسع، فإن نموذج التنفيذ المفضل هو مستوى تحكم مخصص مدعوم بوحدات معالجة الرسومات GPU معزول عن مجموعة الإنتاج. يتولى مستوى التحكم تنظيم العوامل وإجراء عمليات الاستدلال، بينما توفر مجموعة الإنتاج بيانات قياسية دون استهلاك وحدات GPU المخصصة للتدريب أو إعاقة أعباء العمل.

تقوم عمليات NVIDIA الداخلية بتنفيذ عمليات استنتاج النماذج باستخدام قدرات GPU المخصصة، وتستخدم مساحة إدارة Kubernetes لمستوى التحكم الحالي لتقديم خدمات التشغيل. يمكن للعمليات الأخرى استخدام نقطة نهاية للاستنتاج محلية أو سحابية بناءً على سيادة البيانات وحجم المجموعة وقدرات GPU المتاحة، حيث تستخدم العمليات الأصغر محطات عمل RTX PRO أو DGX Spark.

في مصانع AI متعددة المستأجرين، تساعد العوامل المحددة والأدوات وبيئات الاختبار المعزولة وصلاحيات Kubernetes في التحكم في بيانات المجموعة والأدوات والعقد المتاحة لكل مستأجر. يرى موظفو SRE الخاصون بكل مستأجر فقط مساحاتهم الاسمية ومهامهم وعقدتهم، بينما يحتفظ القسم المركزي للعمليات برؤية أوسع للمجموعة بأكملها. يمكن لكل مستأجر استخدام مجموعته الخاصة من العوامل المتخصصة والأجهزة المخصصة للاستنتاج عند الحاجة. يضمن OpenShell الالتزام بهذه الحدود عن طريق تشغيل عوامل وأدوات كل مستأجر في بيئة اختبار معزولة مع قيود على مستوى النواة.

الخلاصة

نموذج عمليات مصنع الذكاء الاصطناعي يوضح كيف يمكن للعملاء المتخصصين التنسيق لاكتشاف الأعطال، وربط الأسباب الجذرية عبر طبقات الحوسبة والشبكات والأجهزة والجدولة، وتقديم توصيات من خلال واجهة دردشة لعمليات NVIDIA DGX SuperPOD. من خلال الاستفادة من مخطط NVIDIA NemoClaw وNVIDIA OpenShell، يضمن الإطار أن تستخدم عمليات الاستنتاج نماذج NVIDIA Nemotron المفتوحة المتاحة محليًا في مجموعات التصنيع NVIDIA DGX H100 وNVIDIA DGX B200 وNVIDIA DGX GB300.

للبدء في تبسيط إدارة عمليات المجموعات، يمكن استكشاف مثال مطور نموذج عمليات مصنع الذكاء الاصطناعي، أو الوصول إلى الإطار والكود المفتوح المصدر مباشرة على GitHub. يتوفر إطار التنسيق كبرمجيات مفتوحة المصدر تجريبية؛ قد تتغير واجهات البرمجة والتكوين ومتطلبات النشر بين الإصدارات. يمكن لعملاء NVIDIA الاتصال بمدير حساباتهم لطلب الوصول إلى عملاء عمليات المجموعات الذين طورتهم NVIDIA.

المصدر: https://developer.nvidia.com/blog/how-nvidia-uses-ai-agents-to-streamline-ai-factory-operations

المصادر