كيف تحافظ مصنع الأداء التابع لـ OpenAI على سرعة ChatGPT
أنشأت OpenAI مصنع الأداء، وهو نظام ذاتي يستخدم سلاسل عمل تعتمد على Codex للعثور على مشاكل انخفاض الأداء وإصلاحها. يقوم هذا النظام بأتمتة التحقيقات، واقتراح الحلول، والتحقق من استعادة الأداء، مما يتيح للشركة تتبع أكثر من 1,700 تحقيقًا خلال ثلاثة أشهر. يضمن هذا المصنع استمرار سرعة ChatGPT عبر الانتقال من العمل اليدوي إلى مصانع العملاء الآلية.
الوسوم
ملخص سريع
أنشأت OpenAI مصنع الأداء، وهو نظام ذاتي يستخدم سلاسل عمل تعتمد على Codex للعثور على مشاكل انخفاض الأداء وإصلاحها. يقوم هذا النظام بأتمتة التحقيقات، واقتراح الحلول، والتحقق من استعادة الأداء، مما يتيح للشركة تتبع أكثر من 1,700 تحقيقًا خلال ثلاثة أشهر. يضمن هذا المصنع استمرار سرعة ChatGPT عبر الانتقال من العمل اليدوي إلى مصانع العملاء الآلية.
كيف تحافظ مصنع الأداء التابع لـ OpenAI على سرعة ChatGPT
لقد تجاوزت وتيرة تطوير البرمجيات الحديثة أساليب هندسة الأداء التقليدية. مع زيادة تعقيد الأنظمة، أصبح التحقيق اليدوي في أسباب بطء الأداء غير قابل للاستمرار. لمعالجة هذه المشكلة، طورت OpenAI مصنع الأداء، وهو نظام ذاتي التشغيل مصمم لاكتشاف وإصلاح تراجعات الأداء بسرعة غير مسبوقة. يستفيد هذا النظام من Codex ونماذج اللغة الكبيرة لأتمتة دورة حياة هندسة الأداء بالكامل، بدءًا من اكتشاف تنبيه ما وصولاً إلى التحقق من فعالية الحل في البيئة الإنتاجية.
التطور من العمل اليدوي إلى مصانع العملاء
لقد تطور نهج OpenAI في هندسة الأداء عبر مراحل مختلفة، متجهًا من العمل اليدوي إلى نموذج مصنعي كامل الأتمتة. في البداية، كان المهندسون يفحصون المؤشرات والسجلات والتتبعات يدويًا للتحقيق في أسباب بطء الأداء. كان هذا الإجراء يستغرق وقتًا طويلاً ويتطلب معرفة عميقة بالمجال، مما أدى غالبًا إلى تفويت الإشارات ذات الصلة. لتخفيف ذلك، طور الفريق أكثر من 30 أداة أداء، بما في ذلك أدوات تحليل وحدة المعالجة المركزية وتخصيص الموارد، لمساعدتهم في التحقيقات.
شكّل إدخال Codex تحولًا نحو الشراكة. أصبح بإمكان المهندسين طرح أسئلة مثل "لماذا أصبح الأداء أبطأ؟" والتعاون مع Codex للبحث في قواعد الكود، وإيجاد المؤشرات ذات الصلة، وتتبع التفاعلات بين الخدمات. لكن المهندسين كان عليهم ما زالوا توجيه العملية، بتحديد الأدوات المستخدمة وكيفية قيادة التحقيق.
ولزيادة الأتمتة، قامت OpenAI بتحويل عملية التحقيق إلى مهارة مشتركة تُسمى perf-forensics. توجه هذه المهارة Codex حول الأدوات المتاحة، ومتى يجب استخدامها، وكيفية التعامل مع بطء الأداء. يمكن للنظام الآن التحقيق فيما إذا كانت عمليات النشر أو تغييرات التكوين هي سبب بطء الأداء دون الحاجة إلى توجيه بشري في كل خطوة.
التطور النهائي تضمن نقل هذه التحقيقات إلى السحابة. في السابق، كان المهندسون ينسخون التنبيهات إلى Codex ثم يلصقون النتائج مرة أخرى في Slack. أما الآن، فإن التنبيهات تُفعّل تلقائيًا جلسات Codex في السحابة. يقوم العامل بالتحقيق ونشر النتائج، ويستمر تدفق العمل بشكل ذاتي، مما يقلل من عبء المهندسين في تصفح الرسائل لتحديد أي انحرافات تحتاج إلى اهتمام.
المكونات الأربعة لمصنع الأداء
يتكون مصنع الأداء من أربعة مكونات أساسية تُمكّن تدفقات العمل القائمة على العوامل من البداية إلى النهاية. تعمل هذه المكونات معًا لتتبع حالات المهام، وتخصيص المهام، وتنفيذ الكود، والاستجابة للأحداث الخارجية.
- خدمة المهام مع تدفقات عمل قابلة للتكوين: يحدد المهندسون تدفقات العمل عن طريق إضافة ملفات تكوين وأوامر مكتوبة بلغة Markdown. تُدرج هذه التكوينات الحالات التي يمكن أن تمر بها المهمة، والانتقالات المسموح بها، والخطوات التي تتطلب تدخلًا بشريًا.
- حلقة الإرسال: يقوم هذا المكون بفحص دوري للمهام الجاهزة للخطوة التالية. يُعيّن عاملاً لمهمة معينة عن طريق بدء جلسة في Codex مع التعليمات المحددة للحالة الحالية للمهمة.
- Codex في السحابة: بمجرد تعيين العامل، يعمل في بيئة سحابية لديها نفس الأدوات التي يستخدمها المهندس، بما في ذلك مستودعات الكود، والمقاييس، والسجلات، والتتبعات، وملفات تفاصيل وحدة المعالجة المركزية، ولقطات الذاكرة.
- الاشتراكات: تُوقظ هذه الاشتراكات العوامل عند حدوث أحداث معينة، مثل نشر تعليق في مراجعة GitHub أو اكتمال عملية النشر. يضمن ذلك قدرة المهام على الانتظار حتى الموافقة البشرية أو الاعتماد على مصادر خارجية قبل استئناف العمل.
تسمح هذه البنية لـ OpenAI بتنفيذ الأعمال بشكل متوازٍ دون الاعتماد على أجهزة الكمبيوتر الخاصة بالمهندسين أو إدارة صناديق التطوير السحابية يدويًا. تحتفظ كل مهمة بحالتها ونتائجها، مما يسمح بمرور العمل بين العوامل والمهندسين واستئنافه بعد مراجعات الكود أو عمليات النشر.
تدفق العمل لمعالجة الانحرافات: من التنبيه إلى الإصلاح
أول سلسلة عمل تم تنفيذها ضمن مصنع الأداء هي سلسلة عمل التراجع. تقوم هذه السلسلة بأتمتة عملية إصلاح المشاكل الناتجة عن التراجع، حيث تنقل المهمة عبر مراحل مثل “تحتاج إلى تحقيق”، “تم تحديد السبب الجذري”، “تم اقتراح حل”، و“تم حل المشكلة”.
عند ظهور تنبيه حول أداء النظام، تفتح سلسلة العمل مهمة. يقوم الوكيل بفحص سبب التباطؤ، ويسجل النتائج في المهمة، ثم يقترح حلاً ليتم مراجعته من قبل مهندس. بعد التطبيق، يتولى وكيل آخر نفس المهمة للتأكد من عودة الأداء إلى مستواه الأساسي.
خلال أكثر من ثلاثة أشهر فقط، رصدت سلسلة عمل التراجع أكثر من 1,700 تحقيقًا وتحديدًا للأسباب الجذرية في أكثر من 600 حالة. وهذا يعادل تقريبًا 17 تحقيقًا آليًا كل يوم. يتولى النظام بفعالية المسار الكامل: التحقيق، وصياغة الحل، والتأكد من فعالية الإجراءات المتخذة.
تحديد السبب الجذري والمراجعة النقدية
الخطوة الأولى في سلسلة عمل التراجع هي تحديد السبب الجذري. يقوم الوكيل بتحليل المؤشرات التي تدهورت، ومتى حدث التغيير، وأي طلبات الخدمة تأثرت. توفر المهارة perf-forensics لـ Codex إمكانية الوصول إلى الأدوات التي يستخدمها مهندسو الأداء بالإضافة إلى دليل للإجابة على هذه الأسئلة.
يقوم الوكيل بفحص البيانات لتحديد وقت تدهور أول مؤشر، حتى لو ظهر التنبيه لاحقًا. كما يقارن مجموعات الطلبات للتمييز بين التباطؤ الفعلي والعوامل الأخرى.
بمجرد تحديد السبب، تعزز المراجعة النقدية دقة التشخيص. تضمن هذه الخطوة أن الحل المقترح قوي قبل أن يصل إلى المهندسين لتنفيذه. تشير OpenAI إلى أن إصلاح مشكلات التراجع غالبًا ما يكون أصعب جزء، ويتطلب تفكيرًا دقيقًا في الحل المقترح.
الدروس المستفادة والتطبيقات المستقبلية
لقد وفر بناء مصنع الأداء عدة دروس مهمة لفرق الهندسة التي تعتمد سلاسل العمل القائمة على الوكلاء.
- حماية انتباه المهندسين: من خلال أتمتة عمليات التحقيق والتشخيص الأولي، يُتيح النظام للمهندسين التركيز على اتخاذ القرارات على المستوى العالي وحل المشكلات المعقدة بدلاً من مراجعة التنبيهات.
- تقييم التغييرات في العوامل: تؤكد OpenAI على أهمية تقييم كيفية تأثير التغييرات في العوامل على أدائها. ويشمل ذلك اختبارات دقيقة لعمليات التحقيق لضمان الدقة.
- تقييم عمليات التحويل من العوامل إلى المهندسين: يجب على النظام إدارة الانتقال بين العوامل الآلية والمهندسين البشر بفعالية، مع ضمان الحفاظ على السياق وتسهيل عمليات التحويل.
- تحويل الأخطاء المتكررة إلى قدرات للإصلاح الذاتي: الهدف النهائي هو تحويل التحديات الشائعة في التحسين إلى سلاسل عمل تُنفذ بانتظام عبر الخدمات، مما يمكّن من قدرات الإصلاح الذاتي.
في المستقبل، تخطط OpenAI لتطبيق هذه المبادئ على تطبيقات أوسع ومراقبة استباقية. يوضح مشروع Performance Factory كيف يمكن للأنظمة التي تعتمد على Codex أن تتطور من مساعدين بسيطين إلى مصانع ذاتية القيادة قادرة على الحفاظ على أداء النظام على نطاق واسع.
الخلاصة
يمثل مشروع Performance Factory التابع لـ OpenAI تقدماً كبيراً في هندسة الأداء. من خلال دمج Codex في نظام منظم من سلاسل العمل وحلقات الإرسال والتنفيذ عبر السحابة، قامت OpenAI بأتمتة اكتشاف وحل مشاكل تدهور الأداء. وقد أثبت النظام بالفعل قيمته، حيث تعامل مع آلاف عمليات التحقيق وتحديد الأسباب الجذرية في فترة قصيرة. ومع استمرار نمو مجال تطوير العوامل، توفر الدروس المستفادة من مشروع Performance Factory خطة عمل للفرق الأخرى التي تسعى إلى الحفاظ على أداء عالٍ في أنظمة معقدة وسريعة التطور.
المصدر: https://openai.com/index/how-openai-performance-factory-keeps-chatgpt-fast



