شحن huggingface_hub أسبوعيًا مع الذكاء الاصطناعي، وأدوات مفتوحة، وإشراف بشري.

شحن مكتبة huggingface_hub أسبوعيًا باستخدام الذكاء الاصطناعي والأدوات المفتوحة والإشراف البشري

يتحرك النظام البيئي مفتوح المصدر للتعلم الآلي بسرعة كبيرة. مكتبة `huggingface_hub` من Hugging Face - وهي العميل بلغة بايثون الذي يدعم مشاركة النماذج وتنزيل مجموعات البيانات وإدارة المستودعات - تتلقى تحديثات بشكل أسبوعي تقريبًا. الحفاظ على هذه السرعة في الإصدارات مع ضمان الجودة والأمان والتوافق مع الإصدارات السابقة هو تحدٍ غير بسيط. على مدار العام الماضي، قام فريق Hugging Face بتحسين سير عمل يجمع بين توليد الكود بمساعدة الذكاء الاصطناعي والأدوات مفتوحة المصدر وعملية مراجعة بشرية صارمة لإصدار إصدارات موثوقة كل أسبوع. تشرح هذه المقالة هذا الخط الأنابيب، بدءًا من الاختبارات الآلية وصولاً إلى ملخصات طلبات السحب المدعومة بالذكاء الاصطناعي، وتوفر دليلاً عمليًا للفرق التي ترغب في تبني ممارسات مماثلة.

المتطلبات

قبل الغوص في الإعداد، ستحتاج إلى المكونات التالية لتكرار أو تكييف سير عمل إصدار `huggingface_hub`:

• **Python 3.9+** - المكتبة نفسها تعمل على بايثون، وجميع نصوص الأتمتة تفترض وجود بيئة بايثون حديثة.
• **Git** - للتحكم في الإصدارات والتكامل مع CI/CD.
• **حساب GitHub** - تطوير المكتبة يتم على GitHub، مستفيدًا من Actions وIssues وPRs.
• **مفتاح API من OpenAI** - يُستخدم لتوليد ملاحظات الإصدار وملخصات طلبات السحب واقتراحات الاختبارات. (بدلاً من ذلك، يمكنك استخدام أي واجهة برمجة تطبيقات LLM متوافقة.)
• **حساب Hugging Face** - لنشر الحزم إلى PyPI وإدارة مستودع `huggingface_hub`.
• **إلمام أساسي بـ CI/CD و pytest** - يعتمد سير العمل على الاختبارات الآلية والتكامل المستمر.

التثبيت خطوة بخطوة

1. استنساخ المستودع وإعداد بيئة افتراضية

ابدأ باستنساخ المستودع الرسمي `huggingface_hub` وإنشاء بيئة بايثون معزولة.

git clone https://github.com/huggingface/huggingface_hub.git
cd huggingface_hub
python -m venv venv
source venv/bin/activate  # على ويندوز: venv\Scripts\activate

يضمن ذلك عدم تعارض أي تبعيات تقوم بتثبيتها مع الحزم على مستوى النظام.

2. تثبيت تبعيات التطوير

يستخدم المشروع `poetry` لإدارة التبعيات. قم بتثبيته ثم قم بتثبيت جميع تبعيات التطوير، بما في ذلك أدوات الاختبار والتحقق من جودة الكود.

pip install poetry
poetry install --with dev

سيؤدي هذا إلى سحب `pytest` و `black` و `ruff` و `pre-commit` وأدوات أخرى تفرض جودة الكود.

3. إعداد خطافات ما قبل الالتزام

تكتشف خطافات ما قبل الالتزام مشكلات التنسيق والتحقق من جودة الكود قبل وصول الكود إلى CI. قم بتشغيل:

pre-commit install

الآن كل `git commit` سيقوم تلقائيًا بتشغيل فحوصات مثل إزالة المسافات البيضاء الزائدة وترتيب استيرادات بايثون.

4. تكوين واجهة برمجة تطبيقات OpenAI للمهام المدعومة بالذكاء الاصطناعي

قم بإنشاء ملف `.env` في جذر المشروع لتخزين مفتاح API الخاص بك بشكل آمن. ستقرأ نصوص الإصدار من هذا الملف.

OPENAI_API_KEY=sk-xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx

ثم قم بتثبيت عميل `openai` لبايثون إذا لم تكن قد قمت بذلك بالفعل:

pip install openai

5. إعداد إجراءات GitHub للإصدارات الأسبوعية

يتم تشغيل الإصدار الأسبوعي الفعلي بواسطة سير عمل GitHub Actions. يوجد ملف YAML ذو الصلة في `.github/workflows/weekly-release.yml`. تبدو النسخة المصغرة كما يلي:

name: الإصدار الأسبوعي
on:
  schedule:
    - cron: '0 10 * * 1'  # كل يوم اثنين الساعة 10:00 UTC
  workflow_dispatch:       # السماح بالتشغيل اليدوي

jobs:
  release:
    runs-on: ubuntu-latest
    steps:
      - uses: actions/checkout@v4
      - name: إعداد بايثون
        uses: actions/setup-python@v5
        with:
          python-version: '3.10'
      - name: تثبيت التبعيات
        run: pip install poetry && poetry install
      - name: تشغيل الاختبارات
        run: poetry run pytest --cov=huggingface_hub
      - name: توليد ملاحظات الإصدار
        run: python scripts/generate_release_notes.py
        env:
          OPENAI_API_KEY: ${{ secrets.OPENAI_API_KEY }}
      - name: بناء ونشر
        run: poetry publish --build
        env:
          PYPI_API_TOKEN: ${{ secrets.PYPI_API_TOKEN }}

يقوم سير العمل هذا بتشغيل الاختبارات وتوليد ملاحظات الإصدار باستخدام الذكاء الاصطناعي والنشر إلى PyPI - كل ذلك مع بوابة موافقة بشرية واحدة قبل خطوة النشر النهائية.

أمثلة على الاستخدام

مثال 1: ملاحظات إصدار مولدة بالذكاء الاصطناعي

أحد أكثر الأجزاء استهلاكًا للوقت في الشحن الأسبوعي هو كتابة ملاحظات إصدار واضحة وموجزة. يستخدم الفريق نصًا برمجيًا مدعومًا من OpenAI يقرأ طلبات السحب المدمجة منذ الإصدار الأخير وينتج مسودة.

قم بتشغيل النص البرمجي محليًا لترى كيف يعمل:

python scripts/generate_release_notes.py --since v0.23.0 --to v0.24.0

يستعلم النص البرمجي عن واجهة برمجة تطبيقات GitHub لجميع طلبات السحب المغلقة بين العلامتين، ثم يرسل موجهًا إلى LLM يطلب ملخصًا مصنفًا. قد يبدو الإخراج النموذجي كما يلي:

## v0.24.0 - 2024-07-22

### 🚀 ميزات جديدة
- إضافة دعم استئناف `snapshot_download` (PR #1234)
- كشف `HfApi.get_model_tags` (PR #1245)

### 🐛 إصلاحات الأخطاء
- إصلاح مهلة `list_repo_files` على المستودعات الكبيرة (PR #1250)
- تصحيح تلميح النوع لمعامل `metadata` (PR #1256)

### 🔧 تحسينات
- تقليل استخدام الذاكرة في تهيئة `huggingface_hub` (PR #1261)
- تحديث جميع إعدادات إعادة المحاولة الافتراضية لعميل HTTP (PR #1270)

يراجع مدير الإصدار البشري هذه المسودة ويحررها حسب الحاجة ويدمجها في فرع الإصدار.

مثال 2: ملخصات طلبات السحب الآلية باستخدام الذكاء الاصطناعي

لتسريع مراجعة الكود، يؤدي كل طلب سحب جديد إلى تشغيل خطوة تلخيص بالذكاء الاصطناعي. يضيف سير العمل تعليقًا إلى طلب السحب مع وصف عالي المستوى للتغييرات والمخاطر المحتملة والمراجعين المقترحين.

يستخدم النص البرمجي وراء ذلك واجهة برمجة تطبيقات OpenAI لتلخيص الفرق:

import openai
import os
import requests

def summarize_pr(diff_url: str, pr_title: str) -> str:
    # جلب الفرق
    response = requests.get(diff_url)
    diff_text = response.text[:3000]  # اقتطاع لتجنب حدود الرموز

    prompt = f"""
    لخص تغييرات طلب السحب التالية لجمهور تقني.
    عنوان طلب السحب: {pr_title}
    الفرق:
    {diff_text}

    قدم:
    - ما يفعله طلب السحب
    - التغييرات الجذرية المحتملة
    - مجالات التركيز المقترحة للمراجعة
    """
    openai.api_key = os.getenv("OPENAI_API_KEY")
    completion = openai.chat.completions.create(
        model="gpt-4",
        messages=[{"role": "user", "content": prompt}],
        temperature=0.3
    )
    return completion.choices[0].message.content

عندما يتم تشغيل هذا النص البرمجي في CI، فإنه ينشر الملخص كتعليق على طلب السحب. يستخدم المراجع البشري هذا الملخص كنقطة انطلاق، وليس بديلاً عن مراجعة شاملة.

مثال 3: اختبار ما قبل الإصدار محليًا مع حالات حافة مولدة بالذكاء الاصطناعي

قبل الشحن، يقوم الفريق بتشغيل نص برمجي يستخدم الذكاء الاصطناعي لاقتراح حالات اختبار إضافية بناءً على تغييرات الكود الأخيرة. يساعد هذا في اكتشاف الانحدارات التي قد تفوتها اختبارات الوحدة القياسية.

python scripts/suggest_tests.py --diff HEAD~10

يستخرج النص البرمجي الفرق لآخر 10 التزامات، ويرسله إلى LLM مع طلب لاقتراح خمس حالات اختبار للحافة، ويخرجها كهيكل pytest:

# حالات الاختبار المقترحة لطلب السحب #1280
def test_snapshot_download_partial_failure():
    """محاكاة فشل الشبكة في منتصف التنزيل والتحقق من الاستئناف."""
    # ... جسم الاختبار المولد بواسطة الذكاء الاصطناعي

def test_get_model_tags_unicode():
    """التحقق من معالجة العلامات التي تحتوي على أحرف غير ASCII."""
    # ... جسم الاختبار المولد بواسطة الذكاء الاصطناعي

ثم يقوم المطور البشري بتنفيذ هذه الاختبارات يدويًا، لكن الاقتراحات توفر الوقت وتوسع نطاق التغطية.

الإشراف البشري: لماذا هو مهم

على الرغم من الاستخدام المكثف للذكاء الاصطناعي، يتضمن كل إصدار أسبوعي خطوة مراجعة بشرية إلزامية. يتولى الذكاء الاصطناعي الأعمال الروتينية - صياغة الملاحظات وتلخيص الفروق واقتراح الاختبارات - لكن الإنسان يتخذ القرار النهائي بشأن:

• **الآثار الأمنية** - قد لا يتعرف الذكاء الاصطناعي على ثغرة أمنية دقيقة في تبعية جديدة.
• **التغييرات الجذرية** - قد يفوت LLM عدم توافق واجهة برمجة التطبيقات الذي يمكن للمشرف المتمرس اكتشافه.
• **توقيت الإصدار** - يقرر الإنسان ما إذا كان سيؤخر الإصدار إذا تم اكتشاف خطأ خطير في وقت متأخر من الأسبوع.

تم تصميم العملية بحيث لا يدفع الذكاء الاصطناعي أبدًا الكود إلى الإنتاج أو ينشر إلى PyPI دون نقرة بشرية. يتضمن سير عمل GitHub Actions بوابة موافقة `environment`:

deploy:
    runs-on: ubuntu-latest
    environment: production
    needs: [test, generate-notes]
    steps:
      - name: النشر إلى PyPI
        run: poetry publish

يتطلب إعداد `environment: production` موافقة بشرية على النشر في واجهة مستخدم GitHub قبل تشغيل خطوة النشر. يضمن هذا الحاجز البسيط أنه حتى لو كانت الملاحظات أو الاختبارات المولدة بالذكاء الاصطناعي معيبة، فإن الإنسان يلتقطها قبل وصول الحزمة إلى المستخدمين.

توسيع نطاق سير العمل لمشروعك

نهج فريق `huggingface_hub` ليس مرتبطًا بمزود ذكاء اصطناعي واحد أو نظام CI. يمكنك تكييفه مع مشروعك مفتوح المصدر الخاص بك مع بعض التعديلات:

1. **استبدال نموذج الذكاء الاصطناعي** - استبدل OpenAI بـ LLM محلي (عبر Ollama على سبيل المثال) إذا كنت بحاجة إلى الاحتفاظ بالبيانات في الموقع. 2. **ضبط وتيرة الإصدار** - قم بتغيير جدول cron من أسبوعي إلى كل أسبوعين أو شهري. 3. **إضافة المزيد من البوابات البشرية** - للإصدارات عالية المخاطر، تتطلب موافقتين بدلاً من واحدة. 4. **استخدام نفس النصوص البرمجية** - نصوص `generate_release_notes.py` و `suggest_tests.py` مفتوحة المصدر ويمكن نسخها من مستودع `huggingface_hub`.

الخلاصة

شحن `huggingface_hub` كل أسبوع هو شهادة على ما هو ممكن عندما تجمع بين سرعة الذكاء الاصطناعي والحكم البشري. يتولى الذكاء الاصطناعي المهام المتكررة والمستهلكة للوقت - كتابة ملاحظات الإصدار وتلخيص طلبات السحب واقتراح الاختبارات - بينما يركز البشر على القرارات عالية المستوى التي تتطلب السياق والحدس والمساءلة. والنتيجة هي وتيرة إصدار ثابتة وموثوقة ساعدت المكتبة على النمو لتصبح واحدة من أكثر الأدوات استخدامًا في نظام التعلم الآلي البيئي.

بالنسبة للفرق التي تتطلع إلى اعتماد سير عمل مماثل، فإن النقطة الرئيسية بسيطة: دع الذكاء الاصطناعي يقوم بالصياغة، لكن أبقِ الإنسان في الحلقة للموافقة النهائية. هذا التوازن بين الأتمتة والإشراف هو ما يجعل الشحن كل أسبوع ليس فقط ممكنًا، بل مستدامًا أيضًا.