هندسة الاستفسارات تفشل بصمت

فشل هندسة الاستفسارات الصامت — الانحدار الاستفساري هو السبب

تصوغ استفسارًا مثاليًا. تختبره، تحسّنه، وتحصل على مخرجات متسقة عالية الجودة. ثم، بعد بضعة أسابيع، يعيد نفس الاستفسار نتائج متوسطة. يبدو النموذج أقل ذكاءً، أقل تعاونًا، أو ميالًا للهلوسات. أنت لم تغير شيئًا، لكن النظام تغير. هذا التدهور الصامت هو **الانحدار الاستفساري** — وهو السبب الخفي وراء فشل العديد من جهود هندسة الاستفسارات بمرور الوقت.

يحدث الانحدار الاستفساري عندما تؤدي التحديثات في نموذج لغة كبير (LLM)، أو تحولات الضبط الدقيق، أو حتى تغييرات طفيفة في البنية التحتية لواجهة برمجة التطبيقات (API) إلى تغيير كيفية تفسير الاستفسار. الاستفسار نفسه لا يتغير، لكن سلوك النموذج يتغير. فهم هذه الظاهرة أمر بالغ الأهمية لأي شخص ينشر الذكاء الاصطناعي في الإنتاج.

ما هو الانحدار الاستفساري؟

الانحدار الاستفساري هو الانخفاض التدريجي أو المفاجئ في فعالية استفسار كان ناجحًا سابقًا بسبب تغييرات في سلوك النموذج، وليس في بنية الاستفسار. على عكس الإخفاقات الواضحة مثل أخطاء بناء الجملة، يتسلل الانحدار بهدوء. قد تلاحظ أن المخرجات أصبحت أكثر إسهابًا، أقل دقة، أو تميل إلى تجاهل التعليمات.

يحدث هذا لأن نماذج اللغة الكبيرة ليست ثابتة. تقوم OpenAI وGoogle وMicrosoft بتحديث نماذجها بانتظام ببيانات تدريب جديدة، ومرشحات أمان، وتحسينات في الأداء. يمكن لهذه التغييرات أن تحول "شخصية" النموذج أو أنماط انتباهه. استفسار كان ينتج ملخصات موجزة بشكل موثوق قد يبدأ في إنشاء نقاط نقطية أو استطرادات غير ذات صلة.

على سبيل المثال، استفسار مثل:

لخص المقال التالي في ثلاث جمل.

قد يعمل بشكل لا تشوبه شائبة لأشهر، ثم فجأة ينتج خمس جمل أو يفوت نقاطًا رئيسية. الاستفسار لم يتغير، لكن الأوزان الداخلية للنموذج أو خوارزميات فك التشفير تغيرت.

لماذا يحدث الانحدار الاستفساري

تساهم عدة عوامل في الانحدار الاستفساري:

• **تحديثات النموذج**: عندما تطلق OpenAI إصدارًا جديدًا من GPT-4 أو GPT-3.5، يتغير السلوك. قد ينتج نفس الاستفسار نتائج مختلفة لأن بيانات تدريب النموذج أو أهداف التحسين تغيرت.
• **تعديلات الضبط الدقيق**: قد تقوم شركات مثل Microsoft وGoogle بضبط نماذجها بدقة لمهام محددة (مثل توليد الكود، دعم العملاء). يمكن أن يغير ذلك كيفية معالجة الاستفسارات العامة.
• **إصدارات واجهة برمجة التطبيقات (API)**: الترقية إلى إصدار أحدث من API يمكن أن تقدم تغييرات طفيفة في الترميز، معالجة درجة الحرارة، أو تنسيق الاستجابة.
• **تحديثات السلامة والمواءمة**: مع محاذاة النماذج لتقليل المخرجات الضارة، قد تتغير رغبتها في الامتثال لتعليمات معينة. استفسار كان يعمل سابقًا للكتابة الإبداعية قد يتم وضع علامة عليه الآن.

نادرًا ما يتم الإعلان عن هذه التغييرات بالتفصيل. قد يذكر منشور أخبار OpenAI "تحسين الدقة" أو "تعزيز السلامة"، لكن التأثير الدقيق على سلوك الاستفسار يظل غامضًا.

المتطلبات

لمتابعة الأمثلة العملية في هذه المقالة، ستحتاج إلى:

• Python 3.8 أو أحدث مثبت على نظامك.
• مفتاح API من OpenAI (أو ما يعادله من مزودين آخرين). سجل في platform.openai.com.
• إلمام أساسي بسطر الأوامر.
• حزمة `openai` الخاصة بـ Python، الإصدار 1.0 أو أحدث.

يعمل هذا الإعداد على macOS وLinux وWindows (باستخدام PowerShell أو WSL).

التثبيت خطوة بخطوة

1. تثبيت Python والتحقق

إذا لم يكن لديك Python، قم بتنزيله من python.org. تحقق من التثبيت:

python --version

يجب أن ترى مخرجات مثل `Python 3.10.12`. إذا لم يكن الأمر كذلك، استخدم `python3` على بعض الأنظمة.

2. إنشاء بيئة افتراضية

اعزل التبعيات لتجنب التعارضات:

python -m venv prompt-regression-env
source prompt-regression-env/bin/activate  # على macOS/Linux
# على Windows: prompt-regression-env\Scripts\activate

3. تثبيت مكتبة OpenAI

قم بتثبيت الحزمة الرسمية لـ Python:

pip install openai

سيؤدي هذا إلى تثبيت المكتبة وتبعياتها. تأكد باستخدام:

pip list | grep openai

4. تعيين مفتاح API الخاص بك

قم بتخزين مفتاح API الخاص بك كمتغير بيئة للأمان:

export OPENAI_API_KEY="your-api-key-here"

على Windows PowerShell:

$env:OPENAI_API_KEY="your-api-key-here"

للتخزين الدائم، أضف سطر التصدير إلى ملف تعريف shell الخاص بك (مثل `~/.bashrc` أو `~/.zshrc`).

أمثلة الاستخدام

اكتشاف الانحدار الاستفساري باستخدام مجموعة اختبار

أفضل دفاع ضد الانحدار الاستفساري هو الاختبار المستمر. أنشئ سكريبت Python بسيطًا يقوم بتشغيل استفساراتك الحرجة مقابل مجموعة معروفة من المدخلات وتقييم المخرجات.

**الخطوة 1: حفظ حالات الاختبار في ملف JSON**

أنشئ `test_cases.json`:

[
  {
    "id": "summarize_1",
    "prompt": "لخص المقال التالي في ثلاث جمل: الثعلب البني السريع يقفز فوق الكلب الكسول. هذه الجملة تحتوي على كل حرف من الأبجدية.",
    "expected_length": 3,
    "expected_keywords": ["ثعلب", "كلب", "أبجدية"]
  },
  {
    "id": "translate_1",
    "prompt": "ترجم إلى الفرنسية: مرحبًا، كيف حالك؟",
    "expected_keywords": ["Bonjour", "comment"]
  }
]

**الخطوة 2: كتابة سكريبت اختبار الانحدار**

أنشئ `regression_test.py`:

import os
import json
import openai
from openai import OpenAI

# تهيئة العميل
client = OpenAI(api_key=os.environ["OPENAI_API_KEY"])

def run_test(test_case):
    """تشغيل حالة اختبار واحدة وإرجاع النتائج."""
    try:
        response = client.chat.completions.create(
            model="gpt-3.5-turbo",  # غيّر إلى نموذجك
            messages=[
                {"role": "user", "content": test_case["prompt"]}
            ],
            temperature=0.0,
            max_tokens=150
        )
        output = response.choices[0].message.content
        # فحوصات أساسية
        passed = True
        reasons = []
        
        if "expected_length" in test_case:
            sentence_count = output.count(".") + output.count("!") + output.count("?")
            if sentence_count != test_case["expected_length"]:
                passed = False
                reasons.append(f"متوقع {test_case['expected_length']} جمل، حصلت على {sentence_count}")
        
        if "expected_keywords" in test_case:
            for kw in test_case["expected_keywords"]:
                if kw.lower() not in output.lower():
                    passed = False
                    reasons.append(f"كلمة مفتاحية مفقودة: {kw}")
        
        return {
            "id": test_case["id"],
            "passed": passed,
            "output": output,
            "reasons": reasons
        }
    except Exception as e:
        return {
            "id": test_case["id"],
            "passed": False,
            "output": str(e),
            "reasons": ["خطأ في API"]
        }

def main():
    with open("test_cases.json", "r") as f:
        test_cases = json.load(f)
    
    results = []
    for tc in test_cases:
        result = run_test(tc)
        results.append(result)
        status = "نجاح" if result["passed"] else "فشل"
        print(f"[{status}] {result['id']}: {result['reasons']}")
    
    # حفظ النتائج للمقارنة التاريخية
    with open("regression_results.json", "w") as f:
        json.dump(results, f, indent=2)

if __name__ == "__main__":
    main()

**الشرح**: يقوم هذا السكريبت بتحميل حالات الاختبار من ملف JSON، وتشغيل كل استفسار عبر API OpenAI، والتحقق من المخرجات مقابل المعايير المتوقعة (مثل عدد الجمل، وجود الكلمات المفتاحية). يحفظ النتائج في ملف للمقارنة لاحقًا. قم بتشغيله أسبوعيًا لاكتشاف الانحدار مبكرًا.

**الخطوة 3: تشغيل الاختبار**

python regression_test.py

مثال على المخرجات:

[نجاح] summarize_1: []
[فشل] translate_1: ['كلمة مفتاحية مفقودة: Bonjour']

إذا فشل اختبار، تحقق مما إذا كان النموذج قد تغير أو إذا كان استفسارك يحتاج إلى تعديل.

مراقبة الانحدار باستخدام استفسارات مُرقّمة

نهج عملي آخر هو ترقيم استفساراتك وتسجيل الاستجابات بمرور الوقت. استخدم مسجل CSV بسيط:

import csv
import datetime
import openai
from openai import OpenAI

client = OpenAI(api_key=os.environ["OPENAI_API_KEY"])

def log_prompt_response(prompt, model, response):
    """تسجيل استفسار واستجابة في ملف CSV."""
    with open("prompt_log.csv", "a", newline="") as f:
        writer = csv.writer(f)
        writer.writerow([
            datetime.datetime.now().isoformat(),
            model,
            prompt[:100],  # مقتطع للقراءة
            response[:200]
        ])

# مثال على الاستخدام
prompt = "اشرح الانحدار الاستفساري في جملة واحدة."
response = client.chat.completions.create(
    model="gpt-3.5-turbo",
    messages=[{"role": "user", "content": prompt}],
    temperature=0.0
).choices[0].message.content

log_prompt_response(prompt, "gpt-3.5-turbo", response)
print(response)

**الشرح**: يقوم هذا السكريبت بتسجيل كل استفسار واستجابة مع طابع زمني واسم النموذج. بمرور الوقت، يمكنك مراجعة ملف CSV لاكتشاف الاتجاهات. إذا أصبحت الاستجابات غير متسقة أو انحرفت عن الأنماط المتوقعة، فقد اكتشفت انحدارًا.

التخفيف الاستباقي: ترقيم الاستفسارات

لتقليل تأثير الانحدار، حافظ على إصدارات متعددة من استفساراتك واختبرها مقابل أحدث نموذج. أنشئ ملف `prompts.yaml`:

version: "1.2"
date: "2025-03-15"
prompts:
  summarize:
    text: "لخص ما يلي في ثلاث جمل: {}"
    fallback: "لخص ما يلي بإيجاز: {}"
  translate:
    text: "ترجم إلى الفرنسية: {}"
    fallback: "حول إلى الفرنسية: {}"

ثم اكتب سكريبتًا يحاول الاستفسار الأساسي ويعود إلى البديل إذا فشل الأول:

import yaml
import openai
from openai import OpenAI

client = OpenAI(api_key=os.environ["OPENAI_API_KEY"])

def try_prompt_with_fallback(prompt_key, input_text, max_retries=2):
    """محاولة استفسار، العودة إلى البديل إذا تم اكتشاف انحدار."""
    with open("prompts.yaml", "r") as f:
        prompts = yaml.safe_load(f)
    
    for attempt in range(max_retries):
        if attempt == 0:
            prompt_template = prompts["prompts"][prompt_key]["text"]
        else:
            prompt_template = prompts["prompts"][prompt_key]["fallback"]
        
        prompt = prompt_template.format(input_text)
        response = client.chat.completions.create(
            model="gpt-3.5-turbo",
            messages=[{"role": "user", "content": prompt}],
            temperature=0.0
        ).choices[0].message.content
        
        # فحص جودة بسيط: تأكد من أن الاستجابة ليست فارغة وتحتوي على كلمات ذات صلة
        if response and len(response.split()) > 3:
            return response
        print(f"تم استخدام البديل لـ {prompt_key} في المحاولة {attempt+1}")
    
    return "فشل فحص الجودة لكلا الاستفسارين"

# اختبار
result = try_prompt_with_fallback("summarize", "الثعلب البني السريع يقفز فوق الكلب الكسول.")
print(result)

**الشرح**: يقوم هذا السكريبت بتحميل إصدارات الاستفسارات من ملف YAML. إذا فشل الاستفسار الأساسي في فحص جودة أساسي (مثل استجابة فارغة أو قصيرة جدًا)، فإنه يحاول البديل. يوفر هذا مرونة ضد الانحدار المفاجئ.

كيف تبقى متقدمًا على الانحدار الاستفساري

الانحدار الاستفساري أمر لا مفر منه، لكن يمكنك إدارته:

• **رقم استفساراتك**: خزّن كل استفسار برقم إصدار وتاريخ. عند تحديث استفسار، احتفظ بالإصدار القديم للعودة إليه.
• **راقب بانتظام**: قم بتشغيل اختبارات آلية يوميًا أو أسبوعيًا. سجل المخرجات وقارنها بالخطوط الأساسية.
• **ثبّت إصدارات النموذج**: استخدم إصدارات محددة من النموذج (مثل `gpt-3.5-turbo-0613` بدلاً من `gpt-3.5-turbo`) عندما يكون ذلك ممكنًا. لاحظ أن الإصدارات المثبتة تصبح مهملة في النهاية.
• **حافظ على استراتيجية بديلة**: احصل على استفسارات أو نماذج بديلة جاهزة. إذا فشل أحدها، انتقل إلى آخر.
• **اشترك في تحديثات المزود**: تابع أخبار OpenAI ومدونة Google AI ومدونة Microsoft AI للإعلانات حول تغييرات النموذج. حتى المنشورات الغامضة يمكن أن تشير إلى تحولات قادمة.
• **قيّم على بيانات حقيقية**: استخدم حالات الاختبار الخاصة بك، وليس حالات عامة. متطلبات تطبيقك المحددة أهم من المعايير العامة.

الخلاصة

الانحدار الاستفساري هو القاتل الصامت لجهود هندسة الاستفسارات. لا يعلن عن نفسه بأخطاء أو أعطال — بل يجعل استفساراتك المثالية سابقًا عديمة الفائدة ببطء. من خلال فهم أسبابه — تحديثات النموذج، الضبط الدقيق، تغييرات API — وتنفيذ أنظمة مراقبة وبدائل بسيطة، يمكنك اكتشاف الانحدار مبكرًا والتكيف. السكريبتات العملية في هذه المقالة تمنحك نقطة انطلاق لبناء خط أنابيب اختبار قوي. تذكر: استفسار يعمل اليوم قد لا يعمل غدًا. اختبر باستمرار، رقّم استفساراتك، وامتلك دائمًا خطة بديلة.