التوقف عن ترتيب تكوينات الوكلاء حسب متوسط الدرجات

توقف عن ترتيب تكوينات الوكلاء الذكيين حسب متوسط الدرجات

في سباق بناء أكثر الوكلاء الذكيين فعالية، يلجأ العديد من الفرق إلى مقياس واحد مبسط: متوسط الدرجات عبر مجموعة من مهام التقييم. سواء كنت تقوم بضبط نموذج لغوي دقيق، أو تكوين خطوط أنابيب التوليد المعزز بالاسترجاع (RAG)، أو تحسين منطق استخدام الأدوات، فإن إغراء ترتيب تكوينات الوكلاء حسب أدائها المتوسط يكاد لا يُقاوم. لكن هذا النهج معيب بشكل أساسي. فمتوسط الدرجات يخفي التباين، ويُخفي أنماط الفشل، ويكافئ التكوينات التي تكون "جيدة بما يكفي" في كل شيء ولكنها ممتازة في لا شيء. في هذه المقالة، سنستكشف لماذا يُعد الترتيب حسب متوسط الدرجات مضللاً، وكيفية تجاوزه، وسنقدم خطوات ملموسة لتنفيذ إطار تقييم أكثر متانة.

المشكلة مع المتوسطات

تأمل سيناريو بسيطًا: لديك تكوينان للوكيل، A و B، تم اختبارهما على 10 مهام متنوعة. التكوين A يسجل 95 في 9 مهام لكنه يفشل فشلًا ذريعًا في مهمة واحدة، مسجلاً 0. التكوين B يسجل 70 في جميع المهام العشر. متوسط الدرجات لـ A هو 85.5، بينما متوسط B هو 70. بناءً على المتوسط فقط، سترتب A أعلى. لكن في نظام إنتاجي، قد يعني الفشل الذريع لـ A خسارة عميل، أو إفساد قاعدة بيانات، أو توليد محتوى ضار. بينما B، رغم أنه أقل بريقًا، فهو موثوق عبر المجالات. المتوسط يحجب هذه المقايضة الحرجة تمامًا.

هذه ليست مجرد مسألة نظرية. في الممارسة العملية، غالبًا ما يتضمن تقييم الوكيل مهامًا بدرجات صعوبة متفاوتة، وحالات حافة، وسيناريوهات الذيل الطويل. المتوسطات تضغط هذه المعلومات الغنية في رقم واحد، متجاهلة شكل التوزيع، والتباين، وأسوأ سلوك. كما لوحظ في المناقشات على منصات مثل Towards Data Science، فإن قيود المقاييس القائمة على المتوسط معروفة جيدًا في التعلم الآلي، لكنها لا تزال مستمرة في تقييم الوكلاء بسبب سهولة الاستخدام.

لماذا يضاعف الوكلاء المشكلة

يختلف الوكلاء عن نماذج التعلم الآلي التقليدية في طرق رئيسية تجعل الترتيب حسب متوسط الدرجات أكثر خطورة:

• **التبعية التسلسلية**: تؤثر إجراءات الوكيل في الخطوات المبكرة على النتائج اللاحقة. قرار سيء واحد يمكن أن يتسلسل إلى فشل كامل.
• **استخدام الأدوات**: غالبًا ما يستدعي الوكلاء واجهات برمجة تطبيقات خارجية، أو قواعد بيانات، أو خدمات ويب. التكوين الذي يعمل بنسبة 95% من الوقت قد يفشل في حالات الحافة الحرجة.
• **عدم الحتمية**: بسبب إعدادات درجة الحرارة، أو أخذ العينات، أو عوامل خارجية، قد ينتج نفس التكوين نتائج مختلفة على نفس المدخلات.

متوسط الدرجات يخفي هذه الديناميكيات. التكوين الذي يفشل أحيانًا بشكل مذهل قد لا يزال لديه متوسط عالٍ إذا نجح في كثير من الأحيان. لكن في الإنتاج، "في كثير من الأحيان" ليس جيدًا بما يكفي.

المتطلبات

قبل أن نتعمق في التنفيذ، دعنا نحدد ما ستحتاجه لمتابعة الأمثلة في هذه المقالة.

• **Python 3.9+** مثبت على نظامك.
• مدير الحزم **pip**.
• إلمام أساسي بـ Python، وأدوات سطر الأوامر، و JSON.
• اختياريًا، **Docker** إذا كنت تريد تشغيل التقييمات في بيئات معزولة.

سنستخدم العديد من المكتبات مفتوحة المصدر:

• `pandas` لمعالجة البيانات
• `numpy` للحسابات الإحصائية
• `matplotlib` و `seaborn` للتصور
• `scipy` للاختبارات الإحصائية

ستحتاج أيضًا إلى مجموعة بيانات لنتائج تقييم الوكيل. للتوضيح، سننشئ بيانات اصطناعية، لكن يمكنك استبدالها ببياناتك الخاصة.

التثبيت خطوة بخطوة

1. إعداد بيئة افتراضية

أولاً، أنشئ بيئة مخصصة لتجنب تعارض التبعيات.

python3 -m venv agent-eval-env
source agent-eval-env/bin/activate  # على ويندوز: agent-eval-env\Scripts\activate

2. تثبيت الحزم المطلوبة

قم بتثبيت المكتبات الأساسية التي سنستخدمها للتحليل والتصور.

pip install pandas numpy matplotlib seaborn scipy

هذا يثبت كل ما هو مطلوب للأمثلة أدناه.

3. التحقق من التثبيت

قم بتشغيل فحص سريع للتأكد من أن كل شيء يعمل.

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns
from scipy import stats
print("تم استيراد جميع المكتبات بنجاح!")

إذا لم تظهر أي أخطاء، فأنت جاهز للمتابعة.

تجاوز متوسط الدرجات

بدلاً من الترتيب حسب المتوسط، سنتبنى نهج تقييم متعدد الأوجه. الأفكار الرئيسية هي:

1. **الإبلاغ عن إحصائيات التوزيع**: تضمين الوسيط، والمدى الربيعي (IQR)، والحد الأدنى، والحد الأقصى للدرجات. 2. **تحليل أنماط الفشل**: تحديد المهام المحددة التي تفشل فيها التكوينات ولماذا. 3. **استخدام الاختبارات الإحصائية**: مقارنة التكوينات بفترات ثقة، وليس مجرد تقديرات نقطية. 4. **تصور الأداء**: استخدام المخططات الصندوقية، ومخططات الكمان، وخرائط الحرارة للكشف عن الأنماط.

دعنا ننفذ هذه الخطوات بكود ملموس.

إنشاء مجموعة بيانات تقييم اصطناعية

أولاً، سنقوم بتوليد مجموعة بيانات تحاكي نتائج تقييم الوكيل الحقيقية. في الممارسة العملية، ستقوم بتحميل ملف CSV أو JSON الخاص بك.

import pandas as pd
import numpy as np

np.random.seed(42)
n_tasks = 20
n_configs = 5

# توليد أسماء المهام
tasks = [f"task_{i}" for i in range(n_tasks)]

# إنشاء درجات اصطناعية لكل تكوين
# التكوين A: عالي في معظم المهام، كارثي في واحدة
config_a = np.random.normal(90, 5, n_tasks)
config_a[0] = 0  # فشل كارثي

# التكوين B: ثابت، معتدل
config_b = np.random.normal(70, 3, n_tasks)

# التكوين C: تباين عالي
config_c = np.random.normal(80, 20, n_tasks)

# التكوين D: ثنائي النمط (بعض المهام ممتازة، بعضها ضعيف)
config_d = np.concatenate([np.random.normal(95, 2, 10), np.random.normal(40, 10, 10)])

# التكوين E: متوسط لكن مستقر
config_e = np.random.normal(60, 2, n_tasks)

# تجميع في DataFrame
data = pd.DataFrame({
    'task': tasks * n_configs,
    'config': ['A']*n_tasks + ['B']*n_tasks + ['C']*n_tasks + ['D']*n_tasks + ['E']*n_tasks,
    'score': np.concatenate([config_a, config_b, config_c, config_d, config_e])
})

print(data.head())

حساب إحصائيات موجزة

الآن دعنا نحسب إحصائيات ذات معنى تتجاوز المتوسط.

summary = data.groupby('config')['score'].agg([
    'mean', 'median', 'std', 'min', 'max',
    lambda x: x.quantile(0.25),
    lambda x: x.quantile(0.75)
])
summary.columns = ['mean', 'median', 'std', 'min', 'max', 'q25', 'q75']
summary = summary.sort_values('mean', ascending=False)
print(summary.round(2))

لاحظ كيف أن التكوين A لديه أعلى متوسط (حوالي 85.5) لكن أدنى درجة هي 0. التكوين B لديه متوسط أقل (70) لكن أدنى درجة هي 64. إذا نظرت فقط إلى المتوسطات، ستختار A. لكن الحد الأدنى يكشف العيب القاتل لـ A.

تصور التوزيعات

صورة تساوي ألف متوسط. دعنا ننشئ مخططًا صندوقيًا.

import matplotlib.pyplot as plt
import seaborn as sns

plt.figure(figsize=(10, 6))
sns.boxplot(data=data, x='config', y='score', order=['A','B','C','D','E'])
plt.title('توزيع الدرجات حسب تكوين الوكيل')
plt.ylabel('الدرجة')
plt.xlabel('التكوين')
plt.show()

المخطط الصندوقي يُظهر فورًا القيمة الشاذة للتكوين A عند 0. التكوين C لديه انتشار كبير. التكوين D ثنائي النمط (مجموعتان متميزتان). التكوينان B و E ضيقان لكن منخفضان. هذا التصور يخبرك بأكثر بكثير من جدول المتوسطات.

المقارنة الإحصائية بفترات الثقة

بدلاً من الترتيب حسب المتوسط، استخدم فترات الثقة لمقارنة التكوينات.

from scipy import stats

def mean_confidence_interval(data, confidence=0.95):
    a = 1.0 * np.array(data)
    n = len(a)
    se = stats.sem(a)
    h = se * stats.t.ppf((1 + confidence) / 2., n-1)
    return np.mean(a), np.mean(a)-h, np.mean(a)+h

ci_df = data.groupby('config')['score'].apply(
    lambda x: mean_confidence_interval(x)
).apply(pd.Series)
ci_df.columns = ['mean', 'ci_lower', 'ci_upper']
print(ci_df.round(2))

فترة الثقة للتكوين A واسعة (من حوالي 73 إلى 98) بسبب القيمة الشاذة. فترة الثقة للتكوين B ضيقة (68 إلى 72). الفترات المتداخلة تشير إلى أن التكوينات قد لا تكون مختلفة إحصائيًا، على الرغم من اختلاف المتوسطات.

تحليل أنماط الفشل

حدد المهام التي تسبب الفشل. سنضع علامة على أي درجة أقل من عتبة معينة.

threshold = 50  # تعريف عتبة الفشل
failures = data[data['score'] < threshold]
print("حالات الفشل (الدرجة < 50):")
print(failures.groupby(['config', 'task']).size().unstack(fill_value=0))

التكوين A يفشل فقط في task_0. التكوين C يفشل في عدة مهام. التكوين D يفشل في المهام 10-19. هذا يحدد بدقة أين يواجه كل تكوين صعوبات.

أمثلة الاستخدام

مثال 1: مقارنة تكوينين

لنفترض أنك تختار بين التكوين A والتكوين B. بدلاً من مقارنة المتوسطات، قم بتشغيل اختبار t لعينتين أو اختبار مان-ويتني U.

config_a_scores = data[data['config'] == 'A']['score']
config_b_scores = data[data['config'] == 'B']['score']

t_stat, p_value = stats.ttest_ind(config_a_scores, config_b_scores)
print(f"اختبار t: t={t_stat:.3f}, p={p_value:.3f}")

# البديل غير المعلمي
u_stat, p_value_u = stats.mannwhitneyu(config_a_scores, config_b_scores)
print(f"مان-ويتني U: U={u_stat:.0f}, p={p_value_u:.3f}")

قيمة p عالية (>0.05) تعني أنه لا يمكنك استنتاج أن التكوينين مختلفان، حتى لو اختلفت المتوسطات.

مثال 2: إنشاء مخطط رادار للتقييم متعدد المقاييس

حدد مقاييس متعددة (مثل الدقة، زمن الاستجابة، المتانة، الأمان) وقم برسمها.

# محاكاة مقاييس متعددة
metrics = ['الدقة', 'زمن الاستجابة', 'المتانة', 'الأمان']
config_metrics = {
    'A': [90, 50, 60, 20],
    'B': [70, 80, 85, 90],
    'C': [80, 60, 70, 60]
}

import numpy as np
import matplotlib.pyplot as plt

angles = np.linspace(0, 2*np.pi, len(metrics), endpoint=False).tolist()
angles += angles[:1]

fig, ax = plt.subplots(figsize=(8,8), subplot_kw=dict(polar=True))
for config, values in config_metrics.items():
    values += values[:1]
    ax.plot(angles, values, label=config)
    ax.fill(angles, values, alpha=0.1)
ax.set_xticks(angles[:-1])
ax.set_xticklabels(metrics)
ax.legend(loc='upper right')
plt.show()

التكوين A يتفوق في الدقة لكنه يفشل في الأمان. التكوين B متوازن. مخطط الرادار يجعل المقايضات واضحة.

مثال 3: أتمتة خط أنابيب التقييم

أنشئ سكريبت Python يقوم بتحميل النتائج، وحساب الإحصائيات، وإنشاء تقرير.

# احفظ كـ evaluate_agents.py
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns
from scipy import stats

def evaluate_agents(csv_path, output_dir='./eval_results'):
    import os
    os.makedirs(output_dir, exist_ok=True)
    
    df = pd.read_csv(csv_path)
    
    # إحصائيات موجزة
    summary = df.groupby('config')['score'].agg(['mean','median','std','min','max'])
    summary.to_csv(f'{output_dir}/summary.csv')
    
    # مخطط صندوقي
    plt.figure()
    sns.boxplot(data=df, x='config', y='score')
    plt.savefig(f'{output_dir}/boxplot.png')
    
    # تحليل الفشل
    failures = df[df['score'] < 50]
    failures.to_csv(f'{output_dir}/failures.csv')
    
    print(f"تم حفظ النتائج في {output_dir}")

if __name__ == '__main__':
    evaluate_agents('results.csv')

قم بتشغيله باستخدام:

python evaluate_agents.py

الخاتمة

ترتيب تكوينات الوكلاء حسب متوسط الدرجات هو تبسيط خطير يخفي التباين، ويُخفي حالات الفشل الكارثية، ويكافئ الأداء المتوسط. بدلاً من ذلك، اعتمد إطار تقييم أكثر ثراءً يتضمن إحصائيات التوزيع، والتصورات، وفترات الثقة، وتحليل أنماط الفشل. الكود والأمثلة المقدمة هنا تمنحك نقطة انطلاق عملية لتنفيذ هذا في مشاريعك الخاصة.

من خلال تجاوز المتوسطات، ستتخذ قرارات أكثر استنارة، وتبني وكلاء أكثر متانة، وتتجنب المفاجآت المكلفة في الإنتاج. تذكر: الهدف ليس العثور على التكوين بأعلى متوسط - بل العثور على التكوين الذي يؤدي بشكل موثوق عبر السيناريوهات الأكثر أهمية.