إطار النوم: طريقة جديدة للنماذج اللغوية الكبيرة للاحتفاظ بالمعرفة في التعلم المستمر

إطار النوم: طريقة جديدة لنماذج اللغة الكبيرة للاحتفاظ بالمعرفة في التعلم المستمر

حققت نماذج اللغة الكبيرة الحديثة أداءً ملفتًا من خلال التدريب المسبق والتعلم داخل السياق (ICL). لكن، بمجرد نشر هذه النماذج، غالبًا ما تظل ثابتة إلى حد كبير، وتعمل باستخدام تاريخ انتهاء للمعرفة ثابت، مما يمنعها من اكتساب قدرات طويلة الأمد أو التكيف مع معلومات جديدة. وعلى الرغم من أن تحديث النماذج ببيانات جديدة يبدو الحل الواضح، إلا أن تحديث المعاملات باستمرار غالبًا ما يؤدي إلى نسيان كارثي، وهو مشكلة أساسية تتمثل في تدهور الأداء بشكل كبير في المهام التي تم تعلمها سابقًا عند تعلم مهام جديدة. وبدلاً من ذلك، فإن الاعتماد الصرف على ICL يحد من الاحتفاظ بالمعرفة إلى نطاق السياق الفوري؛ فبمجرد انتهاء جلسة السياق، يتم نسيان المعلومات قصيرة الأمد التي تم اكتسابها.

لمعالجة هذه القيود، قدمت أبحاث جوجل إطار عمل للنوم في التعلم المستمر. يوفر هذا النموذج التعليمي لنماذج اللغة الكبيرة دورة حياة دورية مستمرة، مما يمكّنها من التعلم باستمرار، ودمج السياق قصير الأمد الهش في معاملات طويلة الأمد مستقرة، وتخفيف آثار النسيان الكارثي أو تواريخ انتهاء المعرفة الثابتة. مستوحى من الطريقة التي يعالج بها الدماغ البشري ويستقر الذاكرة أثناء الراحة، يسمح هذا الإطار للنماذج بالتناوب بين التفاعل النشط وتثبيت الذاكرة خارج الشبكة.

المرحلتان النشطة ومرحلة النوم

ضمن نموذج النوم، تعمل نماذج اللغة الكبيرة في حالتين رئيسيتين: المرحلة النشطة (اليقظة) ومرحلة النوم. خلال المرحلة النشطة، تستقبل النموذج المدخلات بشكل نشط وتعالجها وتتفاعل معها، مخزنةً المعلومات المؤقتة في مكونات ذاكرة قصيرة الأمد سريعة. أما خلال مرحلة النوم، فإن النموذج يتوقف عن معالجة المدخلات الجديدة ويوجه حساباته الداخلية نحو تثبيت الذاكرة وتحسين الذات.

في حين أن مصطلحات مثل "النوم" و"الحلم" و"تحسين الذات" مستعارة من علم الأعصاب، تشير أبحاث جوجل إلى أن إطار عملها يعمل بالكامل ضمن هيكل نموذج ثابت وقواعد تدريب محددة من قبل الإنسان. خلال مرحلة النوم غير المتصل بالإنترنت، يفتح النموذج كتل ذاكرة Mixture-of-Experts (MoE) المخصصة مسبقًا ويحدث أوزانه العددية باستخدام أمثلة تدريبية مولدة ذاتيًا. يساعد هذا الدورة التلقائية بعد التدريب النموذج المُطبَّق على استيعاب حقائق جديدة وتحسين دقة استدلاله مع الحفاظ على قاعدة الكود الأساسية وتصميمه دون تغيير.

تعزيز الذاكرة وتوسيع المعاملات

يتعامل نموذج النوم مع المسألة المتعلقة بالنسيان الكارثي والتكيف المستمر من خلال مرحلتين: تعزيز الذاكرة والحلم. في الدماغ البشري، يقوم النوم بتيارات العين البطيئة غير السريعة (NREM) بتعزيز الذكريات الهشة إلى هياكل طويلة الأمد من خلال التجريد والتقطير. تحاكي أبحاث جوجل هذه الظاهرة الطبيعية من خلال آليات تقنية محددة.

لتعزيز الذاكرة، يستخدم الإطار عملية توسيع المعاملات وهرمية ذاكرة متصلة. لمنع النسيان الكارثي، يقوم النموذج بتعديل سعته بشكل ديناميكي أثناء النوم. باستخدام هيكل Mixture of Experts (MoE) وHope، يتم دمج خبراء منخفضي المرتبة تم فتحهم حديثًا في كتل ذاكرة مستقرة ذات تردد أقل لتخزين المعرفة الجديدة دون إعاقة المعاملات القديمة.

تشمل هذه العملية عملية زرع المعرفة، أو التقطير الصاعد. تُنقل الذكريات قصيرة الأمد الهشة المخزنة في طبقات عالية التردد (مثل الذاكرة داخل السياق) إلى المعاملات طويلة الأمد التي تم توسيعها حديثًا. يتم تحقيق ذلك من خلال عملية التقطير المعرفي المعمم (GKD) مع التعلم بالتعزيز (RL) والتعلم بالتقليد. على وجه التحديد، يسمح التقطير وفق السياسة للنموذج الطالب الموسع بالحصول على تغذية راجعة مخصصة لكل رمز من توزيعات المعلم التي يتم إنشاؤها من تسلسلات مأخوذة ذاتيًا. بالإضافة إلى ذلك، يمنح التعلم بالتقليد (LTI) النموذج الطالب مكافآت استنادًا إلى التشابه الدلالي والمطلق، مثل مسافة ليفنشتاين، عند إكمال بدايات النصوص المولدة من قبل المعلم.

بمجرد اكتمال تثبيت الذاكرة في وحدات ذات تردد أقل، يتم إعادة ضبط المعاملات المؤقتة ذات التردد العالي عبر عملية تقليم الوصلات العصبية. هذا يفسح المجال لجلسات نشطة مستقبلية، مما يضمن قدرة النموذج على الاستمرار في التعلم دون أن يكون مقيدًا بحجمه الأولي.

الحلم من أجل التحسين الذاتي

مثل نوم REM في الدماغ البشري، حيث يقوم الدماغ بمحاكاة سيناريوهات بشكل نشط واستكشاف مسارات عصبية جديدة، يُطبق إطار النوم حلقة تحسين ذاتي تلقائية خلال "مرحلة الحلم". تسمح هذه المرحلة للنموذج بإنتاج عينات تدريب اصطناعية وتحسين قدراته دون الحاجة إلى مدخلات خارجية.

تتضمن عملية الحلم ثلاثة مكونات رئيسية:

1. اختيار الخبراء العشوائي: أثناء إنتاج البيانات الاصطناعية، يقوم موجه MoE بتفعيل خبراء غير قياسيين بشكل عشوائي. هذا يجبر النموذج على دمج مجالات مختلفة من المعرفة واكتشاف أنماط كامنة قد لا تظهر أثناء التعلم النشط القياسي.
2. التدريب المختار بعناية: يقوم النموذج بإنتاج عينات تدريب اصطناعية ("أحلام") ويفلترها باستخدام اختيار البيانات المبني على المشتقات. هذا يعطي الأولوية للعينات التي لديها أعلى إمكانية لتحسين القدرات العامة للنموذج.
3. التحسين باستخدام تعلم الآلة: يقوم النموذج بتعديل دقيق موجه على أفضل عينات الأحلام ويقيّم ما إذا كان الإنتاج يحسّن الأداء في المهام اللاحقة.

تصف أبحاث جوجل تفعيل الخبراء العشوائي واختيار العينات بناءً على المكافآت كآليات لتحسين هندسة التعلم. يؤدي إدخال أنواع مختلفة من MoE إلى توسيع مجموعة اتجاهات المشتقات التي يتم استكشافها أثناء الإنتاج الاصطناعي، مما يعرض النموذج لمجموعة أغنى من التحديثات مقارنةً بتلك التي تنشأ فقط من بيانات اليقظة العادية. ثم يركز التصفية المبنية على المشتقات على التجارب الاصطناعية التي تحمل أكثر إشارات التعلم فائدة، مما يعزز الاتجاهات المفيدة مع الحفاظ على هيكل فضاء المشتقات الأساسي.

الأسس النظرية والأداء

خارج نطاق النتائج التجريبية، يستند نموذج النوم إلى نظرية توضح سبب قدرته على دعم التعلم المستمر دون مجرد استبدال المعرفة الجديدة بالقدرات القديمة. فيما يتعلق بتعزيز الذاكرة، تُظهر التحليلات أن زرع المعرفة يمكن فهمه كمشكلة ضغط منظمة ذات رتبة منخفضة. لا يُطلب من النموذج نسخ كل تفصيل من آثاره قصيرة الأمد إلى معاملاته؛ بدلاً من ذلك، يحدد مجموعة مختصرة من الاتجاهات التي تحافظ على أفضل وجه على سلوك النموذج الخاص به والخصائص الدلالية التي يكافئها هدف التعلم.

أما بالنسبة للأحلام، فإن النظرية تصف العملية كطريقة متعمدة لتنويع واختيار وتعزيز التحديثات. مجتمعة، تؤدي هذه الخطوات إلى بيئة تحسين أكثر توازناً، حيث يقل تأثير عدد صغير من الاتجاهات على عملية التعلم، وتتحسن شروط المشتقات، ويمكن للنموذج تحقيق تقدم أكثر استقراراً أثناء صقل قدراته.

تقدم أبحاث جوجل تقارير عن الأداء المقارن لإطار عمل النوم مقابل الأساليب الأساسية، بما في ذلك التعلم داخل السياق والضبط التحت إشراف، عبر المحاور الرئيسية للتقييم.

• الترجمة المستمرة: في اللغات غير المعروفة، مثل المانشو وكالامانغ، حافظ إطار النوم على انخفاض شبه صفري في الأداء خلال التقييمات متعددة المراحل. في المقابل، عانت الخطوط الأساسية القياسية مثل ICL وCartridges والضبط الدقيق تحت الإشراف (SFT) من نسيان كارثي شديد أثناء التعلم التسلسلي.
• فهم السياق الطويل: على معيار BABILong، أظهرت طريقة النوم قدرة توسعية شبه مثالية حتى 10M رمزًا. وقد تفوقت على خطوط أساسية قوية مثل GPT-4 وTitans من خلال استخدام تعزيز وقت النوم لضغط معلومات السياق الطويل مباشرةً إلى ذاكرة بارامترية.
• دمج المعرفة الواقعية: عند التقييم على SQuAD والتدريب المسبق المستمر (CPT)، حققت طريقة النوم درجة 48.9% في المهام الفردية ودرجة 46.2% في تقييمات CPT. وقد تفوقت على طرق الخط الأساسي بما في ذلك النموذج الأساسي وSFT ونماذج اللغة الذاتية التكيفية (SEAL) من خلال دمج معلومات واقعية جديدة بنجاح دون تدهور تمثيلات النموذج الحالية.
• الاستدلال الرياضي: على المعايير التي تشمل AIME 24/25 وHMMT 25، حقق النموذج الأساسي المعزز بالنوم درجات دقة بلغت على التوالي 79.2% و69.0% و46.1%. وقد تفوق على خطوط الأساس مثل SFT وتحسين السياسة النسبية الجماعية (GRPO) والتقطير الذاتي ضمن السياسة (OPSD)، مما يُظهر أن دمج تعزيز الذاكرة مع التعلم بالتقليد يؤدي إلى أداء استدلالي أفضل.

الخلاصة

يوفر نموذج النوم طريقًا نحو أنظمة ذكاء اصطناعي تتعلم بشكل مستمر وذاتية. من خلال التجاوز المستمر للتدريب المسبق الثابت ونوافذ السياق الهشة، والتناوب بين التعلم النشط وفترات الراحة خارج الشبكة، يمكّن ذلك نماذج LLM من الاحتفاظ بالذكريات قصيرة الأمد، وتحويل مهارات جديدة إلى هياكل بارامترية طويلة الأمد، وتحسين أدائها باستمرار دون حدوث نسيان كارثي. تشير هذه الدراسة، التي أجراها علي بهروز وفرنوش هاشيمي وعادل جافانمارد وفهاب ميرروكني، إلى أن تقليد دورات الراحة البيولوجية يمكن أن يكون استراتيجية قوية للجيل القادم من الذكاء الاصطناعي التكيفي.

المصدر:

• إطار النوم: طريقة جديدة للنماذج اللغوية الكبيرة للحفاظ على المعرفة في التعلم المستمر — أبحاث جوجل — https://research.google/blog/the-sleep-framework-a-new-way-for-llms-to-retain-knowledge-in-continual-learning