فهم Mistral NeMo: حجم النموذج، نافذة السياق، وأداة تحليل توكنات Tekken

فهم Mistral NeMo: حجم النموذج، نافذة السياق، وأداة تحليل التوكنات في Tekken

في 18 يوليو 2024، أعلنت Mistral AI عن إصدار Mistral NeMo، وهو نموذج ذو 12B معلمة تم تطويره بالتعاون مع NVIDIA. يمثل هذا الإصدار خطوة كبيرة في جلب قدرات الذكاء الاصطناعي المتقدمة إلى جمهور أوسع، مع التركيز بشكل خاص على التطبيقات متعددة اللغات واعتمادها من قبل الشركات. صُمم النموذج ليكون سهل الوصول إليه، حيث يوفر نسخًا أساسية مدربة مسبقًا ونقاط تحقق مضبوطة حسب التعليمات تحت رخصة Apache 2.0 لتسهيل استخدامه من قبل الباحثين والشركات على حد سواء.

هندسة النموذج وتطبيقه

يعتمد Mistral NeMo على هندسة قياسية، وصفها المُنشر بأنها تجعل النموذج سهل الاستخدام وبديلاً مناسبًا للأنظمة التي تستخدم حاليًا Mistral 7B.، كما أن هذه التوافقية الهندسية تسمح بالتكامل المباشر مع سلاسل العمل الحالية دون الحاجة إلى تغييرات كبيرة في البنية التحتية.

تُخزن أوزان النموذج على HuggingFace لكل من النسخة الأساسية والنسخ المضبوطة حسب التعليمات. لأغراض التنبؤ والتكيف، توفر Mistral AI أدوات محددة: يمكن للمستخدمين تجربة النموذج باستخدام mistral-inference وتكييفه باستخدام mistral-finetune. بالإضافة إلى ذلك، يتم عرض النموذج على la Plateforme تحت اسم open-mistral-nemo-2407. بالنسبة لبيئات الشركات، يتم تغليف النموذج كخدمة ميكروية للتنبؤ NVIDIA NIM وهو متاح عبر ai.nvidia.com.

نافذة السياق وقدرات التفكير

إحدى الميزات المميزة لـ Mistral NeMo هي نافذة السياق الكبيرة لديه، والتي تصل إلى 128k توكنًا. تسمح هذه القدرة للنموذج بمعالجة واستبقاء المعلومات من وثائق ضخمة أو تسلسلات طويلة من التفاعلات.

من حيث الأداء، تذكر Mistral AI أن قدرة النموذج على التفكير المنطقي ومعرفته بالعالم ودقة كتابته للكود تعتبر من أحدث ما توصل إليه القطاع ضمن فئته الحجمية. وللتحقق من هذه الادعاءات، قدم الناشر مقارنة بين النموذج الأساسي Mistral NeMo ونموذجين آخرين مفتوحي المصدر تم تدريبهما مسبقًا وهما Gemma 2 9B وLlama 3 8B.، وتوضح هذه المقارنة، الموجودة في الجدول 1 ضمن الإعلان، التفوق التنافسي للنموذج من حيث مؤشرات الدقة.

من المهم التمييز بين مرحلة التدريب المسبق ومرحلة التعديل الدقيق. يعمل النموذج الأساسي كأساس، بينما يخضع النموذج المعدل لتعليمات محددة لمرحلة تعديل دقيقة ومواءمة متقدمة. تعزز هذه المرحلة بشكل كبير قدرة النموذج على اتباع التعليمات الدقيقة وإدارة المحادثات المتعددة الجولات وإنشاء الكود مقارنة بنموذج Mistral 7B السابق. تم إجراء تقييمات دقة النموذج المعدل باستخدام GPT4o كمعيار في المراجع الرسمية، كما هو موضح في الجدول 2 ضمن المواد المصدرية.

الكفاءة متعددة اللغات

تم تصميم Mistral NeMo صراحةً للاستخدامات العالمية متعددة اللغات. تم تدريب النموذج على استدعاء الدوال ويظهر قوة خاصة في مجموعة واسعة من اللغات، بما في ذلك الإنجليزية والفرنسية والألمانية والإسبانية والإيطالية والبرتغالية والصينية واليابانية والكورية والعربية والهندية.

يشير الناشر إلى أن هذا التطور يمثل خطوة جديدة نحو جعل نماذج الذكاء الاصطناعي المتقدمة في متناول الجميع بجميع اللغات التي تشكل الثقافة البشرية. يوضح الأداء في معايير اللغات المتعددة في الشكل 1 ضمن الإعلان، قدرات النموذج في هذه البيئات اللغوية المتنوعة.

أداة تحليل الرموز في Tekken

أحد المكونات الأساسية لكفاءة Mistral NeMo هو استخدام أداة تحليل رموز جديدة تُدعى Tekken. تعتمد هذه الأداة على Tiktoken وتم تدريبها على أكثر من 100 لغة. وظيفتها الأساسية هي ضغط نصوص اللغة الطبيعية وكود المصدر بكفاءة أعلى مقارنة بأداة SentencePiece المستخدمة في نماذج Mistral السابقة.

تختلف مكاسب الكفاءة التي يوفرها Tekken حسب نوع اللغة. على وجه التحديد، يكون أداة التقسيم أكثر كفاءة بحوالي 30% في ضغط الكود المصدري، بالإضافة إلى اللغات الصينية والإيطالية والفرنسية والألمانية والإسبانية والروسية. بالنسبة لبعض اللغات، تكون كفاءة الضغط أعلى أيضًا: فـ Tekken أكثر كفاءة بـ 2x في ضغط اللغة الكورية، وأكثر كفاءة بـ 3x في ضغط اللغة العربية مقارنة بالطرق السابقة.

مقارنةً بأداة تحليل النصوص Llama 3، أثبتت أداة Tekken كفاءة أعلى في ضغط النصوص بنسبة تقارب 85% من جميع اللغات. يتم عرض معدلات الضغط هذه في الشكل 2 ضمن الإعلان. يساهم استخدام أداة تحليل نصوص أكثر كفاءة في تحسين الأداء العام للنموذج، خاصة عند دمجها مع ميزة الوعي بالتكميم.

وعي التكميم والاستنتاج

تم تدريب Mistral NeMo باستخدام مفهوم التكميم، وهي تقنية تسمح بإجراء عمليات الاستنتاج باستخدام FP8 دون أي خسارة في الأداء. تعتبر هذه الميزة ضرورية لتطبيق النماذج الكبيرة في بيئات محدودة الموارد الحسابية، حيث تسمح بسرعات استنتاج أعلى واستخدام أقل للذاكرة مع الحفاظ على دقة النموذج.

مقارنات الأداء

لتوفير سياق حول قدرات النموذج، أصدرت Mistral AI جدولًا يقارن دقة النموذج الأساسي Mistral NeMo مع Gemma 2 9B وLlama 3 8B. يهدف هذا المقارنة إلى تحديد مكانة Mistral NeMo ضمن المشهد الحالي للنماذج مفتوحة المصدر. بالإضافة إلى ذلك، يتم قياس دقة النموذج المُعدل بناءً على التعليمات مقارنةً بـ Mistral 7B، مما يُظهر تحسينات في اتباع التعليمات وإنشاء الكود.

يؤكد الناشر أن هذه الادعاءات المتعلقة بالأداء تستند إلى تقييمات أُجريت باستخدام GPT4o كحكم في المراجع الرسمية. ويُشار إلى أن عرض نموذج توضيحي ليس قياسًا مُدققًا بشكل مستقل، كما أن غياب قيم الرسوم البيانية أو الجداول لا يثبت بشكل قاطع هوية الفائزين في جميع السيناريوهات. ومع ذلك، تُظهر البيانات المقدمة من Mistral AI أداءً قويًا مقارنةً بالنماذج ذات الحجم المماثل.

الخلاصة

يمثل Mistral NeMo تقدمًا كبيرًا في نماذج اللغة الكبيرة مفتوحة المصدر، حيث يوفر بنية معاملات 12B مع نافذة سياق للرموز 128k ودعمًا قويًا للغات المتعددة. ومن خلال دمج أداة تحليل النصوص Tekken والتدريب الواعي بالكمية، يحقق النموذج كفاءة وأداءً عاليين مناسبين للاستخدامات البحثية والتجارية. وبفضل توافره تحت رخصة Apache 2.0 ودعمه لأدوات التنبؤ القياسية، يوفر Mistral NeMo خيارًا عمليًا للمطورين الذين يسعون إلى الاستفادة من أحدث قدرات التفكير والبرمجة بطريقة قابلة للتوسع.

المصدر: Mistral NeMo | Mistral AI — https://mistral.ai/news/mistral-nemo/