Comprendre Mistral NeMo : taille du modèle, fenêtre de contexte et tokeniseur Tekken

Comprendre Mistral NeMo : taille du modèle, fenêtre de contexte et tokeniseur Tekken

Le 18 juillet 2024, Mistral AI a annoncé la sortie de Mistral NeMo, un modèle à 12B paramètres développé en collaboration avec NVIDIA. Cette sortie a marqué une étape importante dans la mise à disposition de capacités d’IA de pointe à un public plus large, en ciblant spécifiquement les applications multilingues et l’adoption par les entreprises. Le modèle est conçu pour être accessible, offrant des versions pré-entraînées de base ainsi que des checkpoints ajustés selon des instructions, sous la licence Apache 2.0, afin de faciliter son utilisation tant par les chercheurs que par les entreprises.

Architecture du modèle et déploiement

Mistral NeMo est basé sur une architecture standard, que son éditeur décrit comme permettant d’utiliser facilement le modèle et de le substituer directement aux systèmes utilisant actuellement Mistral 7B.. Cette compatibilité architecturale permet une intégration simple dans les workflows existants, sans nécessiter de modifications importantes de l’infrastructure.

Les poids du modèle sont hébergés sur HuggingFace pour les versions de base ainsi que celles ajustées selon des instructions. Pour l’inference et l’adaptation, Mistral AI fournit des outils spécifiques : les utilisateurs peuvent essayer le modèle à l’aide de mistral-inference et l’adapter à l’aide de mistral-finetune. De plus, le modèle est mis à disposition sur la Plateforme sous le nom de open-mistral-nemo-2407. Pour les environnements d’entreprise, le modèle est emballé en tant que microservice d’inference NVIDIA NIM et est disponible auprès de ai.nvidia.com.

Fenêtre de contexte et capacités de raisonnement

Une caractéristique distinctive de Mistral NeMo est sa grande fenêtre de contexte, qui s’étend jusqu’à 128k tokens. Cette capacité permet au modèle de traiter et de conserver des informations provenant de documents volumineux ou de longues séquences d’interactions.

En termes de performances, Mistral AI affirme que le raisonnement du modèle, ses connaissances du monde et sa précision en codage sont au niveau le plus élevé pour sa catégorie de taille. Pour valider ces affirmations, l’éditeur a fourni une comparaison du modèle de base Mistral NeMo avec deux autres modèles pré-entraînés open source récents : Gemma 2 9B et Llama 3 8B.. La comparaison, détaillée dans le tableau 1 de l’annonce, met en évidence la position compétitive du modèle en termes de métriques de précision.

Il est important de distinguer entre la phase de pré-entraînement et la phase de fine-tuning. Le modèle de base sert de fondation, tandis que la version ajustée aux instructions subit une phase avancée de fine-tuning et d’alignement. Cette phase améliore considérablement la capacité du modèle à suivre des instructions précises, à gérer des conversations multi-turns et à générer du code par rapport au modèle Mistral 7B précédent. Les évaluations de précision pour le modèle ajusté aux instructions ont été menées en utilisant GPT4o comme juge sur des références officielles, comme indiqué dans le tableau 2 du matériel source.

Compétences multilingues

Mistral NeMo a été conçu explicitement pour des applications mondiales multilingues. Le modèle est entraîné sur l’appel de fonctions et montre une force particulière dans un large éventail de langues, y compris l’anglais, le français, l’allemand, l’espagnol, l’italien, le portugais, le chinois, le japonais, le coréen, l’arabe et l’hindi.

L’éditeur note que ce développement représente une nouvelle étape vers la mise à disposition de modèles d’IA de pointe dans toutes les langues qui font partie de la culture humaine. Les performances sur des benchmarks multilingues sont illustrées dans la figure 1 de l’annonce, montrant les capacités du modèle dans ces diverses sphères linguistiques.

Le tokeniseur Tekken

Un composant essentiel de l’efficacité de Mistral NeMo est l’utilisation d’un nouveau tokeniseur nommé Tekken. Ce tokeniseur est basé sur Tiktoken et a été entraîné sur plus de 100 langues. Sa fonction principale est de compresser le texte en langue naturelle et le code source de manière plus efficace que le tokeniseur SentencePiece utilisé dans les modèles Mistral précédents.

Les gains d’efficacité fournis par Tekken varient en fonction du type de langue. Plus précisément, le tokeniseur est d’environ 30% plus efficace pour compresser le code source, ainsi que le chinois, l’italien, le français, l’allemand, l’espagnol et le russe. Pour certaines langues, l’efficacité de compression est encore plus élevée : Tekken est 2x plus efficace pour compresser le coréen et 3x plus efficace pour compresser l’arabe par rapport aux méthodes précédentes.

Par rapport au tokeniseur Llama 3, Tekken s’est avéré plus performant pour compresser du texte dans environ 85% de toutes les langues. Ces taux de compression sont visualisés dans la Figure 2 de l’annonce. L’utilisation d’un tokeniseur plus efficace contribue aux performances globales du modèle, en particulier lorsqu’elle est associée à une prise en compte de la quantification.

Prise en compte de la quantification et inférence

Mistral NeMo a été entraîné avec une prise en compte de la quantification, une technique qui permet des inférences FP8 sans aucune perte de performance. Cette fonctionnalité est cruciale pour déployer de grands modèles dans des environnements où les ressources informatiques sont limitées, car elle permet des vitesses d’inférence plus élevées et une utilisation moindre de la mémoire tout en maintenant la précision du modèle.

Comparaisons de performances

Afin de fournir un contexte sur les capacités du modèle, Mistral AI a publié un tableau comparant la précision du modèle de base Mistral NeMo avec Gemma 2 9B et Llama 3 8B.. Cette comparaison permet de positionner Mistral NeMo au sein du paysage actuel des modèles open source. De plus, la précision du modèle ajusté aux instructions est évaluée par rapport à Mistral 7B, montrant des améliorations en matière de suivi d’instructions et de génération de code.

L’éditeur souligne que ces affirmations de performance sont basées sur des évaluations réalisées avec GPT4o en tant qu’arbitre sur des références officielles. Il convient de noter qu’une démonstration de modèle n’est pas une mesure vérifiée de manière indépendante, et que l’absence de valeurs dans des graphiques ou des tableaux ne prouve pas définitivement les gagnants dans tous les scénarios. Cependant, les données fournies par Mistral AI indiquent un profil de performance solide par rapport aux modèles de taille similaire.

Conclusion

Mistral NeMo représente une avancée significative dans les modèles de langage de source ouverte de grande taille, offrant une architecture de paramètres 12B avec une fenêtre de contexte de tokens 128k et un support multilingue robuste. Grâce à l’intégration du tokeniseur Tekken et à un entraînement conscient de la quantification, le modèle atteint une haute efficacité et des performances adaptées tant aux applications de recherche qu’aux applications d’entreprise. Avec sa disponibilité sous la licence Apache 2.0 et son support pour les outils d’inférence standards, Mistral NeMo constitue une option viable pour les développeurs souhaitant tirer parti de capacités de raisonnement et de codage de pointe de manière scalable.

Source : Mistral NeMo | Mistral AI — https://mistral.ai/news/mistral-nemo/