Mistral NeMo verstehen: Modellgröße, Kontextfenster und Tekken-Tokenizer

Mistral NeMo verstehen: Modellgröße, Kontextfenster und Tekken-Tokenizer

Am 18. Juli 2024 stellte Mistral AI das gemeinsam mit NVIDIA entwickelte Sprachmodell Mistral NeMo vor. Es verfügt über 12 Milliarden Parameter und ein Kontextfenster von bis zu 128.000 Tokens. Die Veröffentlichung richtet sich an Entwickler, Forschende und Unternehmen, die ein mehrsprachiges Modell nutzen oder an eigene Aufgaben anpassen möchten. Sowohl das vortrainierte Basismodell als auch die auf Anweisungen abgestimmte Variante wurden unter der Apache-2.0-Lizenz veröffentlicht.

Modellarchitektur und Verfügbarkeit

Mistral NeMo verwendet eine Standardarchitektur. Laut Mistral AI lässt es sich dadurch in bestehende Anwendungen integrieren und als Ersatz für Systeme einsetzen, die bisher Mistral 7B verwenden. Ob ein solcher Wechsel ohne weitere Anpassungen möglich ist, hängt jedoch von der jeweiligen Anwendung und ihren Ressourcen ab.

Die Modellgewichte beider Varianten sind auf Hugging Face verfügbar. Zum Ausführen des Modells stellt Mistral AI das Werkzeug mistral-inference bereit. Für die Anpassung an eigene Aufgaben gibt es mistral-finetune. Zum Zeitpunkt der Ankündigung war das Modell außerdem unter dem Namen open-mistral-nemo-2407 auf der Plattform von Mistral AI verfügbar. NVIDIA bot es zusätzlich als NIM-Inferenzdienst über ai.nvidia.com an.

Kontextfenster und Fähigkeiten

Das Kontextfenster von bis zu 128.000 Tokens erlaubt es, längere Dokumente oder umfangreiche Gesprächsverläufe als Eingabe zu verarbeiten. Ein großes Kontextfenster bedeutet allerdings nicht automatisch, dass das Modell sämtliche Informationen darin zuverlässig berücksichtigt.

Mistral AI beschreibt die Fähigkeiten in den Bereichen logisches Schlussfolgern, Allgemeinwissen und Programmierung als besonders leistungsfähig für ein Modell dieser Größenklasse. In der Ankündigung wird das Basismodell mit Gemma 2 9B und Llama 3 8B verglichen. Die dort veröffentlichten Ergebnisse sind Angaben des Anbieters und sollten entsprechend eingeordnet werden.

Das Basismodell und die auf Anweisungen abgestimmte Variante erfüllen unterschiedliche Zwecke. Das Basismodell bildet die Grundlage für weitere Anpassungen. Die abgestimmte Variante wurde zusätzlich darauf trainiert, Anweisungen zu befolgen, Gespräche über mehrere Nachrichten hinweg zu führen und Programmcode zu erzeugen. Laut Mistral AI verbessert sie diese Fähigkeiten gegenüber Mistral 7B. Für die Bewertung der auf Anweisungen abgestimmten Modelle wurde in der veröffentlichten Vergleichstabelle GPT-4o als Bewertungsmodell verwendet.

Mehrsprachige Unterstützung

Mistral NeMo wurde für mehrsprachige Anwendungen entwickelt und auch für Funktionsaufrufe trainiert. Mistral AI nennt unter anderem Englisch, Französisch, Deutsch, Spanisch, Italienisch, Portugiesisch, Chinesisch, Japanisch, Koreanisch, Arabisch und Hindi als unterstützte Sprachen mit guten Ergebnissen.

Die Ankündigung enthält außerdem eine Abbildung mit Ergebnissen mehrsprachiger Benchmarks. Solche Tests helfen dabei, die Fähigkeiten eines Modells einzuschätzen. Für einen konkreten Einsatz bleibt es sinnvoll, die Qualität in der gewünschten Sprache und mit den eigenen Aufgaben zu prüfen.

Der Tekken-Tokenizer

Ein zentraler Bestandteil von Mistral NeMo ist der neue Tokenizer Tekken. Er basiert auf Tiktoken und wurde mit Texten aus mehr als 100 Sprachen trainiert. Ein Tokenizer zerlegt Text in Einheiten, die das Modell verarbeiten kann. Eine effizientere Zerlegung kann dazu führen, dass derselbe Text weniger Tokens benötigt und damit weniger Platz im Kontextfenster beansprucht.

Laut Mistral AI komprimiert Tekken Quellcode sowie Texte auf Chinesisch, Italienisch, Französisch, Deutsch, Spanisch und Russisch ungefähr 30 Prozent effizienter als der zuvor verwendete SentencePiece-Tokenizer. Für Koreanisch nennt der Anbieter eine etwa doppelt so hohe Effizienz, für Arabisch eine etwa dreifach so hohe Effizienz.

Im Vergleich mit dem Tokenizer von Llama 3 soll Tekken bei ungefähr 85 Prozent der untersuchten Sprachen effizienter sein. Die zugehörigen Vergleiche sind in der Ankündigung dargestellt. Diese Angaben beziehen sich auf die Tokenisierung; sie sind kein allgemeiner Nachweis für eine bessere Antwortqualität.

Quantisierung und Inferenz

Mistral NeMo wurde unter Berücksichtigung der Quantisierung trainiert. Nach Angaben von Mistral AI ermöglicht dies die Inferenz mit FP8 ohne Leistungseinbußen. FP8 bezeichnet ein Zahlenformat mit 8 Bit, das den Speicherbedarf reduzieren kann.

Für den praktischen Einsatz sind neben dem Zahlenformat auch die verwendete Hardware, die Inferenzsoftware und die konkreten Aufgaben entscheidend. Die Aussage des Anbieters ersetzt daher keine Prüfung in der eigenen Umgebung.

Leistungsvergleiche einordnen

Die Veröffentlichung vergleicht das Basismodell mit Gemma 2 9B und Llama 3 8B. Für die auf Anweisungen abgestimmte Variante werden außerdem Ergebnisse gegenüber Mistral 7B gezeigt. Damit möchte Mistral AI die Position des Modells innerhalb seiner Größenklasse verdeutlichen.

Die Tabellen enthalten unterschiedliche Bewertungsverfahren. Bei dem Vergleich der auf Anweisungen abgestimmten Modelle kam GPT-4o als Bewertungsmodell zum Einsatz. Solche Ergebnisse sind hilfreich, stellen aber keine unabhängige Prüfung aller Fähigkeiten dar. Fehlende Werte oder einzelne Benchmark-Ergebnisse erlauben ebenfalls nicht den Schluss, dass ein Modell bei sämtlichen Aufgaben überlegen ist.

Fazit

Mistral NeMo verbindet 12 Milliarden Parameter mit einem großen Kontextfenster und mehrsprachigen Fähigkeiten. Der Tekken-Tokenizer soll Texte und Quellcode effizienter verarbeiten. Das Training unter Berücksichtigung der Quantisierung soll außerdem den Einsatz mit FP8 erleichtern.

Durch die Veröffentlichung unter der Apache-2.0-Lizenz und die bereitgestellten Werkzeuge ist das Modell eine interessante Option für Entwickler, Forschende und Unternehmen. Ob es für eine bestimmte Anwendung geeignet ist, sollte anhand eigener Tests beurteilt werden. Die Leistungsangaben in diesem Artikel stammen aus der Ankündigung von Mistral AI vom Juli 2024.

Quelle: Mistral NeMo – Mistral AI