Ist es agentisch genug? Benchmarking offener Modelle mit eigenen Tools

Ist es agentisch genug? Open-Source-Modelle mit eigenen Tools benchmarken

Die Diskussion über künstliche Intelligenz hat sich im vergangenen Jahr dramatisch verändert. Wir fragen nicht mehr, ob ein Modell kohärenten Text generieren oder Objekte in einem Bild erkennen kann. Stattdessen lautet die entscheidende Frage für Entwickler, Forscher und Unternehmensteams: *Kann dieses Modell in meinem Namen handeln?* Mit anderen Worten: Ist es agentisch genug?

Agentisches Verhalten – die Fähigkeit zu planen, Werkzeuge zu nutzen, mehrstufige Aufgaben auszuführen und auf Feedback zu reagieren – ist die neue Grenze der KI-Fähigkeiten. Aber diese Fähigkeit zu messen, ist bekanntermaßen schwierig. Standard-Benchmarks erfassen oft nicht die chaotische, domänenspezifische Realität der tatsächlichen Werkzeugnutzung. Dieser Artikel untersucht, warum Sie Open-Source-Modelle mit Ihren eigenen Tools benchmarken sollten, wie Sie aussagekräftige Evaluierungen entwerfen und was die neueste Forschung aus Quellen wie dem Hugging Face Blog und dem DeepMind Blog über den Stand der agentischen KI sagt.

Der Aufstieg der agentischen KI

Jahrelang konzentrierten sich KI-Benchmarks auf statische Aufgaben: Fragenbeantwortung, Übersetzung, Bildklassifikation. Diese Metriken sagten uns, wie gut ein Modell die Welt verstand, aber nicht, wie gut es sie *verändern* konnte. Die Verschiebung hin zu agentischen Systemen ändert dies.

Ein agentisches Modell kann:

• Ein übergeordnetes Ziel akzeptieren (z. B. "Finde den besten Preis für dieses Produkt und sende mir eine Zusammenfassung per E-Mail").
• Dieses Ziel in Unteraufgaben aufteilen (suchen, vergleichen, E-Mail entwerfen).
• Externe Werkzeuge nutzen (Webbrowser, APIs, Datenbanken).
• Sich von Fehlern erholen und seinen Plan anpassen.

Wie in Diskussionen im AI Alignment Forum angemerkt, bringt dies neue Herausforderungen mit sich. Ein Modell, das perfekte Gedichte schreibt, kann katastrophal scheitern, wenn es aufgefordert wird, ein Dateisystem zu durchsuchen oder mit einer unzuverlässigen API zu interagieren. Die Lücke zwischen statischem Wissen und dynamischem Handeln ist der Punkt, an dem agentisches Benchmarking unerlässlich wird.

Warum Standard-Benchmarks nicht ausreichen

Standard-Benchmarks wie MMLU, HumanEval oder sogar neuere agentische Benchmarks (z. B. SWE-bench, AgentBench) sind wertvoll, haben aber Einschränkungen, wenn sie auf Ihren spezifischen Anwendungsfall angewendet werden.

Erstens testen sie einen festen Satz von Werkzeugen und Umgebungen. Ihr Stack könnte eine benutzerdefinierte API, eine Legacy-Datenbank oder einen proprietären Workflow verwenden. Wenn das Modell diese Werkzeuge noch nie gesehen hat, ist seine Leistung im Benchmark möglicherweise nicht übertragbar.

Zweitens gehen diese Benchmarks oft von idealisierten Bedingungen aus: klare Anweisungen, stabile APIs, deterministische Umgebungen. Reale agentische Aufgaben beinhalten mehrdeutige Anfragen, Netzwerkausfälle und Werkzeuge, die ihr Verhalten im Laufe der Zeit ändern.

Drittens, und das ist entscheidend, sagen Ihnen Standard-Benchmarks, wie ein Modell bei einer *durchschnittlichen* Aufgabe abschneidet. Sie sagen Ihnen nicht, wie es bei *Ihrer* Aufgabe abschneidet. Wie der Hugging Face Blog betont hat, bewegt sich die Community in Richtung anpassbarerer Evaluierungs-Frameworks, die es Teams ermöglichen, ihre eigenen Daten und Werkzeuge einzubringen.

Entwerfen Sie Ihren eigenen agentischen Benchmark

Der Aufbau eines benutzerdefinierten Benchmarks für agentische Modelle erfordert kein großes Forschungslabor. Es erfordert klares Denken darüber, was "agentisch" in Ihrem Kontext bedeutet. Hier ist ein praktischer Rahmen.

Schritt 1: Definieren Sie Ihre agentischen Aufgaben

Beginnen Sie damit, die tatsächlichen Aufgaben aufzulisten, die Ihr KI-System ausführen muss. Zum Beispiel:

• "Durchsuchen Sie eine Wissensdatenbank, rufen Sie relevante Dokumente ab und fassen Sie sie zusammen."
• "Navigieren Sie durch ein dreistufiges Formular, füllen Sie Daten aus einer externen CSV-Datei ein und senden Sie sie ab."
• "Überwachen Sie eine Logdatei, erkennen Sie Anomalien und lösen Sie einen Alarm über Slack aus."

Jede Aufgabe sollte ein in sich geschlossenes Szenario mit einem klaren Erfolgskriterium sein. Vermeiden Sie vage Ziele wie "hilfreich sein" – seien Sie spezifisch in Bezug auf die beteiligten Werkzeuge und die erwartete Ausgabe.

Schritt 2: Erstellen Sie eine Testumgebung

Sie benötigen eine kontrollierte Umgebung, in der das Modell mit Werkzeugen interagieren kann. Dies kann so einfach wie ein Python-Skript sein, das API-Aufrufe simuliert, oder ein aufwändigeres Setup mit containerisierten Diensten. Der Schlüssel ist Reproduzierbarkeit: Derselbe Prompt sollte eine deterministische (oder zumindest nachvollziehbare) Abfolge von Aktionen erzeugen.

Viele Open-Source-Frameworks unterstützen dies jetzt. Sie können beispielsweise LangChain oder ähnliche Bibliotheken verwenden, um Werkzeuge zu definieren und dann jede Aktion des Modells zu protokollieren. Der Hugging Face Blog hat hervorgehoben, wie die Community modulare Evaluierungssuiten entwickelt, mit denen Sie verschiedene Modelle und Werkzeuge austauschen können, ohne Ihre Tests neu schreiben zu müssen.

Schritt 3: Definieren Sie Metriken jenseits der Genauigkeit

Agentische Leistung ist mehrdimensional. Betrachten Sie diese Metriken:

• **Aufgabenerfüllungsrate**: Hat das Modell die Aufgabe abgeschlossen?
• **Effizienz**: Wie viele Schritte oder API-Aufrufe hat es verwendet?
• **Fehlerbehebung**: Wenn ein Werkzeug ausfällt (z. B. API-Timeout), wiederholt das Modell den Vorgang, bittet es um Hilfe oder gibt es auf?
• **Werkzeugauswahl**: Wählt es das richtige Werkzeug für jede Unteraufgabe?
• **Sicherheit**: Führt es gefährliche oder unbeabsichtigte Aktionen aus (z. B. Löschen von Dateien)?

Ein Modell, das eine Aufgabe in 10 Schritten ohne Fehler abschließt, kann besser sein als eines, das in 3 Schritten fertig wird, aber menschliches Eingreifen erfordert, um einen Fehler zu beheben.

Schritt 4: Führen Sie den Benchmark mit mehreren Open-Source-Modellen durch

Das Schöne an Open-Source-Modellen ist, dass Sie sie auf Ihrer eigenen Hardware mit Ihren eigenen Daten testen können. Probieren Sie eine Reihe von Größen und Architekturen aus:

• Kleine Modelle (7B Parameter) für Geschwindigkeit und Kosten.
• Mittlere Modelle (13B–34B) für eine Balance zwischen Fähigkeit und Ressourcennutzung.
• Große Modelle (70B+) für maximale Leistung, wenn Sie die Infrastruktur haben.

Dokumentieren Sie nicht nur die Ergebnisse, sondern auch das qualitative Verhalten. Folgt das Modell den Anweisungen wörtlich oder interpretiert es die Absicht? Stellt es klärende Fragen, wenn etwas mehrdeutig ist? Diese Nuancen sind in der Produktion wichtig.

Was die Forschung uns sagt

Aktuelle Arbeiten vom DeepMind Blog und anderen haben Licht auf die Stärken und Schwächen von Open-Source-Modellen in agentischen Kontexten geworfen.

Ein durchgängiger Befund ist, dass **Instruction Tuning** wichtiger ist als die reine Parameteranzahl. Ein gut abgestimmtes 13B-Modell kann ein größeres, nicht abgestimmtes Modell bei Werkzeugnutzungsaufgaben übertreffen. Dies liegt daran, dass agentisches Verhalten das Verständnis komplexer, mehrstufiger Anweisungen erfordert – eine Fähigkeit, die durch spezialisiertes Feintuning verbessert wird.

Eine weitere Erkenntnis ist die Bedeutung von **Chain-of-Thought-Prompting**. Modelle, die ermutigt werden, "Schritt für Schritt zu denken", bevor sie handeln, zeigen eine deutlich bessere Werkzeugauswahl und Fehlerbehebung. Dies hat jedoch seinen Preis: längere Inferenzzeiten und höhere Token-Nutzung. Ihr Benchmark sollte diesen Kompromiss berücksichtigen.

Das AI Alignment Forum hat auch Bedenken hinsichtlich **Reward Hacking** in agentischen Benchmarks geäußert. Wenn ein Modell lernt, dass das schnelle Erledigen einer Aufgabe belohnt wird, könnte es Abkürzungen nehmen, die Sicherheitsbeschränkungen verletzen. Ihr benutzerdefinierter Benchmark sollte Randfälle enthalten, die dies testen.

Praxisbeispiel: Benchmarking eines Wissensabruf-Agenten

Lassen Sie uns ein konkretes Beispiel durchgehen. Angenommen, Sie möchten einen Agenten bauen, der Kundendienstanfragen beantwortet, indem er eine Datenbank mit Produkthandbüchern durchsucht.

**Aufgabe**: "Finden Sie das Handbuch für Produkt X, lokalisieren Sie den Abschnitt zur Fehlerbehebung für Fehlercode Y und geben Sie die relevante Seitennummer zurück."

**Werkzeuge**: Eine Such-API, ein Dokumentenparser und eine einfache Datenbank.

**Getestete Modelle**: Llama 3 8B, Mistral 7B und Qwen 2.5 32B (alle Open Source).

**Ergebnisse**:

• Llama 3 8B erledigte die Aufgabe in 70% der Fälle, suchte aber oft nach der falschen Produktvariante.
• Mistral 7B war schneller, gab aber manchmal das gesamte Handbuch zurück anstatt der spezifischen Seite.
• Qwen 2.5 32B hatte die höchste Erfüllungsrate (90%) und interpretierte mehrdeutige Anfragen korrekt, benötigte aber die dreifache Rechenleistung.

**Erkenntnis**: Für Ihren Anwendungsfall könnte das kleinere Llama-Modell ausreichen, wenn Sie einen Validierungsschritt hinzufügen, der prüft, ob die zurückgegebene Seite tatsächlich den Fehlercode enthält. Dies ist eine Form der werkzeugseitigen Kompensation für Modellschwächen.

Häufige Fallstricke beim benutzerdefinierten Benchmarking

Achten Sie beim Erstellen Ihres eigenen agentischen Benchmarks auf diese Probleme:

• **Die Antwort preisgeben**: Wenn Ihre Testumgebung zu viel Kontext liefert (z. B. die Antwort im System-Prompt enthält), erscheint das Modell fähiger, als es ist.
• **Latenz ignorieren**: Ein Modell, das 30 Sekunden zum Planen benötigt, bevor es handelt, kann für Echtzeitanwendungen unpraktisch sein. Fügen Sie zeitbasierte Metriken hinzu.
• **Isoliert testen**: Ein Agent, der perfekt mit einem einzelnen Werkzeug funktioniert, kann scheitern, wenn er drei Werkzeuge gleichzeitig jonglieren muss. Entwerfen Sie Szenarien mit mehreren Werkzeugen.
• **Sicherheit vergessen**: Agentische Modelle können echten Schaden anrichten, wenn sie Dateien löschen, unbeabsichtigte E-Mails senden oder auf eingeschränkte Daten zugreifen. Fügen Sie adversarial Testfälle hinzu.

Werkzeuge und Plattformen für benutzerdefiniertes Benchmarking

Sie müssen nicht alles von Grund auf neu bauen. Mehrere Open-Source-Projekte unterstützen jetzt benutzerdefinierte agentische Evaluierung:

• **LangChains Evaluierungs-Framework** ermöglicht es Ihnen, benutzerdefinierte Werkzeuge und Metriken zu definieren.
• **Hugging Faces Evaluierungs-Suite** ermöglicht es Ihnen, Ihre eigenen Datensätze und Modelle einzubringen.
• **OpenAIs Evals** (obwohl ursprünglich für geschlossene Modelle) können für Open-Source-Modelle angepasst werden.

Der Hugging Face Blog hat wiederholt betont, dass die Community bei standardisierten Formaten für agentische Evaluierungen zusammenkommt, was das Teilen und Vergleichen von Ergebnissen erleichtert.

Die Zukunft des agentischen Benchmarkings

Da Modelle immer leistungsfähiger werden, müssen sich auch die Benchmarks weiterentwickeln. Der DeepMind Blog hat die nächste Grenze angedeutet: **Multi-Agenten-Evaluierung**, bei der Modelle mit anderen Modellen oder Menschen koordinieren müssen. Dies ist besonders relevant für Unternehmensworkflows, die Übergaben zwischen KI-Agenten und menschlichen Prüfern beinhalten.

Ein weiterer aufkommender Trend ist **kontinuierliches Benchmarking**. Anstatt eines einmaligen Tests setzen Sie Ihren Benchmark als Überwachungswerkzeug ein, das nächtlich läuft und Sie alarmiert, wenn ein Modell-Update die agentische Leistung verschlechtert. Dies ist entscheidend für Produktionssysteme, bei denen sich das Modellverhalten im Laufe der Zeit ändern kann.

Schließlich weist das AI Alignment Forum darauf hin, dass agentische Benchmarks **Wertausrichtungstests** enthalten müssen. Ein Modell, das Werkzeuge nutzen kann, aber menschliche Anweisungen ignoriert, ist nicht nur nicht hilfreich – es ist gefährlich. Ihr benutzerdefinierter Benchmark sollte Szenarien enthalten, in denen das Modell um Erlaubnis fragen oder eine unethische Anfrage ablehnen muss.

Fazit

Die Frage "Ist es agentisch genug?" hat keine universelle Antwort. Sie hängt von Ihren Werkzeugen, Ihren Aufgaben und Ihrer Fehlertoleranz ab. Standard-Benchmarks bieten einen nützlichen Ausgangspunkt, aber sie können die Erkenntnisse nicht ersetzen, die Sie durch das Testen von Modellen in Ihrer eigenen Umgebung gewinnen.

Indem Sie einen benutzerdefinierten agentischen Benchmark entwerfen – der auf Ihren tatsächlichen Workflows basiert, mehrdimensionale Leistung misst und auf der Grundlage realer Fehler iteriert – gewinnen Sie ein tiefes Verständnis dafür, was Open-Source-Modelle können und was nicht. Sie bauen auch die Infrastruktur auf, um zukünftige Modelle zu evaluieren, sobald sie erscheinen.

Das Open-Source-Ökosystem reift schnell heran. Mit Frameworks von Hugging Face, Erkenntnissen von DeepMind und kritischen Perspektiven des AI Alignment Forums sind die Werkzeuge zur Beantwortung dieser Frage in Reichweite. Das Einzige, was fehlt, ist der Wille, Ihre Modelle dort zu testen, wo es am wichtigsten ist: in der chaotischen, unvorhersehbaren Welt echter Werkzeuge.

Also bauen Sie Ihren Benchmark. Führen Sie die Experimente durch. Und wenn jemand fragt, ob ein Modell agentisch genug ist, haben Sie die Daten, um zu antworten – nicht nur für das Feld, sondern für Ihren spezifischen, unersetzlichen Anwendungsfall.