Gemini Decisions API: Schnelle, kalibrierte multimodale Entscheidungen

Google stellt die Gemini Decisions API vor, die von Gemini Decision 1 angetrieben wird, um schnelle, präzise multimodale Entscheidungen zu treffen. Bis zu 1,000 Fragen aus Texten, Bildern, Audiodateien, Videos und PDFs können in einem einzigen Durchlauf mit Zuverlässigkeitswerten bewertet werden. Die API bietet Entwicklern eine geringe Latenz sowie kosteneffizientes Routing.

Vorlesen ist in diesem Browser nicht verfügbar
Gemini Decisions API: Schnelle, kalibrierte multimodale Entscheidungen

Tags

Kurze Zusammenfassung

Google stellt die Gemini Decisions API vor, die von Gemini Decision 1 angetrieben wird, um schnelle, präzise multimodale Entscheidungen zu treffen. Bis zu 1,000 Fragen aus Texten, Bildern, Audiodateien, Videos und PDFs können in einem einzigen Durchlauf mit Zuverlässigkeitswerten bewertet werden. Die API bietet Entwicklern eine geringe Latenz sowie kosteneffizientes Routing.

Gemini Decisions API: Schnelle, kalibrierte multimodale Entscheidungen

Google hat die Gemini Decisions API eingeführt – einen neuen Endpunkt, der schnelle, probabilistische Entscheidungen bei verschiedenen Datentypen ermöglicht. Angetrieben vom Gemini Decision 1-Modell lässt dieses Werkzeug Entwicklern bis zu 1,000 unabhängige Fragen in einem einzigen Durchlauf bewerten. Die API unterstützt Texte, Bilder, Audio, Video und PDFs und ermöglicht Anwendungen, die eine schnelle Bewertung, Richtlinienprüfungen oder Kontextbewertungen ohne die mit der herkömmlichen generativen Textdekodierung verbundene Verzögerung benötigen.

Laut Google liegt der Hauptvorteil der Decisions API in ihrer Fähigkeit, gleichzeitig Zuverlässigkeitswerte für mehrere Fragen zu berechnen. Anstatt Antworttexte Token für Token zu erzeugen, bewertet das Gemini Decision 1-Modell die möglichen Optionen in einem einzigen Durchlauf. Diese Architektur liefert Wahrscheinlichkeiten und Zuverlässigkeitswerte mit einer End-zu-Ende-Verzögerung von 150–250 ms. Die Preismodelle sind kosteneffizient gestaltet: Es wird $0.10 pro 1M Eingabetoken berechnet, wobei keine Gebühren für Ausgabetoken anfallen.

Modellarchitektur und Leistung

Das Gemini Decision 1-Modell (gemini-decision-1) basiert auf Geminis eigenständiger multimodaler Architektur. Diese Grundlage ermöglicht es dem Modell, Texte, Bilder, Audio, Video und PDFs direkt in einem einzigen Durchlauf zu verarbeiten. Nutzer können verschiedene Modalitäten in einer gemeinsamen Eingabe kombinieren – beispielsweise eine Anrufaufnahme mit Kontoinformationen oder ein gescanntes PDF mit Fotos des Schadens. Zudem ermöglicht das Modell es den Nutzern, die Auflösung von Bild- und Videoeingaben anzupassen, um visuelle Details sowie die damit verbundenen Tokenkosten zu steuern.

Google gibt an, dass Gemini Decision 1 Optionen ohne Token-für-Token-Dekodierung bewertet. Dieser Ansatz hält die mittlere Latenz bei der Modellverarbeitung zwischen 50 und 100 ms, wobei die gesamte End-to-End-Latenz weiterhin zwischen 150 und 250 ms liegt. Die Leistung bleibt nahezu konstant, selbst wenn die Anzahl der Fragen pro Anfrage von 1 auf 100. steigt. Das Modell unterstützt Kontexte mit bis zu 16K Tokens und kann Eingaben mit bis zu 256K Tokens verarbeiten.

Was die Kosteneffizienz betrifft, so behauptet Google, dass Gemini Decision 1 mit der Decisions API im Vergleich zu Gemini 3.5 Flash-Lite mit der Interactions API in einem gemeinsamen Benchmark-Set nahezu 5x günstiger ist. Diese erhebliche Kostensenkung wird auf das Fehlen einer Gebührenberechnung pro Ausgabetoken sowie auf die Effizienz des Ein-Pass-Bewertungsmechanismus zurückgeführt.

In Bezug auf Benchmarks zu Agenten-Routing, Reasoning, Ranking und multimodalem Verständnis gibt Google an, dass Gemini Decision 1 mit dem niedrigsten Kalibrierungsfehler in diesem gesamten Set führt. Diese starke Leistung sowie die gute Kalibrierung sind zentral für den Wertbeitrag der API für Anwendungen, die eine hohe Zuverlässigkeit bei Entscheidungsfindungen benötigen.

Entscheidungstypen und Bewertung

Die API bietet speziell entwickelte Primitiven für begrenzte Auswahlmöglichkeiten, darunter Werkzeugauswahl, Richtlinienüberprüfungen, Modell-Routing sowie Kontextbewertung. Benutzer können mehrere Fragen anhand eines gemeinsamen multimodalen Eingabes in einer einzigen Anfrage bewerten. Das System unterstützt drei verschiedene Entscheidungstypen, wobei jeder eine Zuverlässigkeitsbewertung von 0 bis 1. zurückgibt.

  1. Ja/Nein (noul): Diese Art schätzt die Wahrscheinlichkeit ab, dass eine Ja/Nein-Bedingung zutrifft. Sie unterstützt optional echte und falsche Beschreibungskriterien zur Verfeinerung der Bewertung.
  2. Mehrfachauswahl (choice): Bei dieser Art werden Auswahlen von 2 bis 255 vorgenommen. Es wird der Gewinner sowie normierte Wahrscheinlichkeiten für jede Kandidatenvariante zurückgegeben.
  3. Geordnete Bewertungsskala (score): Bei dieser Art werden Eingaben anhand einer geordneten Bewertungsskala ab 0. bewertet. Es wird eine kontinuierliche gewichtete Punktzahl sowie Wahrscheinlichkeiten pro Ebene zurückgegeben.

Jede von der API erzeugte Antwort enthält eine Zuverlässigkeitsbewertung. Diese Funktion ermöglicht es dem Anwendungscode, unklare Fälle an ein Ersatzsystem oder einen menschlichen Prüfer weiterzuleiten, sodass Entscheidungen mit geringer Zuverlässigkeit nicht automatisch umgesetzt werden.

Praktische Umsetzung

Entwickler können mit der Decisions API beginnen, indem sie einen API-Schlüssel in Google AI Studio abrufen. Das Eingabefeld verwendet denselben Content-Block-Format wie die Interactions API. Google stellt ein Python-Beispiel bereit, das zeigt, wie man ein Foto eines Pausenraum-Tresens zusammen mit einer Textnotiz in einer einzigen Anfrage gegen alle drei Fragearten überprüfen kann.

Das folgende Beispiel veranschaulicht, wie Fragen zur Erkennung von Ausläufern, zu Reinigungsmaßnahmen und zur Schwerebewertung definiert werden:

from google import genai

client = genai.Client(http_options={"api_version": "v1beta"})

result = client.decisions.create(
    model="gemini-decision-1",
    input=[
        {
            "type": "image",
            "uri": "https://storage.googleapis.com/generativeai-downloads/images/spill.jpg",
            "mime_type": "image/jpeg",
        },
        {
            "type": "text",
            "text": "Breakroom counter check before the 9 AM client meeting.",
        },
    ],
    questions={
        "has_spill": {
            "type": "noul",
            "instructions": "Is there an uncleaned liquid spill on the counter?",
        },
        "next_action": {
            "type": "choice",
            "instructions": "Which cleanup action fits the scene?",
            "criteria": {
                "wipe_with_cloth": "Small counter spill with a cloth or towel already nearby.",
                "dispatch_janitorial": "Large floor hazard, broken glass, or active leak.",
                "ready_for_meeting": "Counter is clean and ready.",
            },
        },
        "severity": {
            "type": "score",
            "instructions": "Rate the severity of the counter mess.",
            "criteria": [
                "Clean and ready.",
                "Minor localized spill.",
                "Major spill or safety hazard.",
            ],
        },
    },
)

Unternehmens- und interne Anwendungsfälle

Google weist auf mehrere interne Teams hin, die bereits die Decisions API als Kontrollplattform mit niedriger Latenzzeit nutzen. Diese Implementierungen zeigen die Vielseitigkeit des Tools in Produktionsumgebungen.

  • Dynamisches Modell-Routing in Gemini Notebook: Gemini Notebook verwendet die Decisions API als Echtzeit-Router, um eingehende Anfragen auf die optimale Modellstufe sowie Denkstufe zu leiten. Die API klassifiziert die Absicht in Millisekunden, wodurch alltägliche Anfragen mit bis zu 40% geringerer Latenz bearbeitet werden können, während komplexe Aufgaben an Modelle für tiefes Denken übertragen werden.
  • Schnelle Design-Iterationen in Stitch: Das schnelle Canvas-Experiment in Stitch nutzt die API, um innerhalb von Sekunden spielbare Wireframes eines Produktflusses zu erzeugen. Änderungen, die per Stimme oder Tippen vorgenommen werden, werden fast sofort angewendet, und sobald der Fluss finalisiert ist, wird der Benutzer zur vollständigen Stitch-Erfahrung weitergeleitet.
  • Emoji-Auswahl in CC: CC von Google Labs verwendet die API, um innerhalb eines Bruchteils einer Sekunde die richtige Emoji-Reaktion aus einer Palette von mehr als 200 Optionen auszuwählen, wodurch Reaktionen sofort angezeigt werden, ohne dass zusätzliche Latenz entsteht.
  • Sicherheitsschicht für MCP-Tools in Search: Google Search nutzt die Decision API, um feindliches Verhalten sowie Inhalte gegenüber feindlichen Bewertungen mit hoher Effektivität innerhalb des Latenzrahmens zu erkennen.

Einstieg und Ökosystem

Entwickler können sofort mit dem Prototypenbau beginnen, indem sie den API-Schlüssel in Google AI Studio abrufen. Google bietet Demo-Apps wie Doorstep Parcels, Speed Sketch und Find the Zoo Keeper an, um Nutzern die Erkundung der Funktionen zu erleichtern. Es liegen Dokumentationen für Python, JavaScript sowie REST-Anleitungen vor.

Integrationen in das Ökosystem werden auf verschiedenen Plattformen eingeführt, darunter OpenRouter, LangChain, Vercel, LiteLLM, Pydantic AI, Pipecat, LiveKit und OpenCode, zusammen mit den google-genai SDKs. Bald wird auch Gemini in Google Cloud unterstützt.

Die API bietet eine kostenfreie Stufe für den Prototypenbau an. Die Preise liegen bei $0.10 pro 1M Eingabetokens, wobei keine Gebühren für Ausgabetokens anfallen. Es gibt keine variablen Gebühren für Denketoken sowie keine separaten Kosten für Audio-Transkription und OCR. Die gemeinsame Eingabe wird einmal pro Anfrage abgerechnet, unabhängig von der Anzahl der bewerteten Fragen, da jede Frage nur ihre eigenen Anweisungs- und Kriterietoken hinzufügt.

Für diejenigen, die sich für weitere Entwicklungen interessieren, empfiehlt Google, sich für Newsletter anzumelden, um Produktaktualisierungen, Veranstaltungsinformationen sowie Sonderangebote zu erhalten. Die API stellt einen bedeutenden Schritt nach vorn dar, indem sie Entwicklern kalibrierte, schnelle und kosteneffiziente multimodale Entscheidungsfindungsmöglichkeiten bietet.

Quelle: https://blog.google/innovation-and-ai/technology/developers-tools/gemini-decisions-api

Quellen