API Gemini Decisions : Décisions multimodales rapides et calibrées
Google présente l’API Gemini Decisions, alimentée par Gemini Decision 1, pour des décisions multimodales rapides et précises. Il est possible d’évaluer jusqu’à 1,000 questions provenant de textes, d’images, d’audio, de vidéos et de PDFs en une seule passe, avec des scores de confiance. Cette API offre une faible latence ainsi qu’un routage économique pour les développeurs.
Tags
Résumé rapide
Google présente l’API Gemini Decisions, alimentée par Gemini Decision 1, pour des décisions multimodales rapides et précises. Il est possible d’évaluer jusqu’à 1,000 questions provenant de textes, d’images, d’audio, de vidéos et de PDFs en une seule passe, avec des scores de confiance. Cette API offre une faible latence ainsi qu’un routage économique pour les développeurs.
API Gemini Decisions : Décisions multimodales rapides et précises
Google a introduit l’API Gemini Decisions, un nouveau point d’accès conçu pour faciliter des choix probabilistiques rapides sur divers types de données. Équipée du modèle Gemini Decision 1, cette outil permet aux développeurs d’évaluer jusqu’à 1,000 questions indépendantes en une seule passe. L’API prend en charge le texte, les images, l’audio, la vidéo et les PDF, ce qui permet aux applications nécessitant une évaluation rapide, des vérifications de politique ou une analyse de contexte sans la latence associée à la décodage traditionnel de texte génératif.
Selon Google, l’avantage principal de l’API Decisions réside dans sa capacité à calculer des scores de confiance pour plusieurs questions simultanément. Au lieu de générer du texte réponse token par token, Gemini Decision 1 évalue les options possibles en une seule passe forward. Cette architecture renvoie des probabilités et des scores de confiance avec une latence globale de 150-250 ms. La structure de tarification est conçue pour être économique, en facturant $0.10 par 1M tokens d’entrée, sans facturation pour les tokens de sortie.
Architecture du modèle et performances
Le modèle Gemini Decision 1 (gemini-decision-1) est basé sur l’architecture multimodale native de Gemini. Cette base permet au modèle de traiter le texte, les images, l’audio, la vidéo et les PDF directement en une seule passe forward. Les utilisateurs peuvent combiner différentes modalités dans une même entrée, comme associer une enregistrement d’appel aux métadonnées du compte ou une demande PDF scannée aux photos des dommages. De plus, le modèle permet aux utilisateurs d’ajuster la résolution des entrées images et vidéo afin de contrôler les détails visuels et le coût en tokens.
Google indique que Gemini Decision 1 évalue les options sans décodage token par token. Cette approche maintient une latence médiane du calcul du modèle entre 50 et 100 ms, avec une latence globale de bout en bout restant entre 150 et 250 ms. Les performances restent presque stables même lorsque le nombre de questions par requête augmente de 1 à 100.. Le modèle prend en charge des contextes allant jusqu’à 16K tokens et peut gérer des entrées allant jusqu’à 256K tokens.
En termes de rapport coût-efficacité, Google affirme que Gemini Decision 1 avec l’API Decisions est presque 5x moins cher, selon un ensemble de références commun, par rapport à Gemini 3.5 Flash-Lite avec l’API Interactions. Cette réduction significative du coût est attribuée à l’absence de facturation par token de sortie et à l’efficacité du mécanisme d’évaluation en une seule passe.
Sur des benchmarks couvrant le routage des agents, le raisonnement, le classement et la compréhension multimodale, Google prétend que Gemini Decision 1 est en tête de cet ensemble avec l’erreur de calibration la plus faible. Ces performances et cette calibration solides sont au cœur de la proposition de valeur de l’API pour les applications nécessitant une fiabilité élevée dans la prise de décision.
Types de décisions et évaluation
L’API fournit des primitives conçues spécifiquement pour des choix bornés, y compris le choix d’outils, les vérifications de politique, le routage des modèles et l’évaluation du contexte. Les utilisateurs peuvent évaluer plusieurs questions à partir d’une entrée multimodale commune dans une seule requête. Le système prend en charge trois types de décisions distincts, chacun renvoyant un score de confiance allant de 0 à 1..
- Oui/Non (nouveau) : Ce type estime la probabilité qu’une condition oui/non soit remplie. Il prend en charge des critères de description optionnels « vrai » et « faux » pour affiner l’évaluation.
- Sélection multiple (choix) : Ce type permet de choisir parmi 2 à 255 options. Il retourne le gagnant ainsi que des probabilités normalisées pour chaque option candidate.
- Grille ordonnée (note) : Ce type évalue les entrées selon une grille ordonnée commençant à 0.. Il retourne une note pondérée continue ainsi que des probabilités par niveau.
Chaque réponse générée par l’API inclut un score de confiance. Cette fonctionnalité permet au code d’application d’orienter les cas ambigus vers un système de secours ou un réviseur humain, garantissant que les décisions à faible confiance ne soient pas prises automatiquement.
Implementation pratique
Les développeurs peuvent commencer à utiliser l’API Decisions en obtenant une clé API dans Google AI Studio. Le champ d’entrée utilise le même format de bloc de contenu que l’API Interactions. Google fournit un exemple en Python montrant comment vérifier une photo du comptoir d’une salle de repos, accompagnée d’une note de texte, auprès des trois types de questions en une seule requête.
L’exemple ci-dessous illustre comment définir des questions pour la détection de déversements, les actions de nettoyage et l’évaluation de la gravité :
from google import genai
client = genai.Client(http_options={"api_version": "v1beta"})
result = client.decisions.create(
model="gemini-decision-1",
input=[
{
"type": "image",
"uri": "https://storage.googleapis.com/generativeai-downloads/images/spill.jpg",
"mime_type": "image/jpeg",
},
{
"type": "text",
"text": "Breakroom counter check before the 9 AM client meeting.",
},
],
questions={
"has_spill": {
"type": "noul",
"instructions": "Is there an uncleaned liquid spill on the counter?",
},
"next_action": {
"type": "choice",
"instructions": "Which cleanup action fits the scene?",
"criteria": {
"wipe_with_cloth": "Small counter spill with a cloth or towel already nearby.",
"dispatch_janitorial": "Large floor hazard, broken glass, or active leak.",
"ready_for_meeting": "Counter is clean and ready.",
},
},
"severity": {
"type": "score",
"instructions": "Rate the severity of the counter mess.",
"criteria": [
"Clean and ready.",
"Minor localized spill.",
"Major spill or safety hazard.",
],
},
},
)Cas d’usage dans les entreprises et à l’intérieur de l’organisation
Google met en avant plusieurs équipes internes qui utilisent déjà l’API Decisions comme plan de contrôle à faible latence. Ces implementations démontrent la polyvalence de cet outil dans des environnements de production.
- Acheminement dynamique des modèles dans Gemini Notebook : Gemini Notebook utilise l’API Decisions en tant que routeur en temps réel pour diriger les requêtes entrantes vers le niveau de modèle et le niveau de réflexion optimaux. L’API classe l’intention en quelques millisecondes, assurant des réponses aux requêtes quotidiennes avec une latence jusqu’à 40% inférieure, tout en réservant les modèles de raisonnement avancé aux tâches complexes.
- Itération rapide du design dans Stitch : L’expérience de conception rapide de Stitch utilise l’API pour générer des maquettes fonctionnelles d’un flux de produit en quelques secondes. Elle applique presque instantanément les modifications effectuées par la voix ou par tapotement, et transfère les écrans à l’expérience complète de Stitch une fois que le flux est finalisé.
- Sélection des emojis dans CC : CC de Google Labs utilise l’API pour choisir la réaction emoji appropriée parmi plus de 200 options en une fraction de seconde, garantissant que les réactions apparaissent instantanément sans ajouter de latence.
- Couche de sécurité pour les outils MCP dans Search : Google Search exploite l’API Decisions pour détecter le comportement et le contenu hostiles lors des évaluations adverses, avec une grande efficacité, tout en restant dans les limites de latence prévues.
Début et écosystème
Les développeurs peuvent commencer à créer des prototypes immédiatement en accédant à la clé API dans Google AI Studio. Google propose des applications de démonstration telles que Doorstep Parcels, Speed Sketch et Find the Zoo Keeper pour aider les utilisateurs à découvrir les fonctionnalités. Une documentation est disponible pour Python, JavaScript et les guides REST.
Les intégrations dans l’écosystème sont mises en place sur diverses plateformes, dont OpenRouter, LangChain, Vercel, LiteLLM, Pydantic AI, Pipecat, LiveKit et OpenCode, ainsi que les SDK google-genai. Un soutien pour Gemini dans Google Cloud arrivera bientôt.
L’API comprend un niveau sans coût pour le prototypage. Le tarif reste de $0.10 par 1M tokens d’entrée, sans frais pour les tokens de sortie. Il n’y a pas de facturation variable basée sur les tokens de réflexion, ni de coûts séparés pour la transcription audio et l’OCR. L’entrée partagée est facturée une seule fois par requête, quel que soit le nombre de questions évaluées, car chaque question ne ajoute que ses propres tokens d’instruction et de critères.
Pour ceux qui sont intéressés par un développement plus poussé, Google encourage l’inscription à des newsletters afin de recevoir des mises à jour de produits, des informations sur des événements et des offres spéciales. L’API représente une avancée significative en ce qu’elle offre aux développeurs des capacités de prise de décision multimodales, calibrées, rapides et économiques.
Source : https://blog.google/innovation-and-ai/technology/developers-tools/gemini-decisions-api



