Google présente les TPU 8tx et 8i Max pour l’ère agente
Google élargit son portefeuille de TPU de huitième génération avec le TPU 8tx et le TPU 8i Max, ce qui représente quatre nouveaux systèmes en une seule année. Ces ajouts visent respectivement des inférences sécurisées et confidentielles ainsi que de très grands fenêtres de contexte, afin de prendre en charge des charges de travail agentes complexes. L’annonce met en avant un matériel spécialisé pour la sécurité, la densité et le raisonnement, accompagné de nouvelles mises à jour logicielles visant à améliorer l’accès pour les développeurs.
Tags
Résumé rapide
Google élargit son portefeuille de TPU de huitième génération avec le TPU 8tx et le TPU 8i Max, ce qui représente quatre nouveaux systèmes en une seule année. Ces ajouts visent respectivement des inférences sécurisées et confidentielles ainsi que de très grands fenêtres de contexte, afin de prendre en charge des charges de travail agentes complexes. L’annonce met en avant un matériel spécialisé pour la sécurité, la densité et le raisonnement, accompagné de nouvelles mises à jour logicielles visant à améliorer l’accès pour les développeurs.
Google présente les TPU 8tx et 8i Max pour l’ère des agents
Google a élargi son portefeuille de TPU de huitième génération avec la mise sur le marché de deux nouveaux systèmes : le TPU 8tx et le TPU 8i Max. Selon Google AI, cette annonce marque l’ajout de quatre nouveaux systèmes TPU en une seule année, ce qui indique un changement stratégique vers des matériels spécialisés conçus pour l’« ère des agents ». Alors que la génération précédente avait introduit le TPU 8t pour l’entraînement à grande échelle et le TPU 8i pour le raisonnement en temps réel, ces nouvelles versions répondent à des défis spécifiques liés au déploiement d’agents autonomes : la sécurité des données au niveau du matériel et les fenêtres de contexte très étendues.
Spécialisation pour une IA sécurisée et à fort contexte
Le principal moteur de ces nouveaux systèmes est l’évolution des charges de travail liées à l’IA, qui évoluent de simples inférences vers des opérations complexes et multisteps impliquant des agents. Google souligne que, à mesure que le calcul passe d’une échelle humaine à une échelle d’agents, les entreprises ont besoin d’accélérateurs capables de raisonner avec des fenêtres de contexte très étendues et de gérer des données sensibles sans compromettre la sécurité.
Le TPU 8tx répond au besoin crucial d’inférence confidentielle. Dans le calcul traditionnel, les données sont chiffrées au repos ou en transit, mais doivent être déchiffrées en mémoire pendant le traitement, ce qui crée une fenêtre de vulnérabilité. Le TPU 8tx, conçu sur le même silicium que le TPU 8t et associé à des processeurs AMD EPYC de la génération 5th, intègre directement la sécurité au niveau du matériel. Cette architecture permet de protéger et d’isoler les données sensibles ainsi que les poids des modèles, même lorsqu’ils sont en utilisation active.
Google souligne que le TPU 8tx est optimisé pour les entreprises et les gouvernements soumis à des réglementations, qui utilisent des modèles de pointe ou propriétaires avec leurs données les plus sensibles. Le système prend en charge le réglage fin privé, la distillation de modèles et l’apprentissage par renforcement pour des agents, sans nécessiter de migration de données sensibles entre des clusters distincts. De plus, en adoptant le même réseau Boardfly à faible latence utilisé pour le raisonnement en temps réel, le TPU 8tx offre une latence jusqu’à 2x fois inférieure par rapport au TPU 8t, avec une perte de performances proche de zéro. Cela permet aux agents à plusieurs étapes d’agir efficacement tout en maintenant des protocoles de sécurité stricts.
Dépasser le mur de la mémoire avec le TPU 8i Max
Alors que la sécurité est primordiale pour certaines charges de travail, d’autres se heurtent au « mur de la mémoire ». Lorsque des dizaines d’agents IA collaborent sur d’immenses bases de code logiciel ou analysent des heures de vidéo en même temps, la bande passante mémoire devient souvent un goulot d’étranglement, entraînant des blocages des processeurs.
Le TPU 8i Max a été conçu spécifiquement pour résoudre ce problème. Le système combine deux puces TPU 8i à faible latence dans un seul boîtier. Cette configuration à double puce permet d’échaler le calcul et la mémoire de manière synchronisée, offrant le double du calcul, le double de la SRAM et le double de la bande passante HBM par rapport au TPU 8i. standard.
Selon Google, cette conception garantit que les processeurs restent équipés des données essentielles, empêchant ainsi les grosses charges de travail de se bloquer. De plus, comme le TPU 8i Max peut accueillir deux fois plus de silicium dans la même empreinte de rack, les data centers peuvent déployer une puissance de calcul considérablement plus élevée par pied carré et par watt. Cette haute densité de calcul est cruciale pour gérer les immenses fenêtres de contexte requises par les workflows d’agents modernes.
Une approche modulaire pour l’équilibre du système
L’introduction de la TPU 8tx et de la TPU 8i Max reflète une décision architecturale fondamentale prise il y a plus d’une décennie : concevoir l’ordinateur autour du chip. Google souligne que, bien que la conception d’un nouveau chip implique un cycle de fabrication de plusieurs années contraint par les lois de la physique, la conception d’un nouveau système permet des ajustements rapides en matière d’emballage, de mémoire à haute vitesse, de réseau optique et de sécurité.
Cette modularité permet à Google de livrer des superordinateurs spécialisés en quelques mois plutôt qu’en quelques années. Le portefeuille élargi de huitième génération comprend désormais quatre systèmes distincts, chacun ciblant une étape spécifique du cycle de vie de l’IA :
- TPU 8t : Conçue pour l’entraînement à grande échelle avec un « goodput » maximal (intelligence utile fournie par watt).
- TPU 8i : Le moteur de raisonnement conçu pour briser le mur mémoire en réduisant les délais de communication entre chips.
- TPU 8tx : Optimisée pour des inférences sécurisées et confidentielles ainsi que pour un entraînement à petite échelle.
- TPU 8i Max : Conçue pour des fenêtres de contexte massives et la plus haute densité de calcul par rack.
Cette diversité permet aux clients de choisir des accélérateurs conçus spécifiquement pour chaque étape du cycle de vie des agents, de l’entraînement des modèles de base à l’exécution d’agents autonomes en production.
Ouvrir les TPUs à tous les développeurs
Pour compléter le nouveau matériel, Google travaille en même temps à éliminer les obstacles à son adoption, dans le but de rendre les TPUs aussi faciles à utiliser que le matériel polyvalent. L’entreprise a rendu TorchTPU open source, permettant aux codes PyTorch et aux modèles Hugging Face de fonctionner nativement sur les TPUs, ainsi qu’à des backends prêts à l’emploi pour des moteurs d’inférence tels que vLLM et SGLang.
De plus, une nouvelle suite d’agents TPU open source (actuellement en version bêta) s’intègre directement à des outils de codage tels que Claude Code, Cursor et Google Antigravity. Cette suite automatise l’intégration des TPUs, diagnostique les goulots d’étranglement et ajuste automatiquement des noyaux personnalisés en utilisant un langage simple. Pour les déploiements en production, le nouveau moteur de service XLA open source permet aux équipes d’entraîner des modèles en Python et de les servir directement dans un environnement C++ à faible latence sur des TPUs, des GPU et des CPU.
Google met également en avant des améliorations de l’efficacité de production. Le logiciel Agent Compute Engine suspend et reprend automatiquement les sessions inactives des agents IA à état, réduisant ainsi les coûts d’infrastructure opérationnelle pendant les pauses causées par des recherches dans une base de données ou des interactions avec des outils externes. De plus, l’ouverture source de TPU Sync, une couche de gestion de l’état des modèles pour les clusters TPU, unifie la mémoire, le stockage et les réseaux au sein du logiciel. Cette couche est conçue pour gérer les besoins en mémoire des agents qui raisonnent dans des contextes de millions de tokens ainsi que des boucles d’apprentissage par renforcement continu.
Conclusion
Le lancement des TPU 8tx et TPU 8i Max représente une expansion significative des capacités d’infrastructure de Google pour l’ère des agents. En répondant aux défis simultanés liés à une inférence confidentielle sécurisée et à la gestion de fenêtres de contexte massives, Google vise à fournir le matériel spécialisé nécessaire pour la prochaine génération d’applications IA. Associé aux mises à jour logicielles récentes qui réduisent les barrières à l’entrée pour les développeurs, ce portfolio de TPU de huitième génération est conçu pour soutenir un large éventail d’entreprises et de cas d’usage, des laboratoires de pointe aux entreprises réglementées.
Source : https://blog.google/innovation-and-ai/infrastructure-and-cloud/global-network/tpu-8i-max-and-8tx



