Comment la Performance Factory d’OpenAI maintient ChatGPT rapide
OpenAI a créé la Performance Factory, un système autonome qui utilise des workflows basés sur Codex pour détecter et corriger les dégradations de performance. Ce système automatise les investigations, propose des correctifs et vérifie la récupération, permettant à l’entreprise de suivre plus de 1,700 investigations en trois mois. La Performance Factory assure que ChatGPT reste rapide en passant d’un travail manuel à des systèmes d’agents automatisés.
Tags
Résumé rapide
OpenAI a créé la Performance Factory, un système autonome qui utilise des workflows basés sur Codex pour détecter et corriger les dégradations de performance. Ce système automatise les investigations, propose des correctifs et vérifie la récupération, permettant à l’entreprise de suivre plus de 1,700 investigations en trois mois. La Performance Factory assure que ChatGPT reste rapide en passant d’un travail manuel à des systèmes d’agents automatisés.
Comment la Performance Factory d’OpenAI maintient ChatGPT rapide
Le rythme du développement logiciel moderne a dépassé les méthodes traditionnelles d’ingénierie des performances. À mesure que les systèmes deviennent plus complexes, les investigations manuelles des ralentissements deviennent insoutenables. Pour y remédier, OpenAI a développé la Performance Factory, un système autonome conçu pour détecter et corriger les dégradations de performances à une vitesse sans précédent. Ce système utilise Codex et des grands modèles de langage pour automatiser l’ensemble du cycle de vie de l’ingénierie des performances, de la détection d’une alerte à la vérification de la correction en production.
L’évolution de la main-d’œuvre manuelle vers les usines d’agents
L’approche d’OpenAI en matière d’ingénierie des performances a évolué à travers différentes étapes, passant d’une main-d’œuvre manuelle à un modèle d’usine entièrement automatisé. Au début, les ingénieurs examinaient manuellement des métriques, des journaux et des traces pour enquêter sur les ralentissements. Ce processus était chronophage et nécessitait une connaissance approfondie du domaine, ce qui entraînait souvent la perte de signaux pertinents. Pour y remédier, l’équipe a développé plus de 30 outils de performance, dont des profilsurs de CPU et d’allocation, afin d’aider aux investigations.
L’introduction de Codex a marqué un tournant vers une collaboration. Les ingénieurs pouvaient poser des questions comme « Pourquoi cela est-il devenu plus lent ? » et collaborer avec Codex pour rechercher dans les bases de code, trouver des métriques pertinentes et suivre les interactions entre services. Cependant, les ingénieurs devaient encore guider le processus, en décidant quels outils utiliser et comment diriger l’enquête.
Pour automatiser davantage, OpenAI a intégré le processus d’enquête dans une compétence partagée appelée perf-forensics. Cette compétence indique à Codex quels outils sont disponibles, quand les utiliser et comment gérer un ralentissement. Le système peut désormais enquêter pour déterminer si des déploiements ou des changements de configuration expliquent un ralentissement, sans intervention humaine à chaque étape.
L’évolution finale a consisté à déplacer ces investigations dans le cloud. Auparavant, les ingénieurs copiaient les alertes dans Codex puis collaient les résultats dans Slack. Désormais, les alertes déclenchent automatiquement des sessions Codex dans le cloud. L’agent mène l’enquête, publie les résultats, et le flux de travail se poursuit de manière autonome, ce qui réduit la charge des ingénieurs chargés de parcourir les discussions pour identifier quelles régressions nécessitent une attention particulière.
Les quatre composants de la Performance Factory
La Performance Factory est structurée autour de quatre composants principaux qui permettent des flux de travail agents du début à la fin. Ces composants fonctionnent ensemble pour suivre l’état des tâches, attribuer le travail, exécuter du code et répondre aux événements externes.
- Service de tâches avec flux de travail configurables : Les ingénieurs définissent les flux de travail en ajoutant des fichiers de configuration et des instructions rédigées en Markdown. Ces configurations énumèrent les états que peut traverser une tâche, les transitions autorisées ainsi que les étapes nécessitant une intervention humaine.
- Boucle d’envoi : Ce composant vérifie périodiquement quelles tâches sont prêtes pour l’étape suivante. Il attribue un agent à une tâche en lançant une séance Codex avec les instructions spécifiques correspondant à l’état actuel de la tâche.
- Codex dans le cloud : Une fois assigné, l’agent s’exécute dans un environnement cloud ayant accès aux mêmes outils que ceux utilisés par les ingénieurs, notamment des dépôts de code, des métriques, des journaux, des traces, des profils CPU et des captures de mémoire.
- Abonnements : Ceux-ci activent les agents lorsque des événements spécifiques se produisent, tels que la publication d’un commentaire de revue sur GitHub ou l’achèvement d’un déploiement. Cela permet aux tâches d’attendre l’approbation humaine ou des dépendances externes avant de reprendre.
Cette architecture permet à OpenAI d’exécuter des tâches en parallèle sans avoir recours aux ordinateurs portables des ingénieurs ni à une gestion manuelle de box de développement cloud individuelles. Chaque tâche conserve son état et ses résultats, ce qui permet au travail de passer entre agents et ingénieurs et de reprendre après des revues de code ou des déploiements.
Le flux de travail de régression : de l’alerte à la récupération
Le premier flux de travail mis en œuvre au sein de la Performance Factory est le Flux de travail de régression. Ce flux de travail automatise le processus de correction des régressions, faisant évoluer une tâche à travers des étapes telles que « nécessite une enquête », « cause racine identifiée », « correction proposée » et « résolu ».
Lorsqu’une alerte de performance est déclenchée, le flux de travail crée une tâche. Un agent enquête sur la ralentissement, enregistre ses constatations dans la tâche et propose une correction à un ingénieur pour examen. Après déploiement, un autre agent reprend cette même tâche afin de vérifier que les performances sont revenues à leur niveau de référence.
En un peu plus de trois mois, le Flux de travail de régression a suivi plus de 1,700 enquêtes et identifié la cause racine dans plus de 600 cas. Cela équivaut à environ 17 enquêtes automatisées par jour. Le système gère efficacement l’ensemble du cycle : enquête, élaboration de la correction et vérification de l’efficacité de la mesure prise.
Identification de la cause racine et revue adversaire
L’étape initiale du Flux de travail de régression consiste à identifier la cause racine. L’agent analyse quels indicateurs se sont détériorés, quand le changement a eu lieu et quels besoins de service ont été affectés. La compétence perf-forensics donne à Codex accès aux outils utilisés par les ingénieurs en performance ainsi qu’à un guide pour répondre à ces questions.
L’agent examine les données afin de déterminer quand un indicateur a commencé à se détériorer, même si une alerte est déclenchée plus tard. Il compare des groupes de demandes pour distinguer les vrais ralentissements d’autres facteurs.
Une fois une cause identifiée, une revue adversaire renforce le diagnostic. Cette étape garantit que la correction proposée est fiable avant qu’elle ne soit transmise aux ingénieurs pour mise en œuvre. OpenAI note que corriger la régression est souvent la partie la plus difficile, nécessitant une réflexion approfondie sur la solution proposée.
Leçons apprises et applications futures
La création de la Performance Factory a permis d’obtenir plusieurs leçons importantes pour les équipes d’ingénierie qui adoptent des flux de travail basés sur des agents.
- Protéger l’attention des ingénieurs : En automatisant l’enquête et le diagnostic initial, le système permet aux ingénieurs de se concentrer sur la prise de décisions à haut niveau et sur la résolution de problèmes complexes, plutôt que de passer en revue des alertes.
- Évaluer les modifications apportées aux agents : OpenAI souligne l’importance d’évaluer l’impact des modifications apportées aux agents sur leurs performances. Cela inclut des tests rigoureux des enquêtes afin d’en assurer la précision.
- Évaluer les transferts de responsabilités entre agents et ingénieurs : Le système doit gérer efficacement la transition entre les agents automatisés et les ingénieurs humains, en veillant à ce que le contexte soit conservé et que les transferts se fassent sans heurt.
- Transformer les défaillances récurrentes en capacités d’autoréparation : L’objectif ultime est de transformer les défis d’optimisation courants en flux de travail qui s’exécutent régulièrement au sein des services, permettant ainsi des capacités d’autoréparation.
À l’avenir, OpenAI compte appliquer ces principes à des applications plus larges et à une surveillance proactive. La Performance Factory montre comment les systèmes alimentés par Codex peuvent évoluer de simples assistants en usines autonomes capables de maintenir les performances du système à grande échelle.
Conclusion
La Performance Factory d’OpenAI représente un progrès significatif dans le domaine de l’ingénierie des performances. En intégrant Codex au sein d’un système structuré de flux de travail, de boucles de déploiement et d’exécution basée sur le cloud, OpenAI a automatisé la détection et la résolution des dégradations de performance. Le système a déjà prouvé sa valeur, en gérant des milliers d’enquêtes et en identifiant leurs causes profondes en peu de temps. À mesure que le domaine du développement d’agents continue de se développer, les leçons tirées de la Performance Factory offrent un modèle pour les autres équipes souhaitant maintenir de hautes performances dans des systèmes complexes et en évolution rapide.
Source : https://openai.com/index/how-openai-performance-factory-keeps-chatgpt-fast



