Wie OpenAI’s Performance Factory dafür sorgt, dass ChatGPT schnell bleibt
OpenAI hat die Performance Factory entwickelt – ein autonomes System, das Workflow-Verfahren unter Verwendung von Codex zur Erkennung und Behebung von Leistungsrückgängen nutzt. Dieses System automatisiert die Untersuchungen, schlägt Lösungen vor und überprüft die Wiederherstellung, wodurch das Unternehmen innerhalb von drei Monaten über 1,700 Untersuchungen nachverfolgen kann. Die Performance Factory sorgt dafür, dass ChatGPT weiterhin schnell bleibt, indem sie auf manuelle Arbeit zugunsten automatisierter Agenten-Systeme umstellt.
Tags
Kurze Zusammenfassung
OpenAI hat die Performance Factory entwickelt – ein autonomes System, das Workflow-Verfahren unter Verwendung von Codex zur Erkennung und Behebung von Leistungsrückgängen nutzt. Dieses System automatisiert die Untersuchungen, schlägt Lösungen vor und überprüft die Wiederherstellung, wodurch das Unternehmen innerhalb von drei Monaten über 1,700 Untersuchungen nachverfolgen kann. Die Performance Factory sorgt dafür, dass ChatGPT weiterhin schnell bleibt, indem sie auf manuelle Arbeit zugunsten automatisierter Agenten-Systeme umstellt.
Wie OpenAI’s Performance Factory ChatGPT schnell hält
Das Tempo der modernen Softwareentwicklung hat die traditionellen Methoden der Leistungsengineering-Techniken überholt. Da Systeme immer komplexer werden, sind manuelle Untersuchungen von Verlangsamungen nicht mehr nachhaltig. Um diesem Problem entgegenzuwirken, entwickelte OpenAI die Performance Factory – ein autonomes System, das darauf ausgelegt ist, Leistungsrückgänge mit beispielloser Geschwindigkeit zu erkennen und zu beheben. Dieses System nutzt Codex sowie große Sprachmodelle, um den gesamten Lebenszyklus des Leistungsengineerings zu automatisieren – von der Erkennung eines Alarms bis zur Überprüfung einer Lösung in der Produktion.
Die Entwicklung von manueller Arbeit zu Agent-Fabriken
OpenAI’s Ansatz im Bereich des Leistungsengineerings hat sich in verschiedenen Phasen weiterentwickelt, von manueller Arbeit hin zu einem vollständig automatisierten Fabrikmodell. Anfangs untersuchten Ingenieure manuell Metriken, Protokolle und Spuren, um Verlangsamungen aufzuklären. Dieser Prozess war zeitaufwändig und erforderte tiefes Fachwissen, wodurch oft relevante Signale übersehen wurden. Um dies zu verringern, entwickelte das Team über 30 Leistungswerkzeuge, darunter CPU- und Allokationsprofiler, um bei den Untersuchungen zu helfen.
Die Einführung von Codex markierte einen Wandel hin zur Zusammenarbeit. Ingenieure konnten Fragen wie „Warum ist das langsamer geworden?“ stellen und mit Codex zusammenarbeiten, um Quellcodebasen durchzusuchen, relevante Metriken zu finden sowie Interaktionen zwischen Diensten nachzuvollziehen. Dennoch mussten die Ingenieure den Prozess weiterhin steuern und entscheiden, welche Werkzeuge verwendet werden sollten und wie die Untersuchung geführt werden sollte.
Um die Automatisierung weiter voranzutreiben, führte OpenAI den Untersuchungsprozess in eine gemeinsame Fähigkeit namens perf-forensics ein. Diese Fähigkeit weist Codex darauf hin, welche Werkzeuge verfügbar sind, wann sie eingesetzt werden sollen und wie mit einer Verlangsamung umgegangen werden muss. Das System kann nun ohne menschliche Anleitung bei jedem Schritt untersuchen, ob Deployments oder Konfigurationsänderungen für eine Verlangsamung verantwortlich sind.
Die endgültige Weiterentwicklung bestand darin, diese Untersuchungen in die Cloud zu verlegen. Zuvor kopierten Ingenieure Warnmeldungen in Codex und klebten die Ergebnisse wieder in Slack ein. Jetzt lösen Warnmeldungen automatisch Codex-Sitzungen in der Cloud aus. Der Agent untersucht, postet die Ergebnisse und der Workflow setzt sich autonom fort, wodurch die Last für Ingenieure, durch Threads zu wühlen, um herauszufinden, welche Regressionen Aufmerksamkeit benötigen, verringert wird.
Die vier Komponenten der Performance Factory
Die Performance Factory ist um vier Kernkomponenten strukturiert, die end-to-end-Workflows mit Agenten ermöglichen. Diese Komponenten arbeiten zusammen, um Task-Zustände zu verfolgen, Aufgaben zuzuweisen, Code auszuführen und auf externe Ereignisse zu reagieren.
- Task Service mit konfigurierbaren Workflows: Ingenieure definieren Workflows, indem sie Konfigurationsdateien sowie in Markdown geschriebene Anweisungen hinzufügen. Diese Konfigurationen listen die Zustände auf, durch die ein Task gehen kann, die zulässigen Übergänge sowie Schritte auf, die eine menschliche Intervention erfordern.
- Dispatch Loop: Diese Komponente überprüft periodisch, welche Aufgaben für den nächsten Schritt bereit sind. Sie weist einen Agenten einer Aufgabe zu, indem sie einen Codex-Turn mit den spezifischen Anweisungen für den aktuellen Zustand der Aufgabe startet.
- Codex in der Cloud: Sobald eine Aufgabe zugewiesen wurde, läuft der Agent in einer Cloud-Umgebung, die auf dieselben Tools zugreifen kann wie die Laptops der Ingenieure – darunter Code-Repositories, Metriken, Logs, Spuren, CPU-Profilen und Speichersnapsshots.
- Subscriptions: Diese wecken Agenten, wenn bestimmte Ereignisse eintreten, wie zum Beispiel das Veröffentlichen eines GitHub-Review-Kommentars oder die Abschluss einer Bereitstellung. Dadurch können Aufgaben auf menschliche Freigabe oder externe Abhängigkeiten warten, bevor sie fortgesetzt werden.
Diese Architektur ermöglicht es OpenAI, Arbeiten parallel auszuführen, ohne auf die Laptops der Ingenieure oder auf eine manuelle Verwaltung einzelner Cloud-Entwicklungsumgebungen angewiesen zu sein. Jede Aufgabe behält ihren Zustand und ihre Ergebnisse bei, wodurch die Arbeit zwischen Agenten und Ingenieuren weitergegeben werden kann und nach Code-Reviews oder Bereitstellungen wieder aufgenommen werden kann.
Der Regression-Workflow: Von der Warnmeldung bis zur Wiederherstellung
Der erste Arbeitsablauf, der in der Performance Factory implementiert wurde, ist der Regression Workflow. Dieser Arbeitsablauf automatisiert den Prozess zur Behebung von Regressionen und führt eine Aufgabe durch verschiedene Phasen wie „Untersuchung erforderlich“, „Ursache ermittelt“, „Behebung vorgeschlagen“ und „Lösung umgesetzt“.
Wenn ein Leistungsalarm ausgelöst wird, eröffnet der Arbeitsablauf eine Aufgabe. Ein Agent untersucht die Verlangsamung, dokumentiert die Ergebnisse in der Aufgabe und schlägt eine Behebung vor, die von einem Ingenieur überprüft wird. Nach dem Deployment übernimmt ein weiterer Agent dieselbe Aufgabe, um zu überprüfen, ob die Leistung wieder auf das Baseline-Niveau zurückgekehrt ist.
In etwas mehr als drei Monaten hat der Regression Workflow mehr als 1,700 Untersuchungen sowie die Ermittlung der Ursachen in 600 Fällen verfolgt. Das entspricht ungefähr 17 automatisierten Untersuchungen pro Tag. Das System bewältigt effektiv den gesamten Kreislauf: Untersuchung, Erstellung der Behebung und Überprüfung der Linderung.
Ermittlung der Ursache und gegenseitige Überprüfung
Der erste Schritt im Regression Workflow besteht darin, die Ursache zu finden. Der Agent analysiert, welche Metriken sich verschlechtert haben, wann die Änderung stattgefunden hat und welche Serviceanfragen betroffen waren. Die perf-forensics-Fähigkeit gibt Codex Zugang zu den Werkzeugen, die Leistungsingenieure verwenden, sowie zu einem Playbook zur Beantwortung dieser Fragen.
Der Agent prüft die Daten auf Rückwärtsbasis, um herauszufinden, wann eine Metrik erstmals verschlechtert wurde – selbst wenn ein Alarm später ausgelöst wird. Er vergleicht Gruppen von Anfragen, um echte Verlangsamungen von anderen Faktoren zu unterscheiden.
Sobald eine Ursache identifiziert wurde, stärkt eine gegenseitige Überprüfung die Diagnose. Dieser Schritt stellt sicher, dass die vorgeschlagene Behebung robust ist, bevor sie an die Ingenieure zur Umsetzung weitergeleitet wird. OpenAI weist darauf hin, dass die Behebung der Regression oft der schwierigste Teil ist und eine sorgfältige Prüfung der vorgeschlagenen Lösung erfordert.
Gelernte Erkenntnisse und zukünftige Anwendungen
Der Aufbau der Performance Factory hat den Ingenieursteams, die agentbasierte Arbeitsabläufe einsetzen, mehrere wichtige Erkenntnisse geliefert.
- Die Aufmerksamkeit der Ingenieure schützen: Durch die Automatisierung der Untersuchungen und der ersten Diagnosen macht das System den Ingenieuren Platz, sich auf Entscheidungsfindung auf höherer Ebene sowie auf komplexe Problemlösungen zu konzentrieren, anstatt sich durch Meldungen durchkämpfen zu müssen.
- Änderungen an Agenten bewerten: OpenAI betont die Bedeutung, zu prüfen, wie Änderungen an Agenten deren Leistung beeinflussen. Dazu gehört auch eine gründliche Überprüfung der Untersuchungen, um die Genauigkeit zu gewährleisten.
- Übergänge von Agenten zu Ingenieuren bewerten: Das System muss den Übergang zwischen automatisierten Agenten und menschlichen Ingenieuren effektiv steuern, wobei der Kontext beibehalten und die Übergänge reibungslos ablaufen müssen.
- Wiederkehrende Fehler in Selbstreparaturfunktionen umwandeln: Das letztendliche Ziel besteht darin, gängige Optimierungsprobleme in Workflows umzuwandeln, die regelmäßig in verschiedenen Diensten laufen und Selbstreparaturfähigkeiten ermöglichen.
Für die Zukunft plant OpenAI, diese Prinzipien auf breitere Anwendungen sowie proaktives Monitoring anzuwenden. Die Performance Factory zeigt, wie von Codex angetriebene Systeme von einfachen Assistenten zu autonomen Fabriken werden können, die in der Lage sind, die Systemleistung im großen Maßstab aufrechtzuerhalten.
Fazit
OpenAI’s Performance Factory stellt einen bedeutenden Fortschritt in der Leistungsingenieurwesen dar. Durch die Integration von Codex in ein strukturiertes System aus Workflows, Dispatch-Schleifen und cloudbasierten Ausführungen hat OpenAI die Erkennung und Behebung von Leistungsrückgängen automatisiert. Das System hat bereits seinen Wert unter Beweis gestellt, indem es in kurzer Zeit Tausende von Untersuchungen sowie ihre Ursachen bearbeitet hat. Da sich das Feld der agentbasierten Entwicklung weiterentwickelt, bieten die aus der Performance Factory gewonnenen Erkenntnisse einen Leitfaden für andere Teams, die in komplexen, schnell wandelnden Systemen eine hohe Leistung aufrechterhalten möchten.
Quelle: https://openai.com/index/how-openai-performance-factory-keeps-chatgpt-fast



