Das Sleep Framework: Eine neue Methode für LLMs, um im kontinuierlichen Lernen Wissen zu bewahren

Das Sleep-Framework: Eine neue Methode für LLMs, Wissen im kontinuierlichen Lernen beizubehalten

Moderne große Sprachmodelle (LLMs) haben durch Vortraining und in-context Learning (ICL) beeindruckende Leistungen erzielt. Allerdings bleiben diese Modelle nach ihrer Implementierung oft weitgehend statisch und arbeiten mit einem festen Wissensstichtag, der es ihnen verwehrt, langfristige Fähigkeiten zu entwickeln oder sich an neue Informationen anzupassen. Obwohl das Aktualisieren der Modelle mit neuen Daten die offensichtliche Lösung zu sein scheint, führen kontinuierliche Parameteraktualisierungen oft zum katastrophalen Vergessen – einem grundlegenden Problem, bei dem das Lernen neuer Aufgaben die Leistung bei zuvor gelernten Aufgaben erheblich verschlechtert. Alternativ beschränkt sich das strikte Vertrauen auf ICL auf den unmittelbaren Kontextfenster; sobald die Kontextsitzung endet, wird die erlangte kurzfristige Information vergessen.

Um diese Einschränkungen zu überwinden, hat Google Research ein Sleep-Framework für das kontinuierliche Lernen eingeführt. Dieses Lernparadigma verleiht LLMs einen kontinuierlichen, periodischen Lebenszyklus, der es ihnen ermöglicht, ständig zu lernen, brüchige kurzfristige Kontexte in stabile langfristige Parameter umzuwandeln und katastrophales Vergessen sowie starre Wissensstichtage zu verringern. Inspiriert davon, wie das menschliche Gehirn während der Ruhe Erinnerungen verarbeitet und stabilisiert, ermöglicht das Framework es den Modellen, zwischen aktiver Interaktion und offline-Memorierungsprozessen abzuwechseln.

Die aktive und die Schlafphase

Im Rahmen des Sleep-Paradigmas befinden sich LLMs in zwei Hauptzuständen: der aktiven (wachen) Phase und der Schlafphase. Während der aktiven Phase empfangen, verarbeiten und interagieren die Modelle aktiv mit Eingaben und speichern vorübergehende Informationen in schnellen, kurzfristigen Speicherkomponenten. Im Gegensatz dazu pausieren die Modelle während der Schlafphase die Verarbeitung neuer Eingaben und richten ihre internen Berechnungen auf die Memorierungsstabilisierung und Selbstverbesserung aus.

Während Begriffe wie „Schlaf“, „Träumen“ und „Selbstverbesserung“ aus der Neurowissenschaft entlehnt sind, weist Google Research darauf hin, dass ihr Rahmenwerk vollständig innerhalb einer festen Modellarchitektur sowie menschlich definierter Trainingsregeln funktioniert. Während der Offline-Schlafphase entsperrt das Modell vorab zugewiesene Mixture-of-Experts (MoE)-Speicherblocks und aktualisiert seine numerischen Gewichte mithilfe selbst generierter Übungsaufgaben. Dieser automatisierte Nachtrainingszyklus hilft einem eingesetzten Modell, neue Fakten aufzunehmen und die Genauigkeit seines Schlussfolgerungsvermögens zu verbessern, ohne seine Kern-Codebasis und sein Design zu verändern.

Speicherkonsolidierung und Parametererweiterung

Das Schlafparadigma begegnet katastrophalem Vergessen und kontinuierlicher Anpassung durch zwei Phasen: Speicherkonsolidierung und Träumen. Im menschlichen Gehirn konsolidiert der nicht-REM-Schlaf schwache Erinnerungen durch Abstraktion und Destillation zu langfristigen Strukturen. Google Research ahmt dieses natürliche Phänomen durch spezifische technische Mechanismen nach.

Für die Speicherkonsolidierung nutzt das Framework Parametererweiterung sowie eine kontinuierliche Speicherverwaltungshierarchie. Um katastrophales Vergessen zu verhindern, skaliert das Modell seine Kapazität während des Schlafs dynamisch. Mithilfe der Mixture-of-Experts (MoE)- und Hope-Architektur werden neu entsperrte, niedrig-rangige Experten in stabile, niedrigerfrequente Speicherblocks integriert, um eingehendes Wissen zu speichern, ohne ältere Parameter zu stören.

Dieser Prozess beinhaltet das Einsäen von Wissen oder Aufwärtsdestillation. Schwache kurzfristige Erinnerungen, die in hochfrequenten Schichten gespeichert sind (z. B. in Kontextspeicher), werden in die neu erweiterten langfristigen Parameter übertragen. Dies wird durch Generalized Knowledge Distillation (GKD) in Kombination mit lernbasiertem Imitationslernen erreicht. Insbesondere ermöglicht die on-policy-Destillation dem erweiterten Schülermodell, token-spezifisches Feedback aus Lehrerdistributionen zu erhalten, die auf selbst gesampelten Sequenzen generiert werden. Zudem belohnt das Lernen zum Imitieren (LTI) das Schülermodell auf Basis semantischer und absoluter Ähnlichkeit, wie beispielsweise der Levenshtein-Distanz, beim Erstellen von Präfixen von vom Lehrer generiertem Text.

Sobald die Konsolidierung der Erinnerungen in Module niedrigerer Frequenz abgeschlossen ist, werden die hochfrequenten, vorübergehenden Parameter durch synaptische Pruning-Verfahren zurückgesetzt. Dadurch wird Kapazität für zukünftige aktive Sitzungen freigeschaltet, wodurch sichergestellt wird, dass das Modell weiterhin lernen kann, ohne durch seine anfängliche Größe eingeschränkt zu werden.

Träumen zur Selbstverbesserung

Indem es den REM-Schlaf im menschlichen Gehirn nachahmt, bei dem das Gehirn aktiv Szenarien simuliert und neue neuronale Pfade erkundet, implementiert das Schlafframework während der „Träumphase“ einen autonomen Selbstverbesserungslauf. In dieser Phase kann das Modell synthetische Trainingsbeispiele erzeugen und seine Fähigkeiten ohne externe Eingaben verfeinern.

Der Träumprozess umfasst drei Schlüsselelemente:

1. Zufällige Auswahl von Experten: Bei der Erzeugung synthetischer Daten aktiviert der MoE-Router zufällig nicht-standardmäßige Experten. Dadurch wird das Modell gezwungen, unterschiedliche Wissensbereiche miteinander zu verbinden und latente Muster aufzudecken, die bei herkömmlichem aktiven Lernen möglicherweise nicht zum Vorschein kommen.
2. Ausgewählte Übungen: Das Modell erzeugt synthetische Trainingsbeispiele („Träume“) und filtert sie mithilfe gradientbasierten Datenauswahls. Dadurch werden Beispiele mit dem höchsten Potenzial, die Gesamtfähigkeit des Modells zu steigern, bevorzugt.
3. RL-Verfeinerung: Das Modell führt überwachtes Feintuning an den am besten bewerteten Träumbeispielen durch und prüft, ob die Erzeugung die Leistung bei nachgelagerten Aufgaben verbessert.

Google Research bezeichnet die zufällige Aktivierung von Experten sowie die belohnungsbasierte Auswahl von Beispielen als Mechanismen zur Verbesserung der Geometrie des Lernens. Durch die Einbeziehung verschiedener MoEs wird das Spektrum der während der synthetischen Erzeugung erforschten Gradientenrichtungen erweitert, wodurch dem Modell eine umfangreichere Palette an Aktualisierungen zur Verfügung steht als durch normale Daten aus dem Wachzustand allein. Die gradientbasierte Filterung betont anschließend die synthetischen Erfahrungen, die den nützlichsten Lernsignalen tragen, stärkt damit informative Richtungen und bewahrt gleichzeitig die Struktur des zugrunde liegenden Gradientenraums.

Theoretische Grundlagen und Leistung

Jenseits empirischer Ergebnisse beruht das Schlafparadigma auf einer Theorie, die erklärt, warum seine beiden Phasen ein kontinuierliches Lernen ermöglichen können, ohne einfach neues Wissen gegen alte Fähigkeiten einzutauschen. Für die Gedächtniskonsolidierung zeigt die Analyse, dass das Einbringen von Wissen als ein strukturiertes, niedrig-rangiges Kompressionsproblem verstanden werden kann. Vom Modell wird nicht verlangt, jeden Detail seiner kurzfristigen Spuren in seine Parameter zu übertragen. Stattdessen identifiziert es eine kompakte Menge an Richtungen, die am besten sowohl das eigene on-policy-Verhalten des Modells als auch die semantischen Eigenschaften bewahren, die vom Lernziel belohnt werden.

Für das Träumen charakterisiert die Theorie den Prozess als eine bewusste Methode zur Diversifizierung, Auswahl und Konsolidierung von Aktualisierungen. Zusammen ergeben diese Schritte ein ausgewogeneres Optimierungsfeld, in dem das Lernen weniger von einer kleinen Anzahl an Richtungen dominiert wird, die Gradienten besser konditioniert sind und das Modell stabile Fortschritte bei der Verbesserung seiner Fähigkeiten machen kann.

Google Research berichtet über die vergleichende Leistung des Schlafframeworks im Vergleich zu Basismethoden, einschließlich In-Context-Learning und überwachtem Feintuning, entlang wichtiger Bewertungskriterien.

• Kontinuierliche Übersetzung: In unbekannten Sprachen wie Manchu und Kalamang wies das Sleep-Framework bei mehrstufigen Bewertungen einen nahezu nullten Leistungsabfall auf. Im Gegensatz dazu litten Standard-Baselines wie ICL, Cartridges sowie supervised fine-tuning (SFT) während des sequenziellen Lernens unter schwerwiegendem katastrophalem Vergessen.
• Verständnis langjähriger Kontexte: Am BABILong-Benchmark zeigte die Sleep-Methode eine nahezu perfekte Skalierbarkeit bis zu 10M Tokens. Dadurch übertraf sie starke Baselines wie GPT-4 und Titans, indem sie die Schlafzeit-Konsolidierung nutzte, um langjährige Kontextinformationen direkt in parametrische Erinnerungen zu komprimieren.
• Einbeziehung faktischer Kenntnisse: Bei Bewertungen auf SQuAD sowie continued pre-training (CPT) erzielte die Sleep-Methode Werte von 48.9% bei Einzelaufgaben und 46.2% bei CPT-Bewertungen. Dies übertraf Baseline-Methoden einschließlich des Basismodells, SFT sowie Self-Adapting Language Models (SEAL), da neue faktische Informationen erfolgreich integriert werden konnten, ohne dass die bestehenden Modellrepräsentationen beeinträchtigt wurden.
• Mathematisches Denken: Bei Benchmarks wie AIME 24/25 und HMMT 25 erreichte das durch Sleep verbesserte Basismodell Genauigkeitswerte von 79.2%, 69.0% bzw. 46.1%. Damit übertraf es Baselines wie SFT, group relative policy optimization (GRPO) sowie on-policy self-distillation (OPSD) und zeigte, dass die Kombination von Erinnerungskonsolidierung mit Imitationslernen zu einer besseren Rechenleistung führt.

Schlussfolgerung

Das Sleep-Paradigma bietet einen Weg zu autonomen, kontinuierlich lernenden KI-Systemen. Indem es statisches Vortrainieren sowie brüchige Kontextfenster überwindet und zwischen aktivem Lernen sowie Offline-Ruhephasen wechselt, ermöglicht es großen Sprachmodellen, kurzfristige Erinnerungen zu bewahren, neue Fähigkeiten in langfristige parametrische Strukturen zu übertragen und sich kontinuierlich selbst zu verbessern, ohne katastrophales Vergessen. Diese von Ali Behrouz, Farnoosh Hashemi, Adel Javanmard und Vahab Mirrokni durchgeführte Forschung legt nahe, dass das Nachahmen biologischer Ruhezyklen eine leistungsstarke Strategie für die nächste Generation an adaptiver künstlicher Intelligenz darstellen kann.

Quelle:

• Das Schlafframework: Eine neue Methode für LLMs, um im kontinuierlichen Lernen Wissen zu bewahren — Google Research — https://research.google/blog/the-sleep-framework-a-new-way-for-llms-to-retain-knowledge-in-continual-learning