Le framework Sleep : une nouvelle façon pour les LLM d’conserver des connaissances dans l’apprentissage continu

Le cadre de sommeil : une nouvelle façon pour les LLM d’conserver des connaissances dans l’apprentissage continu

Les modèles de langage de grande taille modernes (LLM) ont atteint des performances impressionnantes grâce au pré-entraînement et à l’apprentissage in-context (ICL). Cependant, une fois déployés, ces modèles restent souvent largement statiques, fonctionnant avec une date de fin de connaissance fixe qui les empêche d’acquérir des capacités à long terme ou de s’adapter à de nouvelles informations. Bien que mettre à jour les modèles avec de nouvelles données semble être la solution évidente, les mises à jour continues des paramètres déclenchent souvent l’oubli catastrophique, un problème fondamental où l’apprentissage de nouvelles tâches détériore fortement les performances sur celles apprises précédemment. Par ailleurs, s’appuyer strictement sur l’ICL limite la conservation des connaissances à la fenêtre de contexte immédiate ; une fois la session de contexte terminée, les informations à court terme acquises sont oubliées.

Pour remédier à ces limites, Google Research a introduit un cadre de sommeil dans l’apprentissage continu. Ce paradigme d’apprentissage doté des LLM d’un cycle de vie périodique continu leur permet d’apprendre continuellement, de consolider les contextes à court terme fragiles en paramètres stables à long terme, et d’atténuer l’oubli catastrophique ou les dates de fin de connaissance statiques. Inspiré de la manière dont le cerveau humain traite et stabilise la mémoire pendant le repos, ce cadre permet aux modèles d’alterner entre une interaction active et une consolidation de la mémoire hors ligne.

Les phases active et de sommeil

Sous le paradigme de sommeil, un LLM fonctionne dans deux états principaux : la phase active (éveillée) et la phase de sommeil. Pendant la phase active, le modèle reçoit, traite et interagit activement avec des entrées, en stockant des informations temporaires dans des composants de mémoire rapide à court terme. En revanche, pendant la phase de sommeil, le modèle suspend le traitement de nouvelles entrées et redirige ses calculs internes vers la consolidation de la mémoire et l’amélioration de soi.

Alors que des termes tels que « sommeil », « rêver » et « auto-amélioration » empruntent à la neurosciences, Google Research indique que leur cadre fonctionne entièrement au sein d’une architecture de modèle fixe ainsi que de règles d’entraînement définies par l’homme. Pendant la phase de sommeil hors ligne, le modèle active des blocs de mémoire Mixture-of-Experts (MoE) préalloués et met à jour ses poids numériques en utilisant des exemples d’exercice générés automatiquement. Ce cycle automatisé post-entraînement permet à un modèle déployé d’absorber de nouvelles informations et d’améliorer la précision de son raisonnement, tout en conservant son code principal et sa conception inchangés.

Consolidation de la mémoire et expansion des paramètres

Le paradigme du sommeil lutte contre l’oubli catastrophique et favorise l’adaptation continue grâce à deux étapes : la consolidation de la mémoire et le rêver. Dans le cerveau humain, le sommeil à ondes lentes sans mouvement oculaire rapide (NREM) consolide les souvenirs fragiles en structures à long terme par abstraction et distillation. Google Research reproduit ce phénomène naturel au moyen de mécanismes techniques spécifiques.

Pour la consolidation de la mémoire, le cadre fait appel à l’expansion des paramètres ainsi qu’à une hiérarchie de mémoire continue. Afin d’éviter l’oubli catastrophique, le modèle ajuste dynamiquement sa capacité pendant le sommeil. En utilisant une architecture Mixture of Experts (MoE) et Hope, des experts à rang faible nouvellement activés sont intégrés dans des blocs de mémoire stables à faible fréquence afin de stocker les connaissances nouvelles sans perturber les paramètres existants.

Ce processus comprend une semence de connaissances, ou distillation ascendante. Les souvenirs à court terme fragiles stockés dans des couches à haute fréquence (par exemple, la mémoire in-context) sont transférés vers les paramètres à long terme nouvellement étendus. Cela s’obtient grâce à la distillation de connaissances généralisée (GKD) combinée à un apprentissage par imitation basé sur l’apprentissage par renforcement (RL). Plus précisément, la distillation en temps réel permet au modèle étudiant étendu d’apprendre des retours spécifiques aux tokens à partir de distributions d’enseignant générées sur des séquences auto-échantillonnées. De plus, l’apprentissage par imitation (LTI) récompense le modèle étudiant en fonction de la similarité sémantique et absolue, telle que la distance de Levenshtein, lorsqu’il complète des préfixes de texte généré par l’enseignant.

Lorsque la consolidation de la mémoire dans des modules à faible fréquence est terminée, les paramètres temporaires à haute fréquence sont réinitialisés par le biais du prunage synaptique. Cela libère de la capacité pour des sessions actives futures, permettant au modèle de continuer à apprendre sans être limité par sa taille initiale.

Rêver pour l’amélioration personnelle

En imitant le sommeil paradoxal dans le cerveau humain, où celui-ci simule activement des scénarios et explore de nouvelles voies neuronales, le cadre de sommeil met en œuvre un cycle d’amélioration autonome pendant la « phase de rêve ». Cette phase permet au modèle de générer des échantillons d’entraînement synthétiques et d’affiner ses capacités sans entrée externe.

Le processus de rêve comprend trois composants clés :

1. Sélection aléatoire d’experts : Lors de la génération de données synthétiques, le routeur MoE active aléatoirement des experts non standard. Cela oblige le modèle à mixer des domaines de connaissance disparates et à découvrir des motifs latents qui pourraient ne pas apparaître lors d’un apprentissage actif standard.
2. Entraînement ciblé : Le modèle génère des échantillons d’entraînement synthétiques (« rêves ») et les filtre à l’aide d’une sélection de données basée sur les gradients. Cela donne la priorité aux échantillons ayant le plus grand potentiel d’améliorer les capacités globales du modèle.
3. Affinage par apprentissage par renforcement : Le modèle effectue un affinage supervisé sur les échantillons de rêve les mieux notés et évalue si leur génération améliore les performances sur des tâches ultérieures.

Google Research qualifie l’activation aléatoire d’experts et la sélection d’échantillons basée sur des récompenses de mécanismes permettant d’améliorer la géométrie de l’apprentissage. L’injection de différents MoE élargit l’ensemble des directions de gradients explorées lors de la génération synthétique, exposant le modèle à un ensemble plus riche d’actualisations que celles induites uniquement par des données ordinaires en état de veille. Le filtrage basé sur les gradients met ensuite en avant les expériences synthétiques qui contiennent le signal d’apprentissage le plus utile, renforçant les directions informatives tout en préservant la structure de l’espace de gradients sous-jacent.

Fondements théoriques et performances

Au-delà des résultats empiriques, le paradigme du sommeil repose sur une théorie qui explique pourquoi ses deux étapes permettent un apprentissage continu sans simplement échanger de nouvelles connaissances contre de vieilles capacités. Pour la consolidation de la mémoire, l’analyse montre que la semence de connaissances peut être comprise comme un problème de compression structuré à faible rang. Le modèle n’est pas chargé de copier chaque détail de ses traces à court terme dans ses paramètres. Au lieu de cela, il identifie un ensemble compact de directions qui préservent au mieux à la fois le comportement propre du modèle selon sa politique d’apprentissage et les qualités sémantiques récompensées par l’objectif d’apprentissage.

Pour le rêve, la théorie caractérise ce processus comme une méthode délibérée pour diversifier, sélectionner et consolider les mises à jour. Ensemble, ces étapes donnent naissance à un paysage d’optimisation plus équilibré où l’apprentissage est moins dominé par un petit nombre de directions, les gradients sont mieux conditionnés, et le modèle peut progresser de manière plus stable en affinant ses capacités.

Google Research présente des performances comparatives du cadre du sommeil par rapport aux approches de référence, y compris l’apprentissage in-context et le fine-tuning supervisé, sur les principaux axes d’évaluation.

• Traduction continue : Dans des langues inconnues telles que le mandchou et le kalamang, le cadre de sommeil a maintenu une baisse de performance proche de zéro lors d’évaluations à plusieurs étapes. En revanche, des références standard comme ICL, Cartridges et l’ajustement fin supervisé (SFT) ont subi un oubli catastrophique sévère pendant l’apprentissage séquentiel.
• Compréhension de longs contextes : Sur le benchmark BABILong, la méthode de sommeil a démontré une capacité de mise à l’échelle presque parfaite jusqu’à 10M tokens. Cela a surpassé des références solides comme GPT-4 et Titans en utilisant la consolidation pendant le sommeil pour compresser directement les informations de longs contextes dans une mémoire paramétrique.
• Intégration de connaissances factuelles : Évaluée sur SQuAD et l’entraînement préalable continu (CPT), la méthode de sommeil a atteint 48.9% pour les évaluations à tâche unique et 46.2% pour les évaluations CPT. Cela a surpassé les méthodes de référence, y compris le modèle de base, SFT et les modèles de langage auto-adaptatifs (SEAL), en intégrant avec succès de nouvelles informations factuelles sans dégrader les représentations existantes du modèle.
• Raisonnement mathématique : Sur des benchmarks tels que AIME 24/25 et HMMT 25, le modèle de base amélioré par le sommeil a atteint des scores de précision de 79.2%, 69.0% et 46.1% respectivement. Cela a surpassé des références comme SFT, l’optimisation de politique relative par groupe (GRPO) et la distillation auto-en cours d’exécution (OPSD), montrant que le couplage de la consolidation de la mémoire avec l’apprentissage par imitation entraîne des performances de raisonnement supérieures.

Conclusion

Le paradigme du sommeil offre une voie vers des systèmes d’IA autonomes et en apprentissage continu. En allant au-delà de l’entraînement préalable statique et des fenêtres de contexte fragiles, en alternant entre apprentissage actif et repos hors ligne, il permet aux LLM d’établir des mémoires à court terme, d’extraire de nouvelles compétences dans des structures paramétriques à long terme, et de s’améliorer continuellement sans oubli catastrophique. Cette recherche, menée par Ali Behrouz, Farnoosh Hashemi, Adel Javanmard et Vahab Mirrokni, suggère que l’imitation des cycles de repos biologiques peut constituer une stratégie puissante pour la prochaine génération d’intelligences artificielles adaptatives.

Source :

• Le cadre de sommeil : Une nouvelle façon pour les LLM d’conserver des connaissances dans l’apprentissage continu — Google Research — https://research.google/blog/the-sleep-framework-a-new-way-for-llms-to-retain-knowledge-in-continual-learning