Google Research · 2026-10-27

A Google Research alvásfázisokat vezetne be a nyelvi modellek folyamatos tanulásába

A Google Research kutatói egy „sleep” keretrendszert mutattak be, amely váltakozó éber és alvási fázisokkal segítené a nyelvi modelleket új tények megtanulásában, felejtés nélkül.

A keretrendszerben a nagy nyelvi modell két állapot között váltakozik: éber fázisban feldolgozza a bemeneteket és a rövid távú információt átmeneti memóriában tárolja, alvási fázisban pedig a memória konszolidációjára és önfejlesztésre fordítja a számításait. A rövid távú információ így stabil, hosszú távú paraméterekbe íródhat át, miközben a modell architektúrája és a tanítási szabályok változatlanok maradnak.

A hagyományos finomhangolás új adatokkal gyakran katasztrofális felejtést okoz, vagyis a korábban megtanult feladatok teljesítménye romlik. A konszolidáció során a rövid távú tokenek a bővített, alacsony rangú szakértőkeverék (MoE) blokkokba kerülnek, az álmodási szakaszban pedig a modell a véletlenszerűen aktivált szakértőkkel szintetikus példákat generál, amelyeket gradiens-alapú szűréssel válogat. A kutatás szerint a módszer 10 millió tokenig terjedő kontextusban is közel tökéletesen skálázódik a BABILong teszten, ami meghaladja a GPT-4 és a Titans eredményét.

A mandzsu és a kalamang nyelv fordításában, amelyeket a modell korábban nem ismert, a keretrendszer többlépcsős kiértékelésben szinte nulla teljesítményromlást mutatott. Ezzel szemben a kontextusban tanulás, a Cartridges és a finomhangolás jelentős felejtést szenvedett el. A forrás nem tér ki arra, hogy a keretrendszer mikor válik elérhetővé vagy mennyibe kerül.

Miért számít?

Ha a módszer a gyakorlatban is bevál, a telepített modellek új információt építhetnének be anélkül, hogy elfelejtenék korábbi tudásukat. Ez a folyamatos tanulás felé mutató lépés a mai, rögzített tudásdátumú modellekhez képest.

Az eredeti megnyitása (Google Research)

Eredeti cím: The sleep framework: A new way for LLMs to retain knowledge in continual learning