# Ismétléses tanítás pótolhatja a korábbi szakértők hiányát nyelvi modelleknél

*arXiv · cs.CL · 2026-11-02 · Kutatás*

**Egy arXiv-tanulmány szerint a korábbi tudásterületek ismétléses tanítása a veszteség nagy részét pótolja, ha a korábbi szakértő modellek már nem érhetők el.**

A kutatók öt területen, egy 1,5 milliárd paraméteres diákmodellel és öt nyilvános szakértő modellel dolgoztak. A többtanáros **on-policy desztilláció (MOPD)** több szakértő tudását egy modellbe tömöríti, de hagyományosan mindegyik szakértőt egyszerre igényli.

Ramlás nélküli, egymás utáni tanítás a 208 lépéses közös tanítástól 6,2 ponttal marad el a 14 teszt átlagában, a biztonsági feladatok nélküli 11 teszten 3,5 ponttal. Ha az előző szakasz modelljével pótolják a korábbi területeket, az **ismétléses tanítás** 3,8 pontot hoz vissza, feltéve, hogy a korábbi területek osztoznak a szakasz ismétlési keretén. Rögzített, szakaszonként és területenként **hét ismétlési lépés** 5,8 pontot zár be, ami alig marad el a mentett pillanatképek visszatanításától (5,9 pont).

A rejtett állapotok, a figyelem és az értékkapcsolatok igazítása az átlagot legfeljebb egy ponttal változtatja meg. Az újabb területen a rögzített ismétlés gyengébb eredményt ad, mint az osztott keret. Az ismétlési lépések száma a **szakaszok számával négyzetesen nő**.

## Miért számít?

Azoknak lehet hasznos, akik egymás után több területre tanítanak kisebb nyelvi modelleket, és nem tudják megtartani az összes korábbi szakértőt. Az eredmények egyetlen, öt területes kísérletből származnak, ezért más feladatokra még nem általánosíthatók. **Több szakasz után** a költség gyorsan nőhet.

---

Eredeti forrás: [Replay for LLM Continual Learning with Multi-Teacher On-Policy Distillation](https://arxiv.org/abs/2611.02746)

Forrás: xhírek.hu – https://xhirek.hu/hir/ismetleses-tanitas-potolhatja-a-korabbi-szakertok-hianyat-nyelvi-modelleknel