Kutatás · arXiv · cs.CL ·
Ismétléses tanítás pótolhatja a korábbi szakértők hiányát nyelvi modelleknél
Egy arXiv-tanulmány szerint a korábbi tudásterületek ismétléses tanítása a veszteség nagy részét pótolja, ha a korábbi szakértő modellek már nem érhetők el.
A kutatók öt területen, egy 1,5 milliárd paraméteres diákmodellel és öt nyilvános szakértő modellel dolgoztak. A többtanáros on-policy desztilláció (MOPD) több szakértő tudását egy modellbe tömöríti, de hagyományosan mindegyik szakértőt egyszerre igényli.
Ramlás nélküli, egymás utáni tanítás a 208 lépéses közös tanítástól 6,2 ponttal marad el a 14 teszt átlagában, a biztonsági feladatok nélküli 11 teszten 3,5 ponttal. Ha az előző szakasz modelljével pótolják a korábbi területeket, az ismétléses tanítás 3,8 pontot hoz vissza, feltéve, hogy a korábbi területek osztoznak a szakasz ismétlési keretén. Rögzített, szakaszonként és területenként hét ismétlési lépés 5,8 pontot zár be, ami alig marad el a mentett pillanatképek visszatanításától (5,9 pont).
A rejtett állapotok, a figyelem és az értékkapcsolatok igazítása az átlagot legfeljebb egy ponttal változtatja meg. Az újabb területen a rögzített ismétlés gyengébb eredményt ad, mint az osztott keret. Az ismétlési lépések száma a szakaszok számával négyzetesen nő.
Miért fontos neked?
Azoknak lehet hasznos, akik egymás után több területre tanítanak kisebb nyelvi modelleket, és nem tudják megtartani az összes korábbi szakértőt. Az eredmények egyetlen, öt területes kísérletből származnak, ezért más feladatokra még nem általánosíthatók. Több szakasz után a költség gyorsan nőhet.
Az eredeti megnyitása (arXiv · cs.CL)
Eredeti cím: Replay for LLM Continual Learning with Multi-Teacher On-Policy Distillation
Címkék: tanítás, nyelvi modell, kutatás