Kutatás · arXiv · cs.AI ·
Kutatás: a transzformer-rétegek ismételt futtatása a feladat keretétől függ
Kutatók szerint a transzformer-modellek rétegeinek többszöri futtatása a rendelkezésre álló paraméter- és számítási keret szerint lehet hasznos, a dekódolási lassulás kezelésére pedig új, párhuzamos változatot javasolnak.
A vizsgálatban nulláról tanított, legfeljebb 1 milliárd paraméteres, csak dekódert tartalmazó transzformereket használtak, legfeljebb 155 milliárd tokennel, 1,07·10^21 FLOP tanítási költséggel és 32 ismétléssel. Rögzített paraméterkeret mellett a teljes modell többszörös rétegismétlése adta a legjobb minőséget, míg korlátozott tanítási FLOP-költségnél a középső rétegblokk ismétlése volt kifizetődőbb.
A további ismétlések nem mindig javítanak: a nyereség telítődhet, megfordulhat vagy instabillá válhat. Ezért minden ismétléshez kis, ismétlésenként eltérő rangú adaptereket adtak, amelyek javították a minőséget, és a nyereség az ismétlések számával együtt nőtt, ezeket a szerzők loop-specifikus adapterek néven említik.
Az ismételt futtatás a dekódolást is lassítja, az ismétlések számával arányosan. A párhuzamos loop-transzformer a rejtett állapotokat szomszédos tokenpozíciók között adja tovább, így a körök párhuzamosan futhatnak, az eredeti változat azonban nem őrizte meg következetesen a hagyományos ismétlés minőségi előnyét. A javított változat megőrzi az aktuális token beágyazását, és az előző token rejtett állapotát külön normalizálja, mielőtt összevonja, a szerzők szerint ez erős teljesítményt ad többféle modellméreten és tanítási költségvetésen. A tanulmány arXiv-közlemény; terméket, árat vagy hozzáférési feltételt nem tartalmaz.
Miért fontos neked?
Modellfejlesztőknek és kutatóknak, akik adott rögzített paraméter- vagy FLOP-keretben terveznek, a hír azt mutatja meg, melyik ismétlési stratégia érdemes. Az eredmények legfeljebb 1 milliárd paraméteres, kutatási környezetben készült modellekre vonatkoznak, ezért nagyobb rendszerekre csak óvatosan vihetők át.
Az eredeti megnyitása (arXiv · cs.AI)
Eredeti cím: How to Loop Your Transformer: Loop Scaling, Specialization, and Parallel Inference
Címkék: kutatás, transzformer, nyelvi modell