# Kutatás: a transzformer-rétegek ismételt futtatása a feladat keretétől függ

*arXiv · cs.AI · 2026-10-29 · Kutatás*

**Kutatók szerint a transzformer-modellek rétegeinek többszöri futtatása a rendelkezésre álló paraméter- és számítási keret szerint lehet hasznos, a dekódolási lassulás kezelésére pedig új, párhuzamos változatot javasolnak.**

A vizsgálatban nulláról tanított, legfeljebb 1 milliárd paraméteres, csak dekódert tartalmazó transzformereket használtak, legfeljebb 155 milliárd tokennel, 1,07·10^21 FLOP tanítási költséggel és 32 ismétléssel. Rögzített paraméterkeret mellett a teljes modell **többszörös rétegismétlése** adta a legjobb minőséget, míg korlátozott tanítási FLOP-költségnél a középső rétegblokk ismétlése volt kifizetődőbb.

A további ismétlések nem mindig javítanak: a nyereség telítődhet, megfordulhat vagy instabillá válhat. Ezért minden ismétléshez kis, ismétlésenként eltérő rangú adaptereket adtak, amelyek javították a minőséget, és a nyereség az ismétlések számával együtt nőtt, ezeket a szerzők **loop-specifikus adapterek** néven említik.

Az ismételt futtatás a dekódolást is lassítja, az ismétlések számával arányosan. A **párhuzamos loop-transzformer** a rejtett állapotokat szomszédos tokenpozíciók között adja tovább, így a körök párhuzamosan futhatnak, az eredeti változat azonban nem őrizte meg következetesen a hagyományos ismétlés minőségi előnyét. A javított változat megőrzi az aktuális token beágyazását, és az előző token rejtett állapotát külön normalizálja, mielőtt összevonja, a szerzők szerint ez erős teljesítményt ad többféle modellméreten és tanítási költségvetésen. A tanulmány arXiv-közlemény; terméket, árat vagy hozzáférési feltételt nem tartalmaz.

## Miért számít?

Modellfejlesztőknek és kutatóknak, akik adott **rögzített paraméter- vagy FLOP-keretben** terveznek, a hír azt mutatja meg, melyik ismétlési stratégia érdemes. Az eredmények legfeljebb 1 milliárd paraméteres, kutatási környezetben készült modellekre vonatkoznak, ezért nagyobb rendszerekre csak óvatosan vihetők át.

---

Eredeti forrás: [How to Loop Your Transformer: Loop Scaling, Specialization, and Parallel Inference](https://arxiv.org/abs/2610.40325)

Forrás: xhírek.hu – https://xhirek.hu/hir/kutatas-a-transzformer-retegek-ismetelt-futtatasa-a-feladat-keretetol-fugg