Kutatás · arXiv · cs.CL ·
Az 1,2 milliárd paraméteres ARLoop felülmúlta a Huginn-3.5B looped modellt
Az ARLoop egy figyelemalapú maradék-összegzésen alapuló, ismétlődő rétegű transzformer-architektúra, amely 1,2 milliárd paraméteres méretben is felülmúlja a Huginn-3.5B modellt.
A tanulmány szerzői bemutatták az ARLoop architektúrát, amelyben minden réteg bemenetét figyelemalapú mélységi összegzéssel állítják össze a modell mélysége mentén. A szokásos maradék-összeköttetések egyetlen folyamba gyűjtik az információt, ezért kevés kontrollt adnak arra, mely korábbi rétegek köztes reprezentációi használhatók újra.
A kísérletek szerint looped transformereknél nincs szükség a teljes maradék-előzményre: nagyobb rekurziós mélységnél a csúszóablakos mélységi figyelem egyenértékű vagy jobb eredményt ad, mint a teljes előzményt használó figyelem. A 140M és 370M paraméteres modelleken, 1-től 5-ig terjedő rekurziós mélységgel az ARLoop következetesen felülmúlta a korábbi maradékkialakításokat.
Az ARLoopot 0,6B és 1,2B paraméteres méretre skálázták reális LLM-előtanítási receptúrával, a legerősebb javulás matematikai és programozási feladatokon látszik. Az 1,2B-s modell 0,5T tokenen, három rekurzióval készült, és minden értékelt feladatban felülmúlta a Huginn-3.5B modellt, amely a megjelenés idején az egyetlen teljesen nyílt looped LLM volt. Kevesebb adaton tanulva is versenyképes a hasonló méretű, nem ismétlődő Qwen3.5-2B modellel.
Miért fontos neked?
Looped transformerekkel kísérletező kutatók és modellfejlesztők számára a csúszóablakos mélységi figyelem lehet hasznos kiindulópont, mert a teljes előzményhistória nélkül is hasonló eredményt ad. Az eredmények egyelőre a tanulmány saját kísérleteiből ismertek, a modellek elérhetőségéről és licencéről a forrás nem ad részletet.
Az eredeti megnyitása (arXiv · cs.CL)
Eredeti cím: ARLoop: Fully-Open Pre-trained Looped Transformers with Attention Residuals
Címkék: nyelvi modell, transzformer, előtanítás