# Az 1,2 milliárd paraméteres ARLoop felülmúlta a Huginn-3.5B looped modellt

*arXiv · cs.CL · 2026-11-03 · Kutatás*

**Az ARLoop egy figyelemalapú maradék-összegzésen alapuló, ismétlődő rétegű transzformer-architektúra, amely 1,2 milliárd paraméteres méretben is felülmúlja a Huginn-3.5B modellt.**

A tanulmány szerzői bemutatták az ARLoop architektúrát, amelyben minden réteg bemenetét **figyelemalapú mélységi összegzéssel** állítják össze a modell mélysége mentén. A szokásos maradék-összeköttetések egyetlen folyamba gyűjtik az információt, ezért kevés kontrollt adnak arra, mely korábbi rétegek köztes reprezentációi használhatók újra.

A kísérletek szerint looped transformereknél nincs szükség a teljes maradék-előzményre: nagyobb rekurziós mélységnél a **csúszóablakos mélységi figyelem** egyenértékű vagy jobb eredményt ad, mint a teljes előzményt használó figyelem. A 140M és 370M paraméteres modelleken, 1-től 5-ig terjedő rekurziós mélységgel az ARLoop következetesen felülmúlta a korábbi maradékkialakításokat.

Az ARLoopot 0,6B és 1,2B paraméteres méretre skálázták reális LLM-előtanítási receptúrával, a legerősebb javulás **matematikai és programozási feladatokon** látszik. Az 1,2B-s modell 0,5T tokenen, három rekurzióval készült, és minden értékelt feladatban felülmúlta a Huginn-3.5B modellt, amely a megjelenés idején az egyetlen teljesen nyílt looped LLM volt. Kevesebb adaton tanulva is versenyképes a hasonló méretű, nem ismétlődő Qwen3.5-2B modellel.

## Miért számít?

Looped transformerekkel kísérletező kutatók és modellfejlesztők számára a **csúszóablakos mélységi figyelem** lehet hasznos kiindulópont, mert a teljes előzményhistória nélkül is hasonló eredményt ad. Az eredmények egyelőre a tanulmány saját kísérleteiből ismertek, a modellek elérhetőségéről és licencéről a forrás nem ad részletet.

---

Eredeti forrás: [ARLoop: Fully-Open Pre-trained Looped Transformers with Attention Residuals](https://arxiv.org/abs/2611.05234)

Forrás: xhírek.hu – https://xhirek.hu/hir/az-1-2-milliard-parameteres-arloop-felulmulta-a-huginn-3-5b-looped-modellt