# A Together AI bemutatta a Together Compiler rendszert a következtetés gyorsítására

*MarkTechPost · 2026-11-05 · Eszközök*

**A Together AI a Together Compiler nevű, ügynökökre épülő rendszert mutatta be, amely a forgalom változásával folyamatosan újraoptimalizálja a modellek következtetését, és egyes mérésekben akár 2,6-szoros átbocsátást ér el.**

A Together Compiler egy ügynökalapú optimalizáló rendszer, amely a forgalom változásával újra és újra finomhangolja a modell előre-menetét. A cég szerint az egyszer hangolt motor idővel elavul, ezért a **folyamatos optimalizálás** a cél. A rendszer már több Together-féle szerver nélküli (serverless) végponton fut.

A teszteket NVIDIA B200, B300, GB300 és H100, valamint AMD MI355X és AWS Trainium2 hardveren végezték, modellenként legfeljebb két csomóponton. A legjobb eredmény a **MiniMax M3.1 Flash** modellen, B200-on, kötegméret 1 mellett 1111 P90 TPS felhasználónként, ami a 633 TPS-es kiindulóponthoz képest 1,8-szoros. A leggyengébb eset a GLM 5.3 MI355X-en volt, ahol 463-ról csak 480 TPS-re nőtt, nagyjából 4%-kal. Egy-egy beállítás optimalizálása 24 óránál kevesebb időt vett igénybe.

A motort a rendszer egyszer indítja el, az ügynökök pedig RPC-n keresztül küldik be a jelölt előre-menetet, amelyet a szerver a függvénymutató cseréjével és a CUDA-gráfok újrarögzítésével tesztel. A kiértékelés **két mérési szint** között oszlik meg: a gyors szűrés 12 réteggel, a lassú megerősítés 60 réteggel dolgozik. Ez a kettős szint 8,1-szer több jelöltet vizsgált meg, mint csak a lassú szint.

## Miért számít?

Nagy, változó forgalmú modelleket üzemeltető fejlesztőknek és infrastruktúra-csapatoknak lehet hasznos, mert a rendszer a terhelés változásához igazodva újraoptimalizál. Az eredmények modellenként és hardverenként nagyon eltértek, ezért a **saját terhelésen** érdemes ellenőrizni őket.

---

Eredeti forrás: [Together AI Releases Together Compiler: Agents Make Inference Up to 2.6x Faster](https://www.marktechpost.com/2026/11/05/together-ai-together-compiler-continual-compilation-ai-inference)

Forrás: xhírek.hu – https://xhirek.hu/hir/a-together-ai-bemutatta-a-together-compiler-rendszert-a-kovetkeztetes