Eszközök · MarkTechPost ·
A Together AI bemutatta a Together Compiler rendszert a következtetés gyorsítására
A Together AI a Together Compiler nevű, ügynökökre épülő rendszert mutatta be, amely a forgalom változásával folyamatosan újraoptimalizálja a modellek következtetését, és egyes mérésekben akár 2,6-szoros átbocsátást ér el.
A Together Compiler egy ügynökalapú optimalizáló rendszer, amely a forgalom változásával újra és újra finomhangolja a modell előre-menetét. A cég szerint az egyszer hangolt motor idővel elavul, ezért a folyamatos optimalizálás a cél. A rendszer már több Together-féle szerver nélküli (serverless) végponton fut.
A teszteket NVIDIA B200, B300, GB300 és H100, valamint AMD MI355X és AWS Trainium2 hardveren végezték, modellenként legfeljebb két csomóponton. A legjobb eredmény a MiniMax M3.1 Flash modellen, B200-on, kötegméret 1 mellett 1111 P90 TPS felhasználónként, ami a 633 TPS-es kiindulóponthoz képest 1,8-szoros. A leggyengébb eset a GLM 5.3 MI355X-en volt, ahol 463-ról csak 480 TPS-re nőtt, nagyjából 4%-kal. Egy-egy beállítás optimalizálása 24 óránál kevesebb időt vett igénybe.
A motort a rendszer egyszer indítja el, az ügynökök pedig RPC-n keresztül küldik be a jelölt előre-menetet, amelyet a szerver a függvénymutató cseréjével és a CUDA-gráfok újrarögzítésével tesztel. A kiértékelés két mérési szint között oszlik meg: a gyors szűrés 12 réteggel, a lassú megerősítés 60 réteggel dolgozik. Ez a kettős szint 8,1-szer több jelöltet vizsgált meg, mint csak a lassú szint.
Miért fontos neked?
Nagy, változó forgalmú modelleket üzemeltető fejlesztőknek és infrastruktúra-csapatoknak lehet hasznos, mert a rendszer a terhelés változásához igazodva újraoptimalizál. Az eredmények modellenként és hardverenként nagyon eltértek, ezért a saját terhelésen érdemes ellenőrizni őket.
Az eredeti megnyitása (MarkTechPost)
Eredeti cím: Together AI Releases Together Compiler: Agents Make Inference Up to 2.6x Faster
Címkék: következtetés, optimalizálás, infrastruktúra