Modellek · MarkTechPost ·
Tíz nyílt MoE-modell útválasztását hasonlította össze a MarkTechPost
A MarkTechPost tíz nyílt Mixture-of-Experts modell útválasztását vetette össze: a szakértők száma 8 és 384 között, a tokenenként kiválasztott szakértők száma 1 és 8 között mozog.
Az összehasonlítás a Qwen3.6-35B-A3B (35 milliárd összes, 3 milliárd aktív paraméter) és a DeepSeek-V4-Pro (1,6 billió összes, 49 milliárd aktív paraméter) közötti modelleket fedi le. Mindegyik modell token-választó útválasztást használ, és öt beállításban különbözik: a szakértők számában, a tokenenkénti szakértőkben, a közös szakértőkben, a pontozó függvényben és a terheléskiegyensúlyozás módjában.
A ritkaság a Mixtralban 4-szeres (8 szakértő, top-2), a Llama 4 Maverickben 128-szoros (128 szakértő, top-1). A Kimi K2 esetében a 48-as ritkasági szint 1,69-szer kevesebb lebegőpontos műveletet igényelt, mint a nyolcas szint, azonos validációs veszteségnél. A gpt-oss-120b MXFP4 formátumban egyetlen 80 GB-os GPU-ra fér fel, a DeepSeek-V4-Pro és a Kimi K2 viszont több GPU-s szakértői párhuzamosságot igényel.
A DeepSeek-V3 256 szakértőt pontoz szigmoiddal, a legjobb nyolc kiválasztását szakértőnkénti torzítás irányítja, és minden token egy közös szakértőt is használ. A DeepSeek-V4 Pro 384 szakértőre nőtt, a top-k 8-ról 6-ra csökkent, a pontozás sqrtsoftplus, az első három MoE-rétegben pedig fix, hash alapú útválasztás fut.
Miért fontos neked?
Akik nyílt MoE-modellt választanak vagy üzemeltetnek, a config.json-t érdemes ellenőrizni, mert a "17B aktív" jelölés mögött eltérő útválasztók állhatnak. A Llama 4 Maverick és a gpt-oss esetében a terheléskiegyensúlyozási módszer nincs közölve, így ezek viselkedése kevésbé ellenőrizhető.
Az eredeti megnyitása (MarkTechPost)
Eredeti cím: Which Routing Does Each MoE Model Use? DeepSeek, Qwen, Mixtral, Llama 4, gpt-oss Compared
Címkék: modell, architektúra, nyílt modell