# Tíz nyílt MoE-modell útválasztását hasonlította össze a MarkTechPost

*MarkTechPost · 2026-11-08 · Modellek*

**A MarkTechPost tíz nyílt Mixture-of-Experts modell útválasztását vetette össze: a szakértők száma 8 és 384 között, a tokenenként kiválasztott szakértők száma 1 és 8 között mozog.**

Az összehasonlítás a Qwen3.6-35B-A3B (35 milliárd összes, 3 milliárd aktív paraméter) és a DeepSeek-V4-Pro (1,6 billió összes, 49 milliárd aktív paraméter) közötti modelleket fedi le. Mindegyik modell **token-választó útválasztást használ**, és öt beállításban különbözik: a szakértők számában, a tokenenkénti szakértőkben, a közös szakértőkben, a pontozó függvényben és a terheléskiegyensúlyozás módjában.

A ritkaság a Mixtralban 4-szeres (8 szakértő, top-2), a Llama 4 Maverickben 128-szoros (128 szakértő, top-1). A Kimi K2 esetében a 48-as ritkasági szint 1,69-szer kevesebb lebegőpontos műveletet igényelt, mint a nyolcas szint, **azonos validációs veszteségnél**. A gpt-oss-120b MXFP4 formátumban egyetlen 80 GB-os GPU-ra fér fel, a DeepSeek-V4-Pro és a Kimi K2 viszont több GPU-s szakértői párhuzamosságot igényel.

A DeepSeek-V3 256 szakértőt pontoz szigmoiddal, a legjobb nyolc kiválasztását szakértőnkénti torzítás irányítja, és minden token egy közös szakértőt is használ. A DeepSeek-V4 Pro 384 szakértőre nőtt, a top-k 8-ról 6-ra csökkent, a pontozás sqrtsoftplus, az első három MoE-rétegben pedig **fix, hash alapú útválasztás** fut.

## Miért számít?

Akik nyílt MoE-modellt választanak vagy üzemeltetnek, a **config.json-t érdemes ellenőrizni**, mert a "17B aktív" jelölés mögött eltérő útválasztók állhatnak. A Llama 4 Maverick és a gpt-oss esetében a terheléskiegyensúlyozási módszer nincs közölve, így ezek viselkedése kevésbé ellenőrizhető.

---

Eredeti forrás: [Which Routing Does Each MoE Model Use? DeepSeek, Qwen, Mixtral, Llama 4, gpt-oss Compared](https://www.marktechpost.com/2026/11/08/moe-model-routing-comparison)

Forrás: xhírek.hu – https://xhirek.hu/hir/tiz-nyilt-moe-modell-utvalasztasat-hasonlitotta-ossze-a-marktechpost