# A HOPE másodrendű eljárással ritkítja az MoE-nyelvmodellek szakértőit

*Hugging Face · 2026-11-09 · Kutatás*

**A HOPE nevű szakértő-ritkítási módszer a szakértők közötti páronkénti kölcsönhatásokat is figyelembe veszi, és 50%-os ritkításnál a vizsgált eljárások közül a legjobb átlagos rangsort érte el.**

Az MoE-modellekben minden szakértő MLP-rétegének memóriában kell lennie, miközben egy tokenhez rétegenként általában csak 8 szakértő aktív; a Qwen3.5-122B esetében a paraméterek 95%-át a szakértők teszik ki. A **szakértők végleges törlése** oldja ezt a memóriaszűk keresztmetszetet, tanítást nem igényel, és kvantálással is kombinálható.

A meglévő, elsőrendű módszerek minden szakértőt külön pontoznak, így figyelmen kívül hagyják a szakértők együttműködését. A HOPE a **páronkénti kölcsönhatások figyelembevételével** kvadratikus programozással választja ki a törlendő szakértőket, a többletidő pedig rétegenként 1–2 másodperc.

A tesztekben Qwen3.5-122B, Qwen3.5-35B és GLM-4.5-Air modelleket metszettek 10–50%-os arányban, négy elsőrendű eljárással összehasonlítva. 50%-os ritkításnál a HOPE 5 módszer közül a legjobb átlagos rangsort (2,07) érte el, és az **ügynökös kódolási feladatokon** akár 6,1%-kal jobb volt a következő legjobb módszernél. A forrás nem közli, hogy a módszer kódja vagy a metszett modellek hol érhetők el.

## Miért számít?

Azoknak hasznos, akik nagy MoE-modelleket futtatnak korlátozott memóriával, és szakértőket akarnak eltávolítani, például **kódolási ügynökök futtatásánál**. Az eredmények három modellen és két kalibrációs adathalmazon születtek, ezért más modelleken a javulás nem garantált.

---

Eredeti forrás: [Your Experts Have Partners. There's HOPE for Keeping Them Together](https://huggingface.co/blog/amazon/higher-order-pruning-experts)

Forrás: xhírek.hu – https://xhirek.hu/hir/a-hope-masodrendu-eljarassal-ritkitja-az-moe-nyelvmodellek-szakertoit