Kutatás · Hugging Face ·
A HOPE másodrendű eljárással ritkítja az MoE-nyelvmodellek szakértőit
A HOPE nevű szakértő-ritkítási módszer a szakértők közötti páronkénti kölcsönhatásokat is figyelembe veszi, és 50%-os ritkításnál a vizsgált eljárások közül a legjobb átlagos rangsort érte el.
Az MoE-modellekben minden szakértő MLP-rétegének memóriában kell lennie, miközben egy tokenhez rétegenként általában csak 8 szakértő aktív; a Qwen3.5-122B esetében a paraméterek 95%-át a szakértők teszik ki. A szakértők végleges törlése oldja ezt a memóriaszűk keresztmetszetet, tanítást nem igényel, és kvantálással is kombinálható.
A meglévő, elsőrendű módszerek minden szakértőt külön pontoznak, így figyelmen kívül hagyják a szakértők együttműködését. A HOPE a páronkénti kölcsönhatások figyelembevételével kvadratikus programozással választja ki a törlendő szakértőket, a többletidő pedig rétegenként 1–2 másodperc.
A tesztekben Qwen3.5-122B, Qwen3.5-35B és GLM-4.5-Air modelleket metszettek 10–50%-os arányban, négy elsőrendű eljárással összehasonlítva. 50%-os ritkításnál a HOPE 5 módszer közül a legjobb átlagos rangsort (2,07) érte el, és az ügynökös kódolási feladatokon akár 6,1%-kal jobb volt a következő legjobb módszernél. A forrás nem közli, hogy a módszer kódja vagy a metszett modellek hol érhetők el.
Miért fontos neked?
Azoknak hasznos, akik nagy MoE-modelleket futtatnak korlátozott memóriával, és szakértőket akarnak eltávolítani, például kódolási ügynökök futtatásánál. Az eredmények három modellen és két kalibrációs adathalmazon születtek, ezért más modelleken a javulás nem garantált.
Az eredeti megnyitása (Hugging Face)
Eredeti cím: Your Experts Have Partners. There's HOPE for Keeping Them Together
Címkék: modelltömörítés, moe, nyelvi modell