Eszközök · MarkTechPost ·
Az NVIDIA 42,5%-kal gyorsította a Ling-3.0-flash MoE-modellt egy DGX Sparkon
Az NVIDIA egyetlen DGX Spark asztali rendszeren, három optimalizálással 42,5%-kal növelte a 124 milliárd paraméteres Ling-3.0-flash modell dekódolási átviteli sebességét, statisztikailag kimutatható pontosságváltozás nélkül.
Az NVIDIA legújabb technikai blogbejegyzése szerint a MoE-következtetés gyorsítása egyetlen DGX Spark rendszeren is megvalósítható. A tesztmodell az Ant Group inclusionAI által fejlesztett Ling-3.0-flash, amely 124 milliárd paraméterrel rendelkezik, tokenenként pedig 5,1 milliárd paramétert aktivál. A DGX Spark asztali rendszer, 128 GB egyesített memóriával és 273 GB/s memória-sávszélességgel.
Az NVIDIA három optimalizáció kombinálása révén új MoE-kernel háttérrendszert (Humming), FP8 kimeneti réteget és beépített spekulatív dekódolást (MTP, NEXTN) használt. Az 1319 GSM8K-kérdésen mért dekódolási sebesség 37,81 tokenről 53,89 tokenre másodpercenként nőtt, az átlagos késleltetés pedig 24,5%-kal csökkent. A szintetikus teszteken mért 185,1%-os nyereség a GSM8K-n kisebb volt, mert az MTP-elfogadási arány 3,90-ről 2,68-ra esett.
A GSM8K-n a pontosság nem változott jelentősen: 96,89% helyett 96,82%-ot mértek. A dekódolás memóriakötött volt, ezért a fejlesztések a memóriából olvasott bájtok számát és az egy ellenőrzési körben generált tokenek számát célozták.
Miért fontos neked?
A helyi, egyfelhasználós kiszolgálás iránt érdeklődő fejlesztőknek hasznos, mert a nagy MoE-modell asztali gépen is gyorsabban futtatható. A szintetikus 185,1%-os nyereség a GSM8K-n jóval kisebb, ezért valós feladatra érdemes saját mérést végezni.
Az eredeti megnyitása (MarkTechPost)
Eredeti cím: NVIDIA Shows 3 Ways to Speed Up MoE Inference on DGX Spark, Lifting Ling-3.0-flash Throughput 42.5%
Címkék: következtetés, moe, hardver