Kutatás · arXiv · cs.CL ·
Kvantálás után is megmarad a pontosság, de a kódoló ügynökök viselkedése változik
Egy új kutatás szerint a 4 bites kvantálás nem rontja szignifikánsan a kódoló ügynökök végső pontosságát, viszont jelentősen megváltoztatja megoldási útvonalukat és hibáikat.
A kutatók a BF16 pontosságú modelleket hasonlították össze 4 bites AWQ és GPTQ kvantálással. A vizsgálatban a Qwen2.5-Coder-Instruct 7B, 14B és 32B méretű, valamint a Devstral-Small-2507 24B-s változata szerepelt, az OJBench programozási feladatain, három véletlenmag mellett.
Egyik modellnél sem mutatkozott statisztikailag szignifikáns pontosságromlás. A végeredmény mögött azonban komoly viselkedésbeli eltérések állnak: az AWQ a Qwen 7B egylépéses megoldásainak számát 17-ről 0-ra csökkentette, miközben a hurokalapú megoldások száma 10-ről 25-re nőtt. A Qwen 32B minden sikeres megoldása eszközhasználatot igényelt, a Devstral pedig ritkán hívta meg érvényesen a végrehajtót.
A hibatípusok is eltérnek. A Qwen 32B jóval több fordítási hibát produkál, mint a kisebb Qwen-modellek, kvantálás hatására pedig enyhén tovább nő ez a szám. A Devstral hibái kvantálás után jelentősen eltolódtak a futásidejű hibákról rossz válaszok és időtúllépések felé.
Miért fontos neked?
Aki nyílt, kvantált modellt futtat kódoló ügynökként, a végső pontosság mellett a megoldási lépéseket, eszközhívásokat és hibatípusokat is érdemes mérnie. Az eredmények egyetlen benchmarkon és három méreten készültek, ezért más feladatokra nem feltétlenül vihetők át.
Az eredeti megnyitása (arXiv · cs.CL)
Eredeti cím: Beyond Accuracy: How Quantization Affects Coding Agents
Címkék: kvantálás, kódolás, ügynökök