Kutatás · r/LocalLLaMA (Reddit) ·
Helyi kvantált modellek és Claude-modellek hibajavító tesztje kilenc valódi hibán
Egy fejlesztő kilenc, saját C++/CUDA-projektjéből vett valódi regresszión mérte a helyi és a Claude-modelleket, a legjobb Claude Opus 5.5 lett 0,74 ponttal, a legjobb helyi modell 0,50 pontot ért el.
A Reddit r/LocalLLaMA fórumon közzétett teszt a fejlesztő saját capy-flash motorján futó helyi modelleket hasonlítja össze Claude-modellekkel, kilenc valódi regresszió javításán. Az ügynököknek hibát kellett megtalálniuk és javítást írniuk úgy, hogy nem futtathattak sem fordítást, sem kódot, legfeljebb 80 lépésben.
A Claude Opus 5.5 0,74 ponttal vezet, a Sonnet 5.5 0,58, a helyi Qwen3.8-Flash-Next NVFP4 változata 0,50 pontot ért el. A Qwen3.8-27B 3 bites változata 0,39, az NVFP4 0,34, a Gemma 4 26B-A4B gondolkodó móddal 0,07 pontot kapott. A konfidenciaintervallumok körülbelül ±0,2 szélesek.
A kvantálás hatását azonos feladatokon mérve a Flash-Next 3 bites változata -0,02 ponttal maradt el az NVFP4-től, miközben tokenből 1,03-szor annyit használt. A 27B 3 bites változata feladatonként 40 százalékkal több tokent generált, pontszáma viszont a zajon belül maradt.
Miért fontos neked?
Ha helyi ügynököt tervezel kódhibák javítására 16 GB-os kártyákon, a Flash-Next kvantált változatai ezen a feladatkészleten hasonló eredményt hoztak, a 27B modellnél viszont a többlet tokenek számítanak. A kilenc feladat és három futás kevés, ezért a különbségek csak tájékoztató jellegűek.
Az eredeti megnyitása (r/LocalLLaMA (Reddit))
Eredeti cím: Not another tok/s post: local quants vs Claude on 9 real bugs
Címkék: helyi modellek, kvantálás, kódhibák