Kutatás · The Decoder ·
Az AI-kódolóügynökök a valós feladatok háromnegyedénél még kézi utómunkát igényelnek
Az Alibaba és ázsiai egyetemek kutatói valós felhasználói kérésekre épülő tesztet, a Co-Design Bench-et készítették, amelyen a legjobb modell is csak a feladatok 26,4 százalékát teljesíti hibátlanul.
A Co-Design Bench meglévő webalkalmazások átalakítását várja el a kódolóügynököktől, a bemenet lehet kép, hangfelvétel, videó vagy dokumentum. A tesztelt tíz modell közül a legjobb, a GPT-6 Astra a követelmények átlagosan mintegy 70 százalékát teljesíti, de csak a feladatok teljesen helyes eredmény születik.
A feladatokat valós kódolási munkamenetekből válogatták, főleg olyan esetekből, ahol a felhasználóknak többször is át kellett fogalmazniuk a kérésüket. A változtatások a kisebb módosításoktól, például egy nyugtáról kiolvasott összeg átvezetésétől a teljes projekt-átalakításig terjednek. Az értékelést egy AI-bíró végzi böngészőben, egy második bíró pedig ellenőrzi a pozitív ítéleteket, hogy nincsenek-e makettek vagy beégetett eredmények.
A több változtatástípus egyszerre, vagyis az elrendezés, a dizájn, az interakció és a tartalom együttes módosítása minden modellnél rontja az eredményt, a nagyobb számítási kapacitás pedig keveset segít. A GLM-5.2 a kisebb módosításoknál közel hatszor annyi tokent használ, mint a GPT-6 Astra, mégis lényegesen gyengébb eredményt ér el. A kutatók szerint a futtatókörnyezete is ugyanakkora hatással van az eredményre, mint maga a modell: a Qwen3.8-27B a nagyobb átalakításoknál a környezettől függően 75, illetve 56 százalékot ért el.
Miért fontos neked?
Kódolóügynököt választó csapatoknak érdemes figyelniük: a nyilvános toplisták csak a modellt mutatják, ezért a modellt és a munkakörnyezetet együtt érdemes tesztelni. A benchmark csak egy rögzített kérést értékel, a visszakérdezéseket és a futás közbeni javításokat nem.
Az eredeti megnyitása (The Decoder)
Eredeti cím: AI coding agents still need human cleanup on nearly three out of four tasks in a real-world test
Címkék: benchmark, kódolás, ügynök