Kutatás · The Decoder ·
A SemiAnalysis GDPx tesztjében egyik MI-ügynök sem ér el 12 százaléknál többet
A SemiAnalysis új, valós munkakörnyezetet utánzó tesztjében a legjobb MI-ügynök is csak 12 százalékos eredményt ért el, ami a munkahelyi alkalmazhatóság korlátait mutatja.
A SemiAnalysis elemzőcég bemutatta a GDPx nevű mérőrendszert, amely 206 feladaton, 11 területen, például chiptervezésben, biológiában, kvantitatív kereskedésben, kiberbiztonságban és jogban teszteli az MI-ügynököket. Az ügynökök akár nyolc órán át dolgoznak olyan szakmai szoftverekkel, mint a Siemens NX, vagy több ezer fájlt tartalmazó adatszobákban keresgélnek, így valós munkakörnyezet jön létre, szemben az OpenAI GDPval tesztjével.
Az eredmények alacsonyak: a Claude Opus 5.5 12 százalékkal vezeti a ranglistát, mögötte a Gemini 4 Carbon 10,9, a GPT-6 Astra 9,6 százalékkal áll, miközben a Gemini 4 Carbon feladatonként 16,29 dollárba kerül. Pénzügyi és jogi feladatot egyik modell sem old meg teljesen, ezért a SemiAnalysis a követelmények teljesülési arányát méri.
A feladatok 14 partnertől származnak, akik betanítási és értékelési adatokat is eladnak AI-laboroknak, és többségük zárt tesztfeladat, nyilvánosan csak egy-egy példa érhető el. Több területen nyelvi modell pontozza az eredményeket, a kritikusok pedig a biztonsági szűrők torzító hatására, a tesztfeladatok titkosságára és a szolgáltatók eltérő ügynökszoftverére hívják fel a figyelmet. A SemiAnalysis három-hat havonta frissíti a tesztet.
Miért fontos neked?
Azoknak fontos, akik MI-ügynököket terveznek szakmai munkafolyamatokba, például mérnököknek, elemzőknek vagy jogászoknak. A zárt tesztfeladatok miatt az eredmények külső ellenőrzése nehéz, ezért óvatosan kezelendők.
Az eredeti megnyitása (The Decoder)
Eredeti cím: No AI agent scores above 12 percent on SemiAnalysis' new real-world work benchmark
Címkék: ügynökök, teszt, értékelés