The Decoder · 2026-10-28

Az Artificial Analysis új indexében nagyobb lett a nyílt és a zárt modellek közti rés

Az Artificial Analysis átalakította Intelligence Indexét, a nyílt modellek lemaradása a ranglista élétől így 3 pontról 12 pontra nőtt.

Az Artificial Analysis ötödik verzióra átdolgozott indexében a Kimi K3.1 Pro öt helyet esett: a negyedik helyről a kilencedikre került, nyolc zárt modell mögé. A nyílt modellek és a ranglista élén álló modellek közti távolság 12 pontra nőtt, a korábbi 3 pont helyett.

Az index először épül 60 százalékban privát tesztkészletekre, hogy csökkenjen a „benchmaxxing”, vagyis az ismert tesztkérdésekre célzott tanítás. A Grok 4.7 12 pontot veszített, a Kimi K3.1 Pro visszaesése pedig arra utal, hogy a régi index egyes modelleket a valósnál jobbnak mutatott.

Nathan Lambert szerint a benchmaxxing csak egy része a történetnek, mert a tanulási nyereségek nagy része megerősítéses tanulási környezetekben születik, amelyek a benchmarkok feladataira hasonlítanak. A zárt tesztkészletek hátránya, hogy a kívülállók nem látják a hibás kérdéseket, az Artificial Analysis pedig az AA-Omniscience tudástesztben kénytelen volt átdolgozni a kétértelmű kérdéseket.

Miért számít?

A modellek ranglistáján látható sorrend a mérési módszer változásával jelentősen átrendeződhet, ezért a régi pontszámokat óvatosan kell kezelni.

Az eredeti megnyitása (The Decoder)

Eredeti cím: New Artificial Analysis index widens the gap between open and closed models