Kutatás · arXiv · cs.AI ·
A PaperBenchX tesztkészlet szerint az AI-ügynökök még nehezen reprodukálnak tudományos kísérleteket
Egy új, 93 feladatot tartalmazó tesztkészlet szerint a legjobb vizsgált AI-ügynök-konfiguráció is csak a feladatok 14 százalékát reprodukálta teljesen, miközben 12 tudományterületen mérték a képességet.
A PaperBenchX 93, szakértők által összeállított feladatot tartalmaz, amelyek tudományos cikkek újratermelését kérik az elektromágnesességtől a fotonikán, kémián, anyagtudományon és biológián át a robotikáig. Minden feladathoz tartozik a forrásul szolgáló cikk, egy nyilvános feladatleírás és egy szakspecifikus tudományos szoftvereket használó környezet.
Az ügynököknek újra kell építeniük a kulcskísérletet, le kell futtatniuk és hibát kell keresniük benne, majd futtatható munkafolyamatot kell leadniuk, amely alátámasztja a célzott állítást. Az értékelés nem a felszíni egyezést nézi: minden beadott megoldást nulláról futtatnak újra, és csak a újonnan előállított bizonyítékokat pontozzák szakértők által validált szempontok szerint. Tíz élvonalbeli ügynök-konfiguráció közül a legjobb csak a feladatok 14 százalékánál érte el a 90 százalékos küszöböt.
Az átlagos pontszámok 27,53 és 59,08 százalék között mozognak, vagyis a részleges haladás gyakran nem vezet teljes reprodukcióhoz. Az eredmények szerint nagy a szakadék a tudományos cikk megértése és a megbízható tudományos bizonyíték előállítása között.
Miért fontos neked?
Kutatóknak és AI-fejlesztőknek hasznos tudni, hogy a tesztkészlet a tudományos munkafolyamatok megbízhatóságát méri, nem csupán a modellek általános teljesítményét. Az eredmények alapján az AI által előállított kísérleti eredményeket óvatosan érdemes kezelni.
Az eredeti megnyitása (arXiv · cs.AI)
Eredeti cím: PAPERBENCHX: Can AI Reproduce Science Across Disciplines?
Címkék: reprodukció, ügynökök, tudomány