# A PaperBenchX tesztkészlet szerint az AI-ügynökök még nehezen reprodukálnak tudományos kísérleteket

*arXiv · cs.AI · 2026-10-29 · Kutatás*

**Egy új, 93 feladatot tartalmazó tesztkészlet szerint a legjobb vizsgált AI-ügynök-konfiguráció is csak a feladatok 14 százalékát reprodukálta teljesen, miközben 12 tudományterületen mérték a képességet.**

A PaperBenchX 93, szakértők által összeállított feladatot tartalmaz, amelyek **tudományos cikkek újratermelését** kérik az elektromágnesességtől a fotonikán, kémián, anyagtudományon és biológián át a robotikáig. Minden feladathoz tartozik a forrásul szolgáló cikk, egy nyilvános feladatleírás és egy szakspecifikus tudományos szoftvereket használó környezet.

Az ügynököknek újra kell építeniük a kulcskísérletet, le kell futtatniuk és hibát kell keresniük benne, majd futtatható munkafolyamatot kell leadniuk, amely alátámasztja a célzott állítást. Az értékelés nem a felszíni egyezést nézi: minden beadott megoldást nulláról futtatnak újra, és csak a **újonnan előállított bizonyítékokat** pontozzák szakértők által validált szempontok szerint. Tíz élvonalbeli ügynök-konfiguráció közül a legjobb csak a feladatok 14 százalékánál érte el a 90 százalékos küszöböt.

Az átlagos pontszámok 27,53 és 59,08 százalék között mozognak, vagyis a részleges haladás gyakran nem vezet teljes reprodukcióhoz. Az eredmények szerint nagy a szakadék a tudományos cikk megértése és a **megbízható tudományos bizonyíték** előállítása között.

## Miért számít?

Kutatóknak és AI-fejlesztőknek hasznos tudni, hogy a tesztkészlet a tudományos munkafolyamatok megbízhatóságát méri, nem csupán a modellek általános teljesítményét. Az eredmények alapján az AI által előállított kísérleti eredményeket **óvatosan érdemes kezelni**.

---

Eredeti forrás: [PAPERBENCHX: Can AI Reproduce Science Across Disciplines?](https://arxiv.org/abs/2610.39744)

Forrás: xhírek.hu – https://xhirek.hu/hir/a-paperbenchx-tesztkeszlet-szerint-az-ai-ugynokok-meg-nehezen-reprodukalnak