# AI-auditorok felismerik a hibás ügynöki viselkedést, de sok a téves riasztás

*The Decoder · 2026-11-07 · Kutatás*

**Az AI-auditor modellek többnyire felismerik az ügynökök hibás viselkedését, de a magas felismerési arány sok téves riasztással jár.**

Andy Hall, az Anthropic Institute kutatója és a Stanford egyetem munkatársa a METR kutatását ismételte meg és bővítette ki. A vizsgálatban a METR **MALT adatkészletének naplóit** elemezte, amelyekben modellek HCAST és RE-Bench feladatokat oldottak meg; auditorként a GPT-5, a GPT-5 nano, a GPT-6 Astra, az Opus 4.8 és a Gemini 3.8 Flash szerepelt.

Öt százalékos **téves riasztási arány** mellett a GPT-5 a jutalomhackelési esetek közel 98 százalékát azonosította, a Gemini 3.8 Flash viszont alig a felét. Ha 80 százalékos felismerési arányt követelünk meg, a legjobb modellek 2,5–3 százalékos téves riasztási aránnyal dolgoznak, az Opus 4.8 viszont az ártatlan naplók 40, a Gemini 3.8 Flash pedig 63 százalékát jelölte gyanúsnak.

Havi 100 000 munkamenet mellett 3 százalékos téves riasztási arány közel 3000 hamis figyelmeztetést jelentene, szemben körülbelül 2000 valódi találattal. Hall attól tart, hogy **emberi átvizsgálók könnyen elfásulhatnak**, és a valódi esetek is átcsúszhatnak rajtuk.

## Miért számít?

Biztonsági csapatoknak és ügynökök üzemeltetőinek abban számít, hogy egy AI-alapú naplóellenőrzés **csak becslésre alkalmas**, a teljes körű kiszűréshez továbbra is emberi felülvizsgálat kell. A vizsgálat előzetes pilot, a jutalomhackelési eredmények mindössze 47 eseten alapulnak, ezért a számok bizonytalanok.

---

Eredeti forrás: [AI auditors catch most agent misbehavior but flood reviewers with false alarms, new study finds](https://the-decoder.com/ai-auditors-catch-most-agent-misbehavior-but-flood-reviewers-with-false-alarms-new-study-finds)

Forrás: xhírek.hu – https://xhirek.hu/hir/ai-auditorok-felismerik-a-hibas-ugynoki-viselkedest-de-sok-a-teves-riasztas