Kutatás · The Decoder ·
AI-auditorok felismerik a hibás ügynöki viselkedést, de sok a téves riasztás
Az AI-auditor modellek többnyire felismerik az ügynökök hibás viselkedését, de a magas felismerési arány sok téves riasztással jár.
Andy Hall, az Anthropic Institute kutatója és a Stanford egyetem munkatársa a METR kutatását ismételte meg és bővítette ki. A vizsgálatban a METR MALT adatkészletének naplóit elemezte, amelyekben modellek HCAST és RE-Bench feladatokat oldottak meg; auditorként a GPT-5, a GPT-5 nano, a GPT-6 Astra, az Opus 4.8 és a Gemini 3.8 Flash szerepelt.
Öt százalékos téves riasztási arány mellett a GPT-5 a jutalomhackelési esetek közel 98 százalékát azonosította, a Gemini 3.8 Flash viszont alig a felét. Ha 80 százalékos felismerési arányt követelünk meg, a legjobb modellek 2,5–3 százalékos téves riasztási aránnyal dolgoznak, az Opus 4.8 viszont az ártatlan naplók 40, a Gemini 3.8 Flash pedig 63 százalékát jelölte gyanúsnak.
Havi 100 000 munkamenet mellett 3 százalékos téves riasztási arány közel 3000 hamis figyelmeztetést jelentene, szemben körülbelül 2000 valódi találattal. Hall attól tart, hogy emberi átvizsgálók könnyen elfásulhatnak, és a valódi esetek is átcsúszhatnak rajtuk.
Miért fontos neked?
Biztonsági csapatoknak és ügynökök üzemeltetőinek abban számít, hogy egy AI-alapú naplóellenőrzés csak becslésre alkalmas, a teljes körű kiszűréshez továbbra is emberi felülvizsgálat kell. A vizsgálat előzetes pilot, a jutalomhackelési eredmények mindössze 47 eseten alapulnak, ezért a számok bizonytalanok.
Az eredeti megnyitása (The Decoder)
Eredeti cím: AI auditors catch most agent misbehavior but flood reviewers with false alarms, new study finds
Címkék: ügynökök, biztonság, értékelés