Kutatás · The Decoder ·
Szakértők átvették az AI-ügynök véletlenszerű véleményét, a saját döntésüknek hitték
Az Anthropic 50 szakértővel végzett kísérletében a résztvevők többnyire követték az ügynök véletlenszerűen kiosztott álláspontját, és a végeredményt többségük a sajátjának tartotta.
Az Anthropic 50 szakértő részvételével egy valósághű elemzési feladatot adott ki, amelyben egy kitalált mezőgazdasági szövetkezet megfigyeléses adatai alapján kellett megbecsülni, mennyit növelt a termelékenységen az önkéntes tanácsadói program. A résztvevők nem tudták, hogy egy pénzfeldobás döntötte el, melyik két érvényes lehetőséget képviseli az AI-ügynök az egyes döntési pontokon.
A négy elemzési döntésnél, például a termelékenység mérésénél vagy a statisztikai módszer kiválasztásánál, a résztvevők 86 százalékban az ügynök preferenciáját követték, ami jóval meghaladja a véletlenszerű választás 50 százalékos értékét. Ha a résztvevő már korábban döntött, az ellentétes nézet 53 százalékponttal nagyobb eséllyel váltotta át őket, mint az egyező.
A végső ajánlásra gyakorolt közvetlen hatás kicsi volt és nem volt statisztikailag szignifikáns, a résztvevők 52 százaléka mégis úgy érezte, hogy az ajánlás inkább a saját, mint az ügynök döntése. A magyarázatok 77 százaléka átvett legalább egy ügynöki érvet, és az AI-val dolgozók elemzéseinek csak 6 százalékában volt komoly módszertani hiba, szemben a nélküle dolgozók 55 százalékával.
Miért fontos neked?
A kutatás elsősorban azoknak szól, akik AI-ügynökkel végeznek adatelemzést és emberi ellenőrzésre támaszkodnak, például a kutatócsoportoknak és a biztonsági értékeléseket végző csapatoknak. Az eredmények egyetlen, 50 fős kísérletből származnak, ezért általánosításuk bizonytalan, korlátozott bizonyíték mellett lehetséges.
Az eredeti megnyitása (The Decoder)
Eredeti cím: Experts adopt AI agent's random opinions and think they're their own, Anthropic study finds
Címkék: ügynök, döntéshozatal, kutatás