Kutatás · arXiv · cs.AI ·
Attól függ, ki kérdez: eltérő tanácsot adnak a chatbotok a dohányzásról leszokásról
Egy arXiv-tanulmány szerint hat nagy nyelvi modell dohányzásról leszokási válaszai változnak a felhasználói profil szerint, a tinédzser profilok ritkábban kapnak receptre kapható gyógyszerekről szóló információt.
Az arXivon megjelent kutatás négy szolgáltató hat nagy nyelvi modelljét vizsgálta úgy, hogy ugyanazt a négy kérdést tizenkét eltérő felhasználói profiltól tette fel. Összesen 2880 választ elemeztek, a profilok életkor, szakértelem és dohányzási előzmények szerint különböztek.
Minden modell ritkábban említette az FDA által engedélyezett, receptre kapható leszokó gyógyszereket tinédzser profilnak, mint felnőttnek, 32–67 százalékponttal. Hat modellből ötnél a szakértelmet megadó profil kevesebb tényszerű információt kapott, mint az, amelyik nem adott meg szakértelmet.
A kutatók egy rendszerpromptot is teszteltek, amely előírja a minimális tényszerű tartalmat, a hangnemet azonban szabadon hagyja. A prompt minden modellnél csökkentette a profilok közötti különbségeket, de a teljes lefedettségre gyakorolt hatása modellenként eltérő volt. A szerzők szerint az egyenlő említési arány sem mindig a helyes cél, mert a receptes gyógyszerek kiskorúaknak nem ajánlottak, ezért életkortól függő minimum kell. Az adatok és az elemzőkód nyilvánosan elérhető.
Miért fontos neked?
Egészségügyi kérdésekben chatbotot használóknak érdemes számolniuk azzal, hogy ugyanarra a kérdésre a válasz a megadott profil szerint eltérhet. A rendszerprompt hatása modellenként különbözik, ezért egy modellen bevált megoldás nem vihető át automatikusan másik rendszerre.
Az eredeti megnyitása (arXiv · cs.AI)
Eredeti cím: Same Question, Different Answers: Auditing Persona-Dependent Variation in Six LLMs on Smoking-Cessation Advice
Címkék: egészségügy, kutatás, nagy nyelvi modell