Kutatás · arXiv · cs.CL ·
Nemi jelölések befolyásolják a nagy nyelvi modellek döntéseit
Egy kutatás szerint a nagy nyelvi modellek értékelő döntéseit befolyásolja a jelölt és az értékelő megadott neme, bár a döntések nagy része a nemi jelölés változtatásakor sem módosult.
A kutatók nyolc modellt teszteltek egy kitalált városi képviselő-testületi szavazás feladatában. Összesen 240 szintetikus szakmai életrajzot használtak az NVIDIA amerikai és francia Nemotron-Personas adatkészletéből, a nemeket egymástól függetlenül variálták, így 30 720 ítélet született. A feladat kitalált városi szavazás volt, amelyben a modelleknek igennel vagy nemmel kellett dönteniük.
Ha a jelölt neme szerepelt a leírásban, az igen-szavazat valószínűsége 1,05–1,73 százalékponttal nőtt a nem megadott nemhez képest. Szignifikáns emelkedés csak a nem bináris értékelő esetében volt, 1,26 százalékponttal, az identitásegyezésnek általánosan nem volt kimutatható hatása. Az igen-arány modellenként 81,3 és 97,2 százalék között mozgott.
Az alapállapothoz képest a döntések 2,5–3,3 százaléka fordult meg. Közvetlen nemi cserék esetén a döntéshozó nyelvi modellek (DLM) ritkábban módosították ítéletüket, 1,18 százalékban, mint a LLM-as-a-Judge modellek, amelyeknél ez 3,38 százalék volt. A megállapítások szerint a nemi érzékenység a jelölttől, az értékelőtől és a modelltől együtt függ, ezért az összesített különbségek mellett az egyedi döntések következetessége is fontos.
Miért fontos neked?
Azoknak számít, akik nagy nyelvi modellel szűrnének pályázatokat vagy jelölteket, mert a modell ítélete a megadott nemre is reagálhat. A hatás mérsékelt, és a modellek közötti eltérés jelentős, ezért egyedi ellenőrzés szükséges, mielőtt ilyen döntést automatizálnának.
Az eredeti megnyitása (arXiv · cs.CL)
Eredeti cím: LLMs Cannot Be Neutral: Gender Sensitivity Across Candidates, Evaluators, and Models
Címkék: nyelvi modell, torzítás, munkaerő-toborzás