Kutatás · arXiv · cs.AI ·
AI-alapú álláspályázat-szűrésben a pályázatot író modell befolyásolja az eredményt
Egy arXiv-tanulmány szerint az AI-értékelők a jelöltek képességeitől függetlenül eltérően értékelik a pályázatokat aszerint, melyik nyelvi modell írta őket.
Egy új arXiv-tanulmány azt vizsgálta, hogy a modell kiválasztása befolyásolja-e az önéletrajzi levelek értékelését a jelölt képességeitől függetlenül. A kutatók 11 író-LLM-et és 9 API-n elérhető értékelő modellt párosítottak, tíz álláshirdetéssel és hirdetésenként ötven jelölttel.
Az eredmények szerint az írómodellek stabil globális sorrendbe rendeződtek az elfogadási arány alapján, és a helyben futtatott modellek a licenctől függetlenül hátrányba kerültek. Az értékelők emellett saját kimenetek előnyben részesítése miatt a saját szövegeiket is kedvezőbben ítélték meg. A legkedvezőtlenebb párosításnál 25 megfelelő jelöltből átlagosan 1,8-et szűrtek ki kizárólag a modellek eltérése miatt.
Az értékelők torzításának mértéke az alapján is különbözött, milyen eszközt használt a jelölt. A szerzők szerint a mechanizmus a stilisztikai jegyekre épül: az írók erősen támaszkodnak bizonyos jegyekre, az értékelők pedig stilisztikai jegyek egységes jutalmazása vagy büntetése révén reagálnak rájuk. Az írómodellre jellemző egyedi „ujjlenyomat” megmaradását a jegyek figyelembevétele után nem találták számottevőnek.
Miért fontos neked?
Azoknak a toborzóknak és HR-csapatoknak, akik LLM-mel szűrik a motivációs leveleket, érdemes számolniuk azzal, hogy a pályázatot író modell önmagában befolyásolhatja az eredményt. A helyben futtatott modellel dolgozó jelöltek hátrányba kerülhetnek. A vizsgálat kutatási keretek között, korlátozott számú álláshirdetéssel készült, ezért közvetlenül nem vonható le belőle következtetés egy adott szűrőrendszerre.
Az eredeti megnyitása (arXiv · cs.AI)
Eredeti cím: AI evaluators favor job applications written by certain AI models, independent of candidate quality
Címkék: toborzás, algoritmikus méltányosság, értékelés