Kutatás · arXiv · cs.AI ·
Új módszer csökkentheti a biztonsági modellek túlzott elutasítását
Kutatók a biztonsági illesztés mellékhatását, a túlzott elutasítást vizsgálták nagy nyelvi modelleknél, és a GOAL nevű keretrendszert javasolták a jelenség csökkentésére.
Az arXiv-on megjelent tanulmány szerint a biztonsági illesztés mellékhatásaként a nagy nyelvi modellek olykor ártalmatlan, de felszínesen kockázatosnak tűnő kéréseket is elutasítanak, ez a túlzott elutasítás. A szerzők a reprezentációk és az optimalizáció szempontjából vizsgálták a jelenséget. Egyes köztes rétegekben a káros és a túlzottan elutasított minták még megkülönböztethetők, a mélyebb rétegekben viszont egyre inkább átfedésbe kerülnek.
A káros mintákból származó gradiensek erősen hasonlóak egymáshoz, és egy alacsony rangú altérben koncentrálódnak. Túlzott elutasítást kiváltó kéréseknél ezek erősebben korrelálnak az elutasítási céllal, mint a segítő válasz céljával, ami az elutasítás felé torzíthatja az optimalizálást.
A GOAL két részből áll: a túlzott elutasítású minták gradiensét a káros gradiensekből kinyert elutasítási altérre merőlegesítik, a káros és az ártalmatlan reprezentációk szétválasztására pedig kontrasztív tanulást alkalmaznak. A szerzők több modellen és benchmarkon végzett kísérletekre hivatkoznak, amelyek szerint a módszer csökkenti a túlzott elutasítást, miközben megtartja a biztonsági teljesítményt és az általános képességeket. A munka arXiv-előzetes közlemény, így még nincs szakmai lektoráláson átesett végleges változata.
Miért fontos neked?
A biztonsági finomhangolást végző fejlesztőknek támpontot adhat, ha a modelljük ártalmatlan kéréseknél túl gyakran utasít el. A munka előzetes, a kód elérhetőségéről és a konkrét mérési eredményekről a forrásszöveg alapján nem lehet többet állítani.
Az eredeti megnyitása (arXiv · cs.AI)
Eredeti cím: Revisiting Over-refusal in Safety-aligned Large Language Models: A Representation and Optimization Perspective
Címkék: biztonság, nyelvi modell, elutasítás