Kutatás · arXiv · cs.CL ·
A Google AI Overviews egészségügyi összefoglalói gyakran más forrásokra épülnek
Egy arXiv-on közzétett kutatás szerint a Google AI Overviews egészségügyi összefoglalói ritkán a hagyományos találatok forrásaira épülnek, pontosságuk pedig korlátozott.
A kutatók 3611 egészségügyi kérdést vizsgáltak, és mindegyiknél összevetették az AI-összefoglalót a hagyományos keresés első öt találatával. Az összefoglalók a kérdések 96,4 százalékánál jelentek meg, de a hagyományos találatok közül csak 44,4 százalékra hivatkoztak. Ehelyett kereskedelmi egészségportálok kerültek előtérbe, például a WebMD és a Healthline, az akadémiai és kormányzati forrásokat, például a Cleveland Clinicet és az NHS-t, háttérbe szorítva.
A hivatkozott oldalak hat széles körben elfogadott hitelességi szempont közül négyben gyengébben teljesítettek a hagyományos találatoknál. A szerzők becslése szerint a besorolóhibák kiigazítása után a hivatkozott állítások 56,7 százalékát támasztotta alá a megjelölt oldal. Az összes állítás 20,8 százaléka pedig tényállítás volt, hivatkozás nélkül, így a hivatkozások alátámasztottsága gyenge.
Az orvosi szakértők által írt szempontrendszer szerint az összefoglalók a lehetséges pontok 38,2 százalékát érték el, a pontosságban 54,2, a teljességben 21,6 százalékot. Azoknál a kérdéseknél, ahol a szempontrendszer egy konkrét pontatlan vagy potenciálisan káros állítást várt, az összefoglalók 22,2 százaléka tartalmazta ezt a potenciálisan káros állítást. A pontosság és az állítások alátámasztottsága nem függött össze, ezért a szerzők a felhasználók tájékoztatását és a Google saját egészségügyi rangsorolási elvárásainak betartatását javasolják.
Miért fontos neked?
Egészségügyi információt kereső olvasóknak és tartalomkészítőknek érdemes ellenőrizni az összefoglalók hivatkozott forrásait is. A kutatás szerint a hivatkozás nem garantálja a pontosságot.
Az eredeti megnyitása (arXiv · cs.CL)
Eredeti cím: Does the Citation Matter? Quality, Grounding, and Physician-Rubric Accuracy of Google's AI Overviews for Medical Information
Címkék: egészségügy, keresés, tájékoztatás