Kutatás · TechCrunch ·
Az Anthropic nyílt forráskódú rendszert fejleszt AI-modellek azonosítására
Az Anthropic a FlashProve nevű, nyílt forráskódú rendszerrel azt igyekszik kriptográfiai bizonyítékkal igazolni, hogy egy adott válasz valóban a megnevezett AI-modelltől származott.
Az Anthropic kedden közzétett blogbejegyzésében mutatta be a FlashProve nevű rendszert, amely úgynevezett bizonyítható következtetést (provable inference) tesz lehetővé. A kriptográfiai bizonyíték célja, hogy a felhasználó ellenőrizhesse: a kapott válasz tényleg attól a modelltől származik-e, amelyet használni véli. A rendszer a kriptográfiai e-mail-aláírásokhoz hasonlóan működik, és akkor is ellenáll a megtévesztésnek, ha a modellt építő és futtató labor maga próbálja más modellként feltüntetni a kimenetet.
A kutatók példaként azt említik, hogy a rendszerrel meg lehetne akadályozni, hogy egy AI-cég titokban olcsóbb modellre cseréljen, vagy drágábbra, hogy javítsa a teljesítményeredményeit. Harmadik felek állításai is ellenőrizhetők lennének, például az, hogy egy szoftverkönyvtárat fejlett kiberbiztonsági modell vizsgált át. A működéshez a laboroknak minden kiadott modellről közzé kell tenniük egy „ujjlenyomatot”, amely nem fedi fel a súlyokat, így a zárt modellek készítői is részt vehetnek a rendszerben. A módszer könnyűsúlyú, ezért helyi eszközön is futtatható az ellenőrzés.
A kutatók részletes műszaki specifikációt és működő kódot is közzétettek a GitHubon, nyílt forráskódú licenc alatt. A kutatás még folyamatban van, az Anthropic és más laborok sem tervezik a rendszer bevezetését. A közlemény szerint a cél az, hogy mások átvegyék és továbbfejlesszék az eredményeket.
Miért fontos neked?
Modellt választó fejlesztőknek és cégeknek hasznos lehet, mert a jövőben ellenőrizhetővé válhat, hogy a kapott kimenet tényleg a deklarált modelltől származik. A rendszer egyelőre kutatási fázisban van, és nem éles szolgáltatás, ezért egyelőre nincs gyakorlati bevetés.
Az eredeti megnyitása (TechCrunch)
Eredeti cím: Anthropic is working on a system to prove AI models’ identity
Címkék: modell, biztonság, ellenőrzés