Szabályozás · Engadget ·
Új robots.txt-jelzés: a Google, az OpenAI, az Anthropic és a Microsoft is betartja
Négy nagy AI-cég vállalta, hogy betartja az új robots.txt-jelzést, amellyel a kiadók tilthatják az AI-tanítási célú tartalomgyűjtést.
A Google, az Anthropic, az OpenAI és a Microsoft az IETF-ben vizsgált javaslatot fogadta el, amelyet Kevin Kelley, az Anthropic szabványokért felelős technikai vezetője írt. Eddig a kiadóknak minden szolgáltatót külön azonosítva kellett szabályozniuk, az új javaslat viszont egyetlen közös jelzést vezet be. A robots.txt fájlban erre a külön AI-tanítási user agentre kell szabályt írni, a Disallow: / sor pedig tiltja a gyűjtést, az Allow sorok viszont konkrét oldalrészeket, például a sajtóanyagot nyitva hagyhatják.
A szabály nem tiltja meg a teljes feltérképezést, és nem távolítja el a tartalmakat a Google-keresésből. A Google a Gemini-modellek tanításához adatot gyűjtő „Google-Extended” ügynököt állítja meg vele. A jelzés visszamenőleg nem hat, a korábban letöltött tartalmakat a cégek megtartják. Az Anthropic már támogatja a jelzést, a Microsoft 2027. február 1-jétől, a Google 2027 elejétől, az OpenAI pedig a következő hónapokban vezeti be.
Miért fontos neked?
A kiadók egyetlen közös jelzéssel szabályozhatják a jövőbeni AI-tanítási gyűjtést, a már lemásolt tartalmakra viszont ez nem hat. A jövőre vonatkozó tiltás ezért nem helyettesíti a korábbi gyűjtés elleni fellépést.
Az eredeti megnyitása (Engadget)
Eredeti cím: Google joins OpenAI and Anthropic in promising new scraping controls
Címkék: robots.txt, adatvédelem, szerzői jog