AI-företag skannar webbplatser mot ägarnas önskningar

Webbplatser som inte vill bli indexerade av Google och andra sökmotorer har länge kunnat använda robots.txt-filer som talar om för robotarna att de inte är önskade. Det finns ingen lag som kräver det, men Google, Yahoo, Bing och andra har alltid följt denna

Sammanhang: ...Wired har tidigare anklagat Perplexity för att ignorera robots.txt-filerna både hos sig och på andra Condé Nast-sajter. Enligt Business Insider ignorerar även Anthropic och Open AI filerna, trots att de tidigare har sagt att de ska respektera dem. ...

Omnämnda platser: Tollbit. Omnämnda personer: Chat GPT.