AI-företag skannar webbplatser mot ägarnas önskningar

Webbplatser som inte vill bli indexerade av Google och andra sökmotorer har länge kunnat använda robots.txt-filer som talar om för robotarna att de inte är önskade. Det finns ingen lag som kräver det, men Google, Yahoo, Bing och andra har alltid följt denna

Sammanhang: ...Wired har tidigare anklagat Perplexity för att ignorera robots.txt-filerna både hos sig och på andra Condé Nast-sajter. Enligt Business Insider ignorerar även Anthropic och Open AI filerna, trots att de tidigare har sagt att de ska respektera dem. Perplexitys vd Aravind Srinivas säger till Fast Company att företagets egna robotar inte ignorerar robots.txt-filer, men att det köper in material från andra firmor som har gjort det. ...

Omnämnda platser: Tollbit. Omnämnda personer: Chat GPT.