若还不确定该如何处理这些AI爬虫,网站管理员可以借由新的Block AI Scrapers and Crawlers功能,一键封锁所有的AI爬虫。

在这两个新的免费功能之外,网站管理员也可通过既有的Web Application Firewall(WAF)功能,更精细地控制所要允许或封锁的爬虫。

Cloudflare指出,除了上述的选择之外,他们认为网站应该也要能够得到合理的补偿,因此正在规画一个新的组件,允许网站拥有者可替该站或特定内容设置价格,要求以AI爬虫扫描该站的模型供应商付费。
/Cloudflare



2024-09-24
