若還不確定該如何處理這些AI爬蟲,網站管理員可以藉由新的Block AI Scrapers and Crawlers功能,一鍵封鎖所有的AI爬蟲。

在這兩個新的免費功能之外,網站管理員也可透過既有的Web Application Firewall(WAF)功能,更精細地控制所要允許或封鎖的爬蟲。

Cloudflare指出,除了上述的選擇之外,他們認為網站應該也要能夠得到合理的補償,因此正在規畫一個新的元件,允許網站擁有者可替該站或特定內容設定價格,要求以AI爬蟲掃描該站的模型供應商付費。
/Cloudflare



2024-09-24
