robots.txt 的最新熱門文章

數百個網站已將舊的 Anthropic 爬蟲列入黑名單，同時卻沒有封鎖任何新的爬蟲。

知名維修網站iFixit抱怨Claude發起DDoS攻擊 1天訪問數百萬次抓取資料訓練AI

DuckDuckGo、Bing、Mojeek 等其他搜尋引擎不再出現完整的 Reddit 搜尋結果。

資料供應計畫 (Data Provenance Initiative) 的新研究發現，可用於構建人工智慧 (AI) 的內容急劇下降。

Cloudflare向其網站託管客戶提供了一種方法，可以阻止AI機器人未經許可抓取網站內容並將數據用於訓練機器學習模型。