首頁 perplexity perplexity 的最新熱門文章 新聞 robots.txt 的混亂時代？數百個網站錯誤封鎖AI爬蟲，因為AI公司不斷推出新爬蟲 netizen 發表於 2024年7月31日 09:00 Plurk 數百個網站已將舊的 Anthropic 爬蟲列入黑名單，同時卻沒有封鎖任何新的爬蟲。 上一頁1下一頁
新聞 robots.txt 的混亂時代？數百個網站錯誤封鎖AI爬蟲，因為AI公司不斷推出新爬蟲 netizen 發表於 2024年7月31日 09:00 Plurk 數百個網站已將舊的 Anthropic 爬蟲列入黑名單，同時卻沒有封鎖任何新的爬蟲。
