ADVERTISEMENT
Reddit 已更新其 robots.txt 檔案，阻止 Bing 和許多其他搜尋引擎爬取該網站。微軟代表告訴媒體「Bing 在 Reddit 於 7 月 1 日實施更新的 robots.txt 檔案後停止了爬取，該檔案禁止所有爬取其網站的行為。」
發生了什麼
2024 年 7 月 1 日，Reddit 更新了其 robots.txt 檔案，阻止許多搜尋引擎和AI工具爬取該網站。儘管本月初有些人可能會有不同的看法，但 Reddit 沒有阻止 Google 爬取該網站。但是，Reddit 確實封鎖了大多數其他爬蟲爬取該網站。
今天早些時候，Mark Williams-Cook 通知我，Reddit 的結果正從 Bing 搜尋索引中消失。然後幾家媒體開始報導這一消息。我想確認 Bing 的爬蟲確實被封鎖了，因為 Reddit 使用 IP 檢測向搜尋引擎顯示一個版本的 robots.txt 檔案，向真人使用者顯示另一個版本的 robots.txt 檔案——正如我本月早些時候解釋的那樣。
因此，Bing 已停止爬取 Reddit 上的新內容，這就是為什麼當你在 Bing 搜尋中過濾最近一週的 Reddit 結果時，看不到任何內容：
微軟確認。微軟發言人告訴 Search Engine Land：
「我們尊重 robots.txt 的規定。在 Reddit 於 7 月 1 日實施更新的 robots.txt 檔案後，Bing 停止了爬取 Reddit，該檔案禁止所有爬取其網站的行為。」
Reddit 聲明。Reddit 發言人提姆‧拉史密特（Tim Rathschmidt）在給 The Verge 的聲明中說：
「這與我們最近與 Google 的合作夥伴關係完全無關。我們一直在與多個搜尋引擎進行討論。我們無法與所有搜尋引擎達成協議，因為有些搜尋引擎無法或不願就其使用 Reddit 內容（包括用於AI）做出可執行的承諾。」
為什麼關心
隨著 Reddit 與 Google 達成授權協議，Reddit 能夠對其他搜尋引擎和AI工具採取強硬態度。因此，Reddit 已封鎖大多數其他搜尋引擎爬取其內容。同時，Google 這些天正在為 Reddit 帶來驚人的流量，包括在其搜尋結果中測試對他們的特殊待遇。
這讓人不禁懷疑其他大型網站是否可以嘗試走這條路，以及這可能會給較小的出版商和內容製作者帶來什麼影響。
同時，不要指望在不久的將來看到太多新的 Reddit 內容出現在 Bing 上。
請注意！留言要自負法律責任，相關案例層出不窮，請慎重發文！