ADVERTISEMENT
Reddit 對 AI 公司和其他爬蟲業者發出警告：遵守我們的規則，否則將被封鎖。該公司在一份更新聲明中表示，計劃更新其機器人排除協議（robots.txt 文件），以便封鎖平台上的自動化爬取行為。
該公司表示，還將繼續封鎖並限制未經事先協議的爬蟲和其他機器人的存取頻率。這些變更，該公司稱，不應影響「善意行為者」，如網際網路檔案館（Internet Archive）和研究人員。
Reddit 的聲明發布前不久，有多篇報導指出 Perplexity 和其他 AI 公司經常繞過網站的 robots.txt 協議，該協議被公告來告知網路爬蟲不要造訪其內容。Perplexity 的執行長最近在接受 Fast Company 採訪時表示，該協議「不是一個法律框架」。
ADVERTISEMENT
Reddit 發言人在接受 Engadget 採訪時表示，該公司並非針對特定公司。「這次更新並非針對任何單一實體；而是為了在保持網路開放的同時保護 Reddit。」該發言人表示。「在接下來的幾週內，我們將更新 robots.txt 指令，使其盡可能明確：如果您使用自動化代理存取 Reddit，無論您是哪種類型的公司，都需要遵守我們的條款和政策，並且需要與我們聯絡。我們相信開放的網路，但我們不相信濫用公共內容。」
這並非該公司首次在資料存取方面採取強硬立場。該公司去年開始對其 API 收費時，就曾提及 AI 公司對其平台的使用。此後，該公司已與一些 AI 公司達成授權協議，包括 Google 和 OpenAI。這些協議允許 AI 公司在其 Reddit 檔案上訓練模型，並成為 Reddit 的重要收入來源。聲明中的「與我們聯絡」部分可能是在含蓄地提醒，該公司不再免費提供其內容。
ADVERTISEMENT