Reddit對AI公司和其他爬蟲發出警告:遵守我們的規則,否則會被封鎖

Reddit對AI公司和其他爬蟲發出警告:遵守我們的規則,否則會被封鎖

ADVERTISEMENT

Reddit 對 AI 公司和其他爬蟲業者發出警告:遵守我們的規則,否則將被封鎖。該公司在一份更新聲明中表示,計劃更新其機器人排除協議(robots.txt 文件),以便封鎖平台上的自動化爬取行為。

該公司表示,還將繼續封鎖並限制未經事先協議的爬蟲和其他機器人的存取頻率。這些變更,該公司稱,不應影響「善意行為者」,如網際網路檔案館(Internet Archive)和研究人員。

Reddit 的聲明發布前不久,有多篇報導指出 Perplexity 和其他 AI 公司經常繞過網站的 robots.txt 協議,該協議被公告來告知網路爬蟲不要造訪其內容。Perplexity 的執行長最近在接受 Fast Company 採訪時表示,該協議「不是一個法律框架」。

Reddit 發言人在接受 Engadget 採訪時表示,該公司並非針對特定公司。「這次更新並非針對任何單一實體;而是為了在保持網路開放的同時保護 Reddit。」該發言人表示。「在接下來的幾週內,我們將更新 robots.txt 指令,使其盡可能明確:如果您使用自動化代理存取 Reddit,無論您是哪種類型的公司,都需要遵守我們的條款和政策,並且需要與我們聯絡。我們相信開放的網路,但我們不相信濫用公共內容。」

這並非該公司首次在資料存取方面採取強硬立場。該公司去年開始對其 API 收費時,就曾提及 AI 公司對其平台的使用。此後,該公司已與一些 AI 公司達成授權協議,包括 Google 和 OpenAI。這些協議允許 AI 公司在其 Reddit 檔案上訓練模型,並成為 Reddit 的重要收入來源。聲明中的「與我們聯絡」部分可能是在含蓄地提醒,該公司不再免費提供其內容。

netizen
作者

一個老派的科技媒體工作者,對於最新科技動態、最新科技訊息的觀察報告。

使用 Facebook 留言
發表回應
謹慎發言,尊重彼此。按此展開留言規則