AI搜尋引擎Perplexity深陷剽竊風暴，遭指控無視Robots協議爬取內容，CEO出面回應

Perplexity CEO亞拉文·史里尼瓦斯（Aravind Srinivas）回應剽竊和侵權指控最近的報導對這個答案引擎的運作方式提出質疑，包括其使用第三方內容爬蟲的做法。

AI搜尋初創公司Perplexity最近因一篇《Wired》的調查報導而陷入麻煩，報導揭露該公司從不希望被爬取的網站爬取內容的行為。

Perplexity 的「答案引擎」透過爬取網路上大量訊息，然後創建一個從網頁抓取內容的大型數據庫（索引）來運作。使用者不是在搜尋框中輸入關鍵詞，而是在 Perplexity 的網頁門戶或app中輸入或口述問題，並收到一個包含引用和連結的敘述性答案，該答案來自它抓取的網路內容。

網站可以使用所謂的機器人排除協議（Robots Exclusion Protocol）來阻止網路爬蟲存取其內容，機器人應該遵守這些協議，但遵守這些協議是自願的。《Wired》和一位獨立研究人員稱，他們有證據證明 Perplexity 一直在忽視這些協議，並且還持續在爬取禁止造訪的網站內容。

延伸閱讀：Perplexity 這家新創AI搜尋引擎被指控違反網路的基本規則，無視宣告任意爬取別人網站內容

「Perplexity 並沒有忽視機器人排除協議，也沒有對此撒謊，」Perplexity 聯合創始人兼 CEO 亞拉文·史里尼瓦斯在週五的電話採訪中說。「我認為這裡有一個關於這個系統是如何運作的基本的誤解」Srinivas 說。「我們不僅依賴於自己的網路爬蟲，也依賴於第三方網路爬蟲。」

史里尼瓦斯表示，Wired 所辨識的神秘網路爬蟲不屬於 Perplexity，而是屬於一個提供網路爬取和索引服務的第三方供應商。由於保密協議，史里尼瓦斯不願透露這個第三方供應商的名稱。當被問及 Perplexity 是否立即聯繫了第三方爬蟲，要求他們停止爬取《Wired》的內容時，史里尼瓦斯含糊其辭的回答說：「這很複雜。」

史里尼瓦斯還指出，機器人排除協議最初於 1994 年提出，「不是一個法律框架」。他認為，人工智慧的出現需要內容創作者或出版商與他的網站之間建立一種新型的工作關係。

《Wired》還聲稱，透過使用《Wired》文章的標題或內容來提示 Perplexity 答案引擎，能夠使Perplexity答案引擎緊密改寫《Wired》文章。有時 Perplexity 甚至會錯誤地改寫《Wired》的報導。在一個案例中，Perplexity 的「回答」錯誤地聲稱一名加利福尼亞警察犯了罪。

史里尼瓦斯表示，Wired 使用了設計來讓 Perplexity 工具表現出這種行為的提示，而正常使用者不會看到這種類型的結果。他補充說：「我們從來沒有說過我們從來沒有產生過幻覺。」

6 月初，富比士指責 Perplexity 偷竊其內容。Perplexity 在 5 月份發布了一個名為「Pages」的新產品，允許使用者根據他們向答案引擎提出的一系列問題，或基於特定主題的單一提示來創建文章或部落格文章。使用者可以加入AI生成或上傳的圖片，然後在發表到網上之前調整文字或增加格式。

Perplexity 自己的一個 Pages 使用了富比士獨家報導的內容，但沒有註明出處。Perplexity 甚至創建了一個基於富比士報導的 AI 配音播PODCAST，但同樣未給出該網站的出處。

自從推出以來，認真引用來源一直是Perplexity的核心原則之一，這使得 Pages 產品中可能遺漏引用的問題更加突出。史里尼瓦斯告訴 Fast Company，在富比士提出這個問題後，他的公司立即推出了 Pages 的更新，在生成的文章文本中加入了來源標記。

史里尼瓦斯經常說，他的產品將只有在它所吸引的網路生態系統良好的情況下才會成功。「我們樂於創建一個市值較低、利潤率較低的業務，只要我們能夠盈利並取得成功，並確保整個網際網路都能獲勝，」他在 5 月的 Fast Company 最具創新公司頒獎典禮上對觀眾說。「如果人們無法在網上創造新內容，Perplexity 就毫無用處。」

他表示，公司現在正在與選定的出版商就「收入分享」協議進行談判。目前沒有透露出版商的名稱，所以不知道康泰納仕（Wired 的所有者）或富比士是否參與了這項計劃。《Wired》發現的內容爬取和索引問題可能會迫使公司加速其與出版商達成公平交易的計劃。

儘管出版商擔心自己的內容被Perplexity使用，但Perplexity仍受到不少人的支持，挑戰Google的搜尋引擎地位並不容易，但Perplexity正在用一種新型的搜尋方式挑戰谷歌。然而，Perplexity不能再失去更多人的支持，否則將難以繼續發展。