你說 ChatGPT,它寫的東西逼真到傻傻分不清?
沒關係!
現在,它的“剋星”來了 ——
有人專門搞了這麼一個網站,專門鑑別文字到底是出自於 AI 還是人類。
你只需要把相應的內容粘進去,幾秒內就能分析出結果。如此神器一出,可謂迅速俘獲大家的芳心。
結果,直接把伺服器都給擠崩嘍(好在還有個備用的)。
這下,那些用 ChatGPT 寫作業的人都要慘啦?
是人還是 ChatGPT?GPTZero:看我的
這個網站名叫 GPTZero。
它主要靠“perplexity”,即文字的“困惑度”作為指標來判斷所給內容到底是誰寫的。
NLP 領域的朋友們都知道,這個指標就是用來評價一個語言模型的好壞的。
在這裡,每當你喂給 GPTZero 一段測試內容,它就會分別計算出:
1、文字總困惑度
這個值越高,就越可能出自人類之手。
2、所有句子的平均困惑度
句子越長,這個值通常就越低。
3、每個句子的困惑度
通過條形圖的方式呈現,滑鼠懸浮到各個方塊就可以查看相應的句子是什麼(這裡就兩塊,因為我此時輸入的測試內容就倆句子)。
之所以要繪製這樣的條形圖,作者也作出解釋:「根據最新的一些研究:人類書寫的一些句子可能具有較低的困惑度(前面說過,人類的困惑度是比較高的),但隨著繼續寫,困惑度勢必會出現峰值。」
「相反,用機器生成的文字,其困惑度是均勻分佈的,並且總是很低。」
除此之外,GPTZero 還會挑出困惑度最高的那個句子(也就是最像人寫的):
規則就是這些,接下來實際測一測。
測試 1:成功
首先來一段最新的英文新聞(目前還不支援測中文):
將它貼上進測試框(需注意每句至少 5 個單詞,建議每段能有 10 個句子,結果會更準一些)。
很快,GPTZero 計算出這段文字的總文字困惑度為 27,句子平均困惑度為 171.2,每條句子的困惑度圖長這樣:
以及困惑度最高的句子的值為 476。
看這個結果,估計你也猜出了 GPTZero 的答案:是人類寫的。
答對了。
測試 2:失敗
來一段 ChatGPT 的。
將內容貼上進測試框,得出這段文字的總文字困惑度為 31,句子平均困惑度為 76.67,每條句子的困惑度圖長這樣:
以及困惑度最高的句子的值為 99。
看起來,每項困惑度值都和上面那段差距都挺大的,應該能猜出來是 AI 寫的吧。
不過遺憾的是,GPTZero 無法給出答案,還希望我們再多加一點文字試試。
顯然,這段話字數夠多,但句子不夠多,無法讓 GPTZero 一眼識破 ChatGPT 的“偽裝”。
測試 3:成功
那我們再來一段 ChatGPT 的試試。
這回內容夠長,句子也夠多。
果然沒問題了,GPTZero 直接答對,好像確實摸出來一點門道:
那就是字多的同時,句子數量也一定要多,至少 5 句,好讓 GPTZero 通過直方圖的分佈加碼識別,最後的精準率就可以提高一些。
另外還需要提的是,我們發現在挑戰失敗的情況中,除了上面這種識別不出來的時候,也有直接識別錯誤的 ——
比如把 AI 寫的判斷成人寫的:
把人寫的新聞判斷成 AI 的:
這種情況按照上面所說的竅門,再多加點內容可能就能將結果扳回來。
普林斯頓大四學生作品
建立該網站的,是一個 22 歲的 Edward Tian,來自加拿大多倫多。目前是美國普林斯頓 CS 專業大四學生,輔修認知科學和新聞學,對軟體工程、機器學習等有濃厚的興趣。
他現在微軟實習,曾在 BBC、貝靈貓等公司撰寫過科技稿件,還曾加入到地圖工具 Representable 的創始團隊。
據他表示,這個應用程式是新年假期在咖啡店完成的。之所以想要開發這款應用程式,簡而言之就是因為有太多 ChatGPT 炒作,人類應該知道有哪些是 AI 寫的文章。
目前仍處於准系統階段,預計在接下來幾週內改進模型和分析。除此之外,他還透露,正在測試由學生撰寫的新聞文章資料集,並希望最終能發表論文。
更多 ChatGPT 殺手
事實上,也不只有這位他看 ChatGPT 不順眼了。還有其他人類組織也相應開發了 AI 文字檢測器,AKA ChatGPT 殺手。
大體思路也都差不多,那就是“用魔法打敗魔法”,用 AI 寫的東西來訓練新 AI。
前陣子,OpenAI 自己聯合哈佛等高校機構聯合打造了一款檢測器:GPT-2 Output Detector。
作者們先是發佈了一個“GPT-2 生成內容”和 WebText(專門從國外貼吧 Reddit 上扒下來的)資料集,讓 AI 理解“AI 語言”和“人話”之間的差異。
隨後,用這個資料集對 RoBERTa 模型進行微調,就得到了這個 AI 檢測器。其中人話一律被識別為 True,AI 生成的內容則一律被識別為 Fake。
(RoBERTa 是 BERT 的改進版。原始的 BERT 使用了 13GB 大小的資料集,但 RoBERTa 使用了包含 6300 萬條英文新聞的 160GB 資料集。)
另一位早年代表選手,也因為這次新進展再次被提及。
它就是 MIT-IBM 沃森 AI 實驗室的以及哈佛 NLP 實驗室開發的 GLTR 模型。
它主要通過對文字進行統計分析和可視化,而用來檢測的是最初用來生成文字的相同 or 類似模型。目前主要支援 GPT-2 和 BERT 兩個模型。
由於輸出是模型知道的所有單詞排名,根據排名對文字每個單詞進行顏色編碼,前 10 名是綠色,前 100 名是黃色,前 1000 名是紅色,紫色則是不太可能出現的詞。
如果一段文字黃綠色過多,那麼這段文字主要是由 AI 生成的。
此番 GPTZero 再度亮相,不少網友驚嘆:Incredible work!
但也有人表示,文字檢測器根本就是一場失敗的軍備競賽,他們的實際效果並不好。也阻擋不了 ChatGPT 的發展。
與此同時,還有網友探討起關於「文章是否需要明確指示由 AI 還是人類編寫」的必要性。
有位詞曲創作者認為,這是有必要的,就像在看雜誌時會標註“廣告”,這應該是一個簡單的要求。
但有網友立即表示反對,為什麼要設定障礙?這就跟使用 PS 然後加上 Adobe 水印,對產品沒有任何益處。
試玩連結:
https://etedward-gptzero-main-zqgfwb.streamlit.app/
參考連結:
請注意!留言要自負法律責任,相關案例層出不窮,請慎重發文!