ADVERTISEMENT
美國普渡大學的研究發現,OpenAI 開發的人工智慧聊天機器人 ChatGPT 在回答軟體程式問題時,錯誤率超過一半,且能騙過三分之一的提問者。
該研究團隊分析了 ChatGPT 對 517 個 Stack Overflow 網站上的問題的回答,評估了其正確性、一致性、全面性和簡潔性。他們還對回答進行了語言和情感分析,並對 12 名志願參與者進行了問卷調查。
這份研究報告的結論是:ChatGPT 的回答雖然語言風格良好,但其實有 52% 的回答是錯誤的,77% 是太過於冗長的。參與者只有在回答中的錯誤很明顯時,才能識別出來。否則,他們會被 ChatGPT 的友好、權威和細緻的語言風格所誤導。
ADVERTISEMENT
他們的論文指出:「在我們的研究過程中,我們觀察到,只有當 ChatGPT 答案中的錯誤很明顯時,用戶才能識別出錯誤。但是,當錯誤不易驗證或需要用到外部 IDE時,用戶往往沒有能力去發現錯誤,或低估答案中的錯誤程度。」
不過,論文中也指出,即使答案存在明顯錯誤,12 名參與者中仍有兩人仍然會選擇採用ChatGPT的答案。論文認為,這是因為 ChatGPT 具有令人愉快、權威的風格。
該論文解釋說:「從半結構化訪談中可以明顯看出,禮貌的語言、清晰的教科書風格的答案、全面性和答案的關聯性,將使得就算是完全錯誤的答案也能看起來是正確的。」
ADVERTISEMENT
該論文的作者之一Samia Kabir表示:參與實現的人更喜歡不正確且冗長的ChatGPT 答案,而不是Stack Overflow 的答案,這是由於多種原因造成的。
「主要原因之一是ChatGPT 的答案非常詳細。在很多情況下,如果參與者從冗長而詳細的答案中獲得有用的信息,他們並不介意回答的長度。此外,積極的情緒和答案的禮貌是另外兩個原因。」
「當參與者發現ChatGPT 的答案很有洞察力時,他們就會忽略了答案中實際存在的錯誤。ChatGPT 自信地傳達有洞察力的信息(即使信息不正確)的方式贏得了用戶的信任,這使他們更喜歡錯誤的答案。」
ADVERTISEMENT
Stack Overflow 是一個專門為程式設計師提供問答服務的網站,被認為是開發者獲取程式碼片段和解決問題的重要來源。然而,該網站近年來也面臨著流量下降、內容品質下降和使用者信任下降等問題。據 SimilarWeb 在 4 月份的一份報告顯示,自 2022 年 1 月以來,該網站每月流量下降了 6%,3 月份下降了 13.9%,而 ChatGPT 可能是導致其流量下降的原因之一。Stack Overflow 則否認了 SimilarWeb 的評估,並表示其流量受到搜尋演算法和 ChatGPT 興趣激增的影響。
作者觀察到,ChatGPT 的答案還更有煽動性——暗示成就或成就的語言——。「在很多情況下,我們觀察到 ChatGPT 插入了諸如‘當然我可以幫助你’、‘這肯定會解決它’等單詞和短語。」
在其他發現中,作者發現 ChatGPT 更容易犯概念錯誤,而不是事實錯誤。該論文發現:「由於 ChatGPT 無法理解所提出問題的潛在背景,許多答案都是不正確的。」
ADVERTISEMENT
作者對 ChatGPT 答案和 Stack Overflow 答案的語言分析表明,機器人的反應「更正式,表達更多分析思維,展示更多實現目標的努力,並表現出更少的負面情緒。」他們的情緒分析得出的結論是:ChatGPT 的答案比 Stack Overflow 的答案表達了「更積極的情緒」。
OpenAI 在其 ChatGPT 網站上承認其軟體「可能會產生關於人、地點或事實的不精準資訊。」該公司暫未對普渡大學的研究作出回應。
ADVERTISEMENT