ChatGPT提供錯誤程式答案的比例高達52%，只是39%的人類看不出來

使用 Copilot、Gemini 和 ChatGPT 等生成式人工智慧聊天機器人的一大賣點是，與人類回答同樣的提示相比，它們可以更快地回答有關編碼和程式的問題，從而幫助節省時間。然而，最近的一份報告稱，ChatGPT 在回答程式問題時提供了大量錯誤答案。

普渡大學的一個研究小組在 5 月早些時候舉行的CHI 2024大會上提交的一份報告中，檢查了傳送到 ChatGPT 回答的 517 個 Stack Overflow 問題。

普渡大學的研究小組表示說，ChatGT 為這些程式問題提供錯誤答案的比例高達 52%。

雖然人工智慧聊天機器人提供錯誤的問題答案也許是意料之中的事，但普渡大學的研究小組卻更進一步指出，人類程式設計師在 35% 的情況下仍然更喜歡 ChatGPT 的答案，「因為它們的回答具有全面性和清晰的語言風格」。更糟糕的是，在 39% 的情況下，人類程式設計師並沒有發現 ChatGPT 的錯誤答案。

雖然這只是對 ChatGPT 功能的一個方面進行的研究，但它表明，生成式人工智慧機器人仍然容易犯很多錯誤，而人類可能無法發現這些錯誤。

Google的AI Overviews於今年 5 月初在美國地區的Google搜尋中投入使用，它已經對一些搜尋字串生成了奇怪且。Google在向新聞機構發表的聲明中試圖解釋這些明顯的錯誤：「我們看到的例子一般都是非常不常見的查詢，並不能代表大多數人的經驗。絕大多數人工智慧概述都提供了高品質的資訊，並附有深入挖掘的網路連結。」

聲明還說，Google將利用這些孤立的例子來幫助完善系統。

• 延伸閱讀：蝦子耶穌爆紅！AI生成內容佔據網路，「死亡網路」理論成真？
• 延伸閱讀：三星HBM晶片因散熱和功耗問題未能通過Nvidia的測試，恐影響AI GPU市場競爭力
• 延伸閱讀：建構 AI PC 生態系，COMPUTEX 2024 展前座談會，產業各大專家頗析生成式 AI 與 AI PC 發展