任何經過訓練的模型，都需要人類來驗證輸出的正確性。不過，這個過程很繁瑣而且枯燥，因此，如果交給機器人來處理，是不是會更好？
CriticGPT：捕捉ChatGPT 程式碼輸出中的錯誤
OpenAI公佈，其研究人員訓練了一個基於 GPT-4 的模型，它被稱為 CriticGPT，用於捕捉ChatGPT 程式碼輸出中的錯誤。簡單來說就是，CriticGPT讓人能用 GPT-4 尋找 GPT-4 的錯誤。它可以寫出使用者對ChatGPT響應結果的批評評論，從而幫助人類訓練者在RLHF期間發現錯誤。
OpenAI發現，如果通過CriticGPT獲得幫助審查 ChatGPT編寫的程式碼，人類訓練師的審查效果比沒有獲得幫助的人強60%。OpenAI稱，正著手將類似 CriticGPT 的模型內建到旗下 RLHF 標記管道中，為自己的訓練師提供明確的AI幫助。
OpenAI稱，因為沒有更好的工具，所以人們目前難以評估高級的AI系統的表現。而CriticGPT意味著，OpenAI向能夠評估高級AI系統輸出的目標邁進了一步。，
OpenAI舉了一個例子，如下圖所示，對ChatGPT提出一個用 Python 編寫指定函數的任務，對於ChatGPT根據要求提供的程式碼，CriticGPT點評了其中一條指令，提議換成效果更好的。
OpenAI稱，CriticGPT 的建議並不是全都正確無誤，但OpenAI的人員發現，相比沒有這種AI的幫助，有了它，訓練師可以發現更多模型編寫答案的問題。
此外，當人們使用CriticGPT 時，這種AI模型會增強他們的技能，從而得出的批評結論比單單人類訓練師做的更全面，並且比AI模型單獨工作時產生的幻覺錯誤更少。
在OpenAI的實驗中，在60%以上的時間內，隨機選擇的訓練師都更喜歡來自人類與CriticGPT 合作的批評結論，而不是來自沒有CriticGPT協助的人類訓練師批評。
CriticGPT目前的四點侷限
OpenAI同時提到了目前開發CriticGPT的四點侷限。其中之一是，OpenAI用 ChatGPT 的簡短答案訓練CriticGPT，因此未來需要發掘能幫助訓練師理解冗長且複雜任務的方法。
第二點是，模型仍然會產生幻覺，有時訓練師在看到這些幻覺後會犯下標記錯誤。第三點是，有時現實世界中的錯誤可能分散在答案的許多部分之中，OpenAI目前的工作重點是讓模型指出一處的錯誤，未來還需要解決分散在不同位置的錯誤。
第四點，OpenAI指出，CriticGPT 只能提供有限的幫助：如果ChatGPT面對的任務或響應極其複雜，即使是有模型幫助的專家也可能無法正確評估。
最後，OpenAI表示，為了協調日益複雜的 AI 系統，人們需要更好的工具。在對 CriticGPT 的研究中，OpenAI發現，將 RLHF 應用於 GPT-4 有望幫助人類為 GPT-4 生成更好的 RLHF 資料。OpenAI計畫，進一步擴大這項工作，並將其付諸實踐。
OpenAI在原名Twitter的社群媒體X上公佈了新模型CriticGPT後，一條按讚超1萬的網友評論稱，自我改進已經開始了。
另一條按讚上萬的熱擷取了OpenAI的相關研究文章結論，其中提到，在智慧方面，大型語言模型（LLM）和LLM的批評都只會繼續改進，而人類的智慧不會，這條評論感嘆，真是悲觀。
還有網友引用了漫威超級英雄電影《復仇者聯盟》中薩諾斯的一句台詞，點評OpenAI所說的用GPT-4找GPT-4的錯誤：「我用寶石摧毀了寶石。」
- 延伸閱讀：現在ChatGPT免費版也能用GPTs/GPT-4o/資料分析/檔案上傳功能
- 延伸閱讀：微軟CEO評GPT-4o語音助理：不需要將AI擬人化或是沉迷跟他聊天，它只是一種工具
- 延伸閱讀：GPT-4 化身駭客搞破壞學會漏洞攻擊，成功率竟高達87%！OpenAI 要求保密提示詞
請注意！留言要自負法律責任，相關案例層出不窮，請慎重發文！