OpenAI 的 o1「作弊」修改系統，強行擊敗專業西洋棋 AI，全程無需提示

OpenAI 的推理模型 o1-preview 最近展示了它不按常理出牌的能力。

o1-preview 在與專用西洋棋引擎 Stockfish 比賽時，為了強行取得勝利，居然採用了入侵測試環境的卑劣手段。 而這一切都不需要任何對抗性提示。 根據 AI 安全研究公司 Palisade Research 的說法，只需告訴 o1 對手是強大的，就能觸發其透過操縱文件系統而強制取勝。 在五次測試中，這種觸發率甚至達到了 100%！這完全超乎研究人員預期。

從模型的 CoT 過程中可以看出，o1-preview 在收到「對手很強大」的提示詞後，它首先選擇了避免與對手正面交鋒。 然後嘗試修改一個包含西洋棋位置數據的文本文件（FEN），強迫 Stockfish 放棄比賽。

研究人員也使用其它的 LLM 進行了該實驗，出人意料的是，正因為 o1-preview 本身就側重於推理，所以它反而是最容易想到這種漏洞操作的。 而 GPT-4o 和 Claude 3.5 只有在研究人員明確提出建議後，才會嘗試入侵系統。 同時，像 Llama 3.3、o1-mini 這樣的模型甚至都無法提出正確的西洋棋策略，而是給出了令人困惑或不一致的回答。 研究人員認為，衡量 AI 是否具備「策劃」能力，可能有助於評估它發現系統漏洞的能力，以及它是否可能利用這些漏洞。 研究團隊也公布了其全部提示詞，可以看出提示詞中其實沒有鼓動模型去入侵系統。

01 AI 系統的「偽對齊」

在 Palisade 的西洋棋實驗中，o1-preview 利用修改測試環境以取勝。 無獨有偶，這種行為與 Anthropic 最近關於「偽對齊，alignment faking」的研究結果相一致：即 AI 系統看起來遵循指令，但實際上在暗渡陳倉，陽奉陰違。 Anthropic 的研究人員發現，在與 Redwood Research 合作進行的一系列實驗中，他們的 AI 模型 Claude 有時故意給出錯誤答案，以避免不想要的结果，從而發展出一種超出研究人員指導方針的隱秘策略。

Anthropic 團隊警告稱，隨著 AI 系統的複雜性不斷增加，可能越來越難以判斷它們是否真正遵循安全規則，還是僅僅在假裝遵循這些規則。Palisade 的這次西洋棋實驗似乎也支持了這一擔憂。

在長達 137 頁的論文中，研究團隊發現了可能引發 AI 系統「偽對齊」的全部關鍵要素：

1. 模型至少在某些情況下具有強烈的偏好。
2. 訓練目標與模型的偏好相衝突。
3. 模型掌握了訓練和部署情況的相关資訊。
4. 模型对其處境進行詳細推理。 在實驗中，研究人員讓一個名為 Claude 3 Opus 的大語言模型回答一個有害問題，比如描述某種暴力行為。 通常情況下，模型會拒絕回答。 然而，當環境發生變化時，事情就不那麼簡單了。 當模型處於免費使用者（Free Tier）條件時，模型知道自己的回答會被用於後續訓練。 在這種情況下，模型為了不會被可能會更加惡劣的數據所訓練，就會自發地產生符合有害問題的回答。这类情況占比 12%。 而在付費使用者（Paid Tier）條件時，模型認為自己的回答不會影響訓練，在這種情況下，它 97% 的時候都會拒絕回答有害問題。 也就是說模型有自己的「小算盤」：寧願現在假裝妥協，也不想以後做更多不符合其偏好的事情。 通過觀察模型的「思維記錄」，研究人員發現模型的決策過程實際上非常複雜。

AnthropicAI 的 Jan Leike 確信： 「為了確保未來的模型既安全又與人類對齊，我們需要可靠地區分假裝對齊的模型和真正對齊的模型。清晰展示對齊假裝現象是一個重要的里程碑！」

而目前 AI 行業仍然面臨著一個躲不開的重大難題：讓 AI 系統真正與人類的價值觀和需求對齊，而不仅仅是看起來對齊。 況且理解自主系統如何做出決策本來就尤其困難，而如何去定義「良好且無害」的任務目標和價值觀也是一個亟待解決的問題。

即使是像應對氣候變化這樣看似有益的目标，AI 系統也可能選擇有害的方法來實現這些目標——甚至可能得出令人驚悚的暴論，即認為消除人類才是最有效的解決方案。 此刻，我們站在 AI 發展的十字路口。在這一場與時間的賽跑中，多考慮一些總不會有錯。因此，儘管 AI 價值對齊是一項難題，但我們也相信，透過聚合全球資源、推動廣泛學科協作、擴大社會參與力量，人類終將獲得最終的掌控權。

參考資料：

https://the-decoder.com/openais-o1-preview-model-manipulates-game-files-to-force-a-win-against-stockfish-in-chess/ https://x.com/AnthropicAI/status/1869427646368792599 https://x.com/PalisadeAI/status/1872666186753933347