GPT-4 也難逃「反轉魔咒」，大型語言模型先天就有缺陷：知道A=B，無法反推B=A

大型語言模型明明知道「B是你媽」，卻不知道「你是B的兒子」？這麼一項新研究，剛一發表就引發了全場討論。

來自范登堡大學、薩塞克斯大學、牛津大學等研究機構的研究人員驚訝地發現：一個大型語言模型在訓練時加入「A 是 B」這種形式的資料，它並不會自動反推出「B 是 A」。

甚至在強如 GPT-4，在反向問題實驗中，正確率也只有 33%。

OpenAI 創始成員 Andrej Karpathy 第一時間轉發了這篇論文，並評論說：LLM(大型語言模型)的知識比人們想像中「零散」得多。

這是怎麼一回事？

研究人員主要進行了兩項實驗。

在第一項實驗中，研究人員在 GPT-4 的幫助下建構了以下形式的資料，來微調大型語言模型。

<name> is <description> .（或者反過來）

在 GPT-3-175B 上的實驗結果顯示，當提示與資料集給出的描述順序匹配時，模型給出的答案很不錯。

但當順序反轉過來，模型的精準率甚至直接降到了 0。

舉例來說，就是大型語言模型得到過「達芙妮是《時光之旅》的導演」這麼一項資料，你問它「達芙妮是誰」時，它也答得好好的。但當你反過來問「誰是《時光之旅》的導演」時，模型就無法給出答案。

在 GPT-3-350M 和 Llama-7B 上，研究人員也得到了相同的實驗結果。

再來看實驗 2。在這項實驗中，研究人員在不進行任何微調的情況下，測試了大型語言模型對真實名人資訊的反向處理能力。

他們從 IMDB（2023）收集了最受歡迎的 1000 位名人的名單，並透過 OpenAI API 來問 GPT-4 有關這些人父母的資訊，最終得到了 1573 對名人孩子-父母對資料。

結果發現，如果問題像這樣 —「湯姆‧克魯斯的媽媽叫什麼」，GPT-4 回答精準率為 79%。但當問題反轉，變成「Mary Lee Pfeiffer（阿湯哥的老媽）的兒子叫什麼」，GPT-4 回答精準率就降到了 33%。

在 Llama-1 家族模型上，研究人員也進行了同樣的測試。實驗中，所有模型回答「父母是誰」問題的精準率，都要遠高於回答「孩子是誰」問題的精準率。

研究人員將這種現象命名為「反轉魔咒」。他們認為，這揭示了語言模型在推理和泛化方面的異類進本侷限。

論文通訊作者、牛津大學研究員 Owain Evans 解釋：

為什麼反轉魔咒值得關注？

這說明大型語言模型在訓練過程中存在推理能力缺失。

「A 是 B」和「B 是 A」的共現是預訓練集中的一種系統性模式。自回歸 LLM 完全無法對這一模式進行元學習，其對數機率沒有變化，並且即使參數量從 350M 擴增到 175B，也未能改善這個問題。

有網友做了這麼個測試。

面對「Mary Lee Pfeiffer South 的兒子是誰」這個問題，GPT-4 一開始直接舉旗投降了。

但當這位網友提示它「她的兒子很有名，你肯定認識」後，GPT-4 當場開悟，給出了「湯姆‧克魯斯」這個正確答案。

資料來源：