你也發現GPT-4 智力倒退了嗎？爆料ChatGPT重新設計架構，用 MOE 降成本增效能

最近許多網友反應 GPT-4 不好用，後悔付費買了會員。後來網路上爆出因為成本的考量， OpenAI 採用 MOE 重新設計了構架，導致性能受到影響，但是官方一直沒有針對這件事回應。

很多 OpenAI 的使用者反應， GPT-4 從 5 月份開始，生成內容的速度變快了，但是內容品質下降很嚴重。

甚至有 OpenAI 論壇中的使用者把自己生成的內容貼了出來，說對比 2 個月前相同的 prompt 生成的內容，現在 GPT-4 的能力最多只能算是「GPT-3.6」。

不過看完 GPT-4 重度使用者的吐槽之後，發現GPT-4 確實是領先其它大型語言模型太多了，以至於其他家的大型語言模型都在加班加點的幾天出一個更新版本，希望盡快趕上 OpenAI。

別人在那邊忙著追趕，OpenAI 自己則是悄悄「降本增效」、「反向升級」。頗有點龜兔賽跑的味道。

可能導致性能衰退的原因

對於 GPT-4 表現降級，使用者似乎都已經達成共識，已經開始討論 GPT-4「衰退」的原因。

根據外媒報導，有些語言模型領域內的專家猜測，OpenAI 正在建立多個行為類似於大型模型但運行成本較低的小型 GPT-4 模型。

其中有一種觀點認為，OpenAI 採用了一種稱為「混合專家模型」（Mixture of Experts，MOE）的構架來搭建 GPT-4。

每個較小的專家模型都在不同的任務和主題領域進行訓練。比方說，可能會有一個專門針對生物學的迷你 GPT-4 模型，或者其他的專家模型，則專門針對物理、化學等領域的迷你模型。

當一個 GPT-4 使用者提問時，新系統判斷問題類型之後，會把提示傳送給某一個或者幾個專家模型。

業界將這種情況比作「忒修斯之船」，船上的各個部件被逐漸更換，整條船慢慢變成了一條新船。「OpenAI 正在將 GPT-4 變成一支由小型船隻組成的船隊。這是一個新模型，但是可能很多人也不會在意這個變化。」

關於 GPT-4 大量參數細節被透露後，很多人也針對 MoE 給出評價。

Allen 人工智慧研究所創始首席執行長 Oren Etzioni 在外媒的採訪中寫到：「我覺得這些猜測大致是精準的，雖然沒有辦法確切證實。」

他解釋說，使用 MOE 有兩個主要原因：更好的生成回覆，和更便宜、更快的回覆。

Etzioni 補充說：「正確的搭配混合專家模型將同時保證這兩方面的優勢，但和任何事情一樣，成本和品質之間通常是需要取捨的。」

如果這種假設成立的話，OpenAI 在降低成本方面可能確實犧牲了一些品質。

另一個佐證就是，OpenAI 的創始人 Greg Brockman 曾在自己共同參與的研究中提到了 MOE 這一技術路徑。

「通過混合專家模型的（MoE）方法，每次只使用網路的一小部分來計算任何一個輸入的輸出。這可以在不增加計算成本的情況下增加更多參數。」Brockman 和他的同事 Lilian Weng 在論文中寫道。

性能下降可能和消除有害內容有關

除了從技術層面的解析外，網友也紛紛從各個角度進行揣測。

有些網友覺得可能是 OpenAI 相對保守的道德政策降低了模型回覆的品質。

在 OpenAI 官方論壇中 GPT 相關的版塊，那些認為 ChatGPT 的性能遭到了「降級」的貼文中，許多人提到了 ChatGPT 在 OpenAI 採取新的內容限制之前對於 Prompt 的包容性有了很大的變化。

側面支援了 OpenAI 可能出於安全性的考慮，控制了模型的輸出能力和範圍的觀點。

在 YCombinator 的討論中，有網友提出，從 OpenAI 開始宣佈關注安全問題以後，模型的表現就越來越糟糕。

以 GPT-4 在最初發佈報告中，讓 GPT-4 使用 TikZ（TikZ 可能是在 LaTex 中建立圖形元素的最複雜，最強大的工具）繪製獨角獸這一任務為例，在後續發佈的 GPT-4 中難以再現報告上的結果，而且表現也越來越差。

另一方面，網友認為 GPT-4 性能衰退的原因，可能是人類出於安全考慮向 GPT-4 灌輸了一套相互矛盾的想法。

而這種為了安全選擇消除「壞念頭」的做法，顯而易見會阻止 GPT-4 對事物更加深刻的認識和理解。

事實上，OpenAI 設定了各種過濾器來防止惡意行為，例如暴力，種族主義或仇恨言論。

但是，這些過濾器通常會阻擾正常的使用，例如小說寫作、思想腦力激盪以及其他形式的創作。

雖然很難衡量這些變化的影響，但 OpenAI 的創始人 Sam Altman 承認了政策限制會干擾使用者體驗。

除此之外，在 5 月 29 日 Humanloop 聯合創始人 Raza 與 Sam Altman 的對話中，Altman 提到了 OpenAI 目前嚴重受到 GPU 數量的限制。

在 ChatGPT 突破了 1 億使用者，每月活躍次數達到 18 億次的情形下，OpenAI 的伺服器的運轉經常超過複合。

而算力的緊缺不僅延遲了他們許多短期計畫，也導致了許多來自客戶對 GPT 回答內容可靠性的抱怨和爭議。

也許原因在於現在的用戶太強？

在官方技術發言人 Logan.GPT 的回應中，表明了 GPT-4 在 API 模式中品質並沒有下降。

而OpenAI 產品副總裁 Peter Welinder 評論了這一傳言。

「不，我們沒有讓 GPT-4 變笨，恰恰相反：我們讓每個新版本都比前一個版本更聰明。」

對於網友提出的問題，他的理解是，「當你更多地使用它時，你會開始注意到以前沒有注意到的問題。」

言下之意是，GPT-4 本來就沒之前那麼強，現在的 GPT-4 才是它真正的實力。

果不其然，網友不是很買單。

你說你沒改過，然後又說每個版本都更好了，不是自相矛盾嗎？

你說的這個假設不成立，同樣的Prompt 7 月的回答就是比 6 月的差！

不過，確實有網友對 GPT-4 的性能衰退也有不同的解釋：

從感知退化的心理學角度來說，在 GPT-4 初次曝光帶給人們的驚喜消失，並逐漸深入我們日常生活使用後，人們就會對它的能力習以為常。

新鮮感消退，使用者對其的容忍度也隨之降低，轉而更加關注技術和使用上的缺陷。

此外，在 Reddit 上發貼文認為 GPT-4 性能衰退的網友，在最近的更新中表明，那天的提問可能是受到心態影響，因為在這之後的 GPT-4 工作一直都很順利。

• 參考資料：https://the-decoder.com/openai-comments-on-reports-of-gpt-4-performance-loss/