2023.07.20 14:30

你也發現GPT-4 智力倒退了嗎?爆料ChatGPT重新設計架構,用 MOE 降成本增效能

ADVERTISEMENT

最近許多網友反應 GPT-4 不好用,後悔付費買了會員。後來網路上爆出因為成本的考量, OpenAI 採用 MOE 重新設計了構架,導致性能受到影響,但是官方一直沒有針對這件事回應。

很多 OpenAI 的使用者反應, GPT-4 從 5 月份開始,生成內容的速度變快了,但是內容品質下降很嚴重。

ADVERTISEMENT

甚至有 OpenAI 論壇中的使用者把自己生成的內容貼了出來,說對比 2 個月前相同的 prompt 生成的內容,現在 GPT-4 的能力最多只能算是「GPT-3.6」。

不過看完 GPT-4 重度使用者的吐槽之後,發現GPT-4 確實是領先其它大型語言模型太多了,以至於其他家的大型語言模型都在加班加點的幾天出一個更新版本,希望盡快趕上 OpenAI。

ADVERTISEMENT

別人在那邊忙著追趕,OpenAI 自己則是悄悄「降本增效」、「反向升級」。頗有點龜兔賽跑的味道。

可能導致性能衰退的原因

對於 GPT-4 表現降級,使用者似乎都已經達成共識,已經開始討論 GPT-4「衰退」的原因。

根據外媒報導,有些語言模型領域內的專家猜測,OpenAI 正在建立多個行為類似於大型模型但運行成本較低的小型 GPT-4 模型。

ADVERTISEMENT

其中有一種觀點認為,OpenAI 採用了一種稱為「混合專家模型」(Mixture of Experts,MOE)的構架來搭建 GPT-4。

每個較小的專家模型都在不同的任務和主題領域進行訓練。比方說,可能會有一個專門針對生物學的迷你 GPT-4 模型,或者其他的專家模型,則專門針對物理、化學等領域的迷你模型。

當一個 GPT-4 使用者提問時,新系統判斷問題類型之後,會把提示傳送給某一個或者幾個專家模型。

ADVERTISEMENT

業界將這種情況比作「忒修斯之船」,船上的各個部件被逐漸更換,整條船慢慢變成了一條新船。「OpenAI 正在將 GPT-4 變成一支由小型船隻組成的船隊。這是一個新模型,但是可能很多人也不會在意這個變化。」

關於 GPT-4 大量參數細節被透露後,很多人也針對 MoE 給出評價。

Allen 人工智慧研究所創始首席執行長 Oren Etzioni 在外媒的採訪中寫到:「我覺得這些猜測大致是精準的,雖然沒有辦法確切證實。」

他解釋說,使用 MOE 有兩個主要原因:更好的生成回覆,和更便宜、更快的回覆。

Etzioni 補充說:「正確的搭配混合專家模型將同時保證這兩方面的優勢,但和任何事情一樣,成本和品質之間通常是需要取捨的。」

如果這種假設成立的話,OpenAI 在降低成本方面可能確實犧牲了一些品質。

另一個佐證就是,OpenAI 的創始人 Greg Brockman 曾在自己共同參與的研究中提到了 MOE 這一技術路徑。

「通過混合專家模型的(MoE)方法,每次只使用網路的一小部分來計算任何一個輸入的輸出。這可以在不增加計算成本的情況下增加更多參數。」Brockman 和他的同事 Lilian Weng 在論文中寫道。

性能下降可能和消除有害內容有關

除了從技術層面的解析外,網友也紛紛從各個角度進行揣測。

有些網友覺得可能是 OpenAI 相對保守的道德政策降低了模型回覆的品質。

在 OpenAI 官方論壇中 GPT 相關的版塊,那些認為 ChatGPT 的性能遭到了「降級」的貼文中,許多人提到了 ChatGPT 在 OpenAI 採取新的內容限制之前對於 Prompt 的包容性有了很大的變化。

側面支援了 OpenAI 可能出於安全性的考慮,控制了模型的輸出能力和範圍的觀點。

在 YCombinator 的討論中,有網友提出,從 OpenAI 開始宣佈關注安全問題以後,模型的表現就越來越糟糕。

以 GPT-4 在最初發佈報告中,讓 GPT-4 使用 TikZ(TikZ 可能是在 LaTex 中建立圖形元素的最複雜,最強大的工具)繪製獨角獸這一任務為例,在後續發佈的 GPT-4 中難以再現報告上的結果,而且表現也越來越差。

另一方面,網友認為 GPT-4 性能衰退的原因,可能是人類出於安全考慮向 GPT-4 灌輸了一套相互矛盾的想法。

而這種為了安全選擇消除「壞念頭」的做法,顯而易見會阻止 GPT-4 對事物更加深刻的認識和理解。

事實上,OpenAI 設定了各種過濾器來防止惡意行為,例如暴力,種族主義或仇恨言論。

但是,這些過濾器通常會阻擾正常的使用,例如小說寫作、思想腦力激盪以及其他形式的創作。

雖然很難衡量這些變化的影響,但 OpenAI 的創始人 Sam Altman 承認了政策限制會干擾使用者體驗。

除此之外,在 5 月 29 日 Humanloop 聯合創始人 Raza 與 Sam Altman 的對話中,Altman 提到了 OpenAI 目前嚴重受到 GPU 數量的限制。

在 ChatGPT 突破了 1 億使用者,每月活躍次數達到 18 億次的情形下,OpenAI 的伺服器的運轉經常超過複合。

而算力的緊缺不僅延遲了他們許多短期計畫,也導致了許多來自客戶對 GPT 回答內容可靠性的抱怨和爭議。

也許原因在於現在的用戶太強?

在官方技術發言人 Logan.GPT 的回應中,表明了 GPT-4 在 API 模式中品質並沒有下降。

而OpenAI 產品副總裁 Peter Welinder 評論了這一傳言。

「不,我們沒有讓 GPT-4 變笨,恰恰相反:我們讓每個新版本都比前一個版本更聰明。」

對於網友提出的問題,他的理解是,「當你更多地使用它時,你會開始注意到以前沒有注意到的問題。」

言下之意是,GPT-4 本來就沒之前那麼強,現在的 GPT-4 才是它真正的實力。

果不其然,網友不是很買單。

你說你沒改過,然後又說每個版本都更好了,不是自相矛盾嗎?

你說的這個假設不成立,同樣的Prompt 7 月的回答就是比 6 月的差!

不過,確實有網友對 GPT-4 的性能衰退也有不同的解釋:

從感知退化的心理學角度來說,在 GPT-4 初次曝光帶給人們的驚喜消失,並逐漸深入我們日常生活使用後,人們就會對它的能力習以為常。

新鮮感消退,使用者對其的容忍度也隨之降低,轉而更加關注技術和使用上的缺陷。

此外,在 Reddit 上發貼文認為 GPT-4 性能衰退的網友,在最近的更新中表明,那天的提問可能是受到心態影響,因為在這之後的 GPT-4 工作一直都很順利。

ADVERTISEMENT