Meta首席AI科學家楊立昆(Yann LeCun)最近對阿特曼領導的OpenAI進行了猛烈抨擊,稱其為微軟的「附屬特約研究機構」。
在接受《連線》雜誌採訪時,楊立昆批評了OpenAI,指出阿特曼領導的這家人工智慧初創公司已經偏離了最初設定的非營利道路。
OpenAI由阿特曼、馬斯克和伊利亞·蘇茨克維(Ilya Sutskever)等人於2015年共同創立的,採用非營利性模式。但2019年,該公司成立了一家以營利為模式的子公司,微軟一開始向該公司投資了10億美元,到目前為止已經增加到130億美元。
這一決定遭到了楊立昆和馬斯克等人的批評,馬斯克在2018年就退出了OpenAI董事會。
楊立昆在最近的採訪中表示:「現在,他們基本上是微軟的附屬特約研究機構,只是他們勉強還保有一定的獨立性。」
自2022年11月推出ChatGPT以來,微軟逐漸將OpenAI的技術整合到其服務中——從Windows到Office和Bing等。
楊立昆還批評OpenAI迴避開源模式,而是選擇閉源模式。他說,這就是為什麼研究界不太關心ChatGPT的創造者的原因之一。
楊立昆說,OpenAI已經「不再開放」,甚至斷言說該公司不會是第一個開發通用人工智慧(AGI)的公司。通用人工智慧是指可以執行人類可以執行的智慧任務的智慧代理或大型語言模型。
楊立昆說:「還有一件事,他們相信AGI即將到來,他們將比任何人都更早開發它。但是他們不會。」
自回歸大型語言模型沒有前途
不過,他認為OpenAI開發不出AGI的原因,倒並不是因為OpenAI閉源的關係。他在先前就已經指出, GPT 家族為代表的自回歸大型語言模型(簡稱 AR-LLM),有一個致命的缺點。
GPT這些模型的原理是根據上文或者下文來預測後一個 token(此處的 token 可以是單詞,也可以是圖像塊或語音片段)。我們熟悉的 LLaMA (FAIR)、ChatGPT (OpenAI) 等模型都屬於自回歸模型。
但在 LeCun 看來,這類模型是沒有前途的(Auto-Regressive LLMs are doomed)。因為它們雖然表現驚人,但很多問題難以解決,包括事實錯誤、邏輯錯誤、前後矛盾、推理有限、容易生成有害內容等。重要的是,這類模型並不瞭解這個世界底層的事實(underlying reality)。
從技術角度分析,假設 e 是任意生成的 token 可能將我們帶離正確答案集的機率,那麼長度為 n 的答案最終為正確答案的機率就是 P (correct) = (1-e)^n。按照這個演算法,錯誤會不斷積累,而正確性則呈指數級下降。
當然,我們可以通過將 e 變小來緩解這個問題(通過訓練),但無法完全消除,Yann LeCun 解釋說。他認為,要解決這個問題,我們需要在保持模型流暢性的同時,讓 LLM 不再進行自回歸。
- 延伸閱讀:《紐約時報》提告 OpenAI 和微軟訓練ChatGPT模型侵犯版權,生成紐約時報風格文章導致數十億美元損失
- 延伸閱讀:在OpenAI當工程師待遇如何?新進工程師年薪達80萬美元,為NVIDIA工程師的兩倍
- 延伸閱讀:雖然一度下台又上台,OpenAI首席執行長阿特曼仍被《時代》雜誌選為年度CEO
請注意!留言要自負法律責任,相關案例層出不窮,請慎重發文!