OpenAI安全控管團隊已經實質解散,超級對齊團隊主管爆料:利益至上前提下安全專家只能坐冷板凳

OpenAI安全控管團隊已經實質解散,超級對齊團隊主管爆料:利益至上前提下安全專家只能坐冷板凳

就在上週Google隆重舉辦I/O開發者大會的當天下午,消失在人們視野里半年之久的OpenAI聯合創始人兼前首席科學家Ilya Sutskever忽然露面發聲了。他在社群平台X宣佈了自己離職OpenAI的消息,算是給外界諸多撲朔迷離的猜測做了正式回應。

「在OpenAI工作近十年後,我決定離開 。這間公司取得了令人難以置信的進步,我相信在 Sam、Greg、Mira,以及傑出的研究領導者Jakub帶領下,OpenAI將建構安全有益的通用人工智慧。和各位共事是一種榮幸,我將深深懷念所有人。非常感謝這一切,祝大家一切順利!我對即將到來的項目感到興奮——這對我來說意義重大,我將在適當的時候分享詳細資訊。」

下面還附上了一張辦公室合影,緬懷幾人的革命友情。

OpenAI安全控管團隊已經實質解散,超級對齊團隊主管爆料:利益至上前提下安全專家只能坐冷板凳

原本事情的走向符合大眾心理預判。Lex Fridman、Jeff Dean等一眾大佬和網友們都在評論區致以祝福,感謝Ilya在OpenAI所做的一切。

阿特曼也隨即發表了一篇稍顯正式的回應,與以往不分大小寫的隨意風格形成鮮明對比。

他表示自己對Ilya 和 OpenAI 即將分道揚鑣感到非常悲傷,稱讚Ilya是這一代最傑出的人才之一,AI領域的指路明燈,也是一位親密朋友。不僅有才華和遠見,還有溫暖的同情心。「沒有他,OpenAI 不會成為今天的樣子」。他永遠對Ilya懷有感激,並承諾完成他們共同開始的使命。

同時,奧特曼宣佈曾領導OpenAI推理團隊、深度學習科學團隊和GPT-4開發的前研究總監Jakub Pachocki接棒Ilya,成為新任首席科學家。

然後又轉發Ilya的照片說,「feeling the AGI today」。還到IlyaTwitter下面借網友熱梗留言打趣,「別告訴他們你看到了什麼。」

OpenAI安全控管團隊已經實質解散,超級對齊團隊主管爆料:利益至上前提下安全專家只能坐冷板凳

從去年11月的政變風波傳到現在,終於一切都在看起來歡樂祥和的美好氛圍中畫上句點。但是,果真如此嗎?先別太天真,要真這麼平靜那就不是OpenAI了。

果然,當晚9:43,又爆出一個大新聞:曾與Ilya共同領導OpenAI“超級對齊團隊”的Jan Leike在X發文宣佈,”我(也)撤了。”

OpenAI安全控管團隊已經實質解散,超級對齊團隊主管爆料:利益至上前提下安全專家只能坐冷板凳

Jan Leike 2021年從GoogleDeepMind團隊加入OpenAI,主要研究方向包括強化學習、大型語言模型的對齊工程及AGI,屬於Ilya陣營的人。他和Ilya的Superalignment團隊旨在未來四年內,建構一個能與人類水平相媲美的自動對齊研究器,儘可能將相關工作交由自動系統完成,同時確保人工智慧系統的行為與人類價值觀和目標保持一致。

上月,媒體曾報導過對齊團隊的兩名員工,也同為Ilya盟友的Leopold Aschenbrenner和Pavel Izmailov因「洩密」而被公司開除,但OpenAI並未提供任何洩密證據。這還不算,剛剛OpenAI內部證實,該團隊現在已經被解散了!相應工作將被整合到其他研究小組。

熟悉的配方,熟悉的味道,跟上次阿特曼被董事會罷免Greg Brockman甩手走人如出一轍。無怪乎網友攤手:「你們又來了是吧?」(Logan Kilpatrick這則留言也讓廣大吃瓜群眾浮想聯翩。)

OpenAI安全控管團隊已經實質解散,超級對齊團隊主管爆料:利益至上前提下安全專家只能坐冷板凳

第二天,OpenAI前工程負責人,曾領導過ChatGPT, GPT-4, DALL·E和APIs上線的Evan Morikawa也宣佈離開,將與前波士頓動力高級機器人學家Andy Barry和Deep Mind研究科學家Pete Florence 和 Andy Zeng共同開展一個全新項目,並認為「這是在全球範圍內實現 AGI 所必需的」。

然後,Jan Leike不忍了,直接公開透露自己與OpenAI高層在公司的核心優先事項上存在「無法調和」的長期分歧,團隊在推動項目和爭取計算資源時遭遇重大阻礙,嚴重影響研究的進度和品質。

他先是表明昨天是自己在 OpenAI 「作為對齊負責人、超級對齊負責人和高層的最後一天」。

肯定了團隊過去三年多來取得的顯著成績:推出第一個基於 RLHF 的大型語言模型 InstructGPT,發佈第一個大規模監督 LLMs 的方法,並開創了自動解釋性和從弱到強的泛化。「我愛我的團隊。我非常感激能與這麼多了不起的人一起工作…OpenAI 擁有如此多的傑出、聰明、善良和高效的人才。」

OpenAI安全控管團隊已經實質解散,超級對齊團隊主管爆料:利益至上前提下安全專家只能坐冷板凳

接著話鋒一轉開轟,「離開這份工作是我做過的最艱難事情之一,因為我們迫切需要弄清楚如何引導和控制比我們聰明得多的 AI 。」

「我加入OpenAI是因為我以為這裡是世界上最適合進行這項研究的地方。然而,我與OpenAI領導層在公司的核心優先事項上長期存在分歧,直到我們最終達到一個臨界點。」

OpenAI安全控管團隊已經實質解散,超級對齊團隊主管爆料:利益至上前提下安全專家只能坐冷板凳

「我相信,我們應該將更多的頻寬花在為下一代模型做準備上,關注安全、監控、對抗性穩健性、超級對齊、保密性、社會影響等相關話題。這些問題很難解決,我擔心我們還沒有走上正軌。

過去幾個月,我的團隊一直在逆風前行。有時我們在計算資源方面掙扎,完成這項關鍵研究變得越來越困難。」

「建造比人類更聰明的機器本質上是一項危險的工作。OpenAI 代表全人類肩負著巨大的責任。但在過去幾年裡,安全文化和流程讓位於光鮮亮麗的產品。」

「我們早該認真重視AGI的影響了,必須優先為其做好準備。只有這樣才能確保 AGI 造福全人類。OpenAI 必須成為一個安全至上的 AGI 公司。」

OpenAI安全控管團隊已經實質解散,超級對齊團隊主管爆料:利益至上前提下安全專家只能坐冷板凳

最後一條,Jan Leike語重心長地致所有OpenAI員工:

「學會感受 AGI。

對你手中正在建構的事物,態度莊重一些。

我相信你們可以‘傳遞’所需的文化變革。

我指望著你們。

全世界都在指望你們。

:openai-heart:(OpenAI員工最常用的愛心表情)」

OpenAI安全控管團隊已經實質解散,超級對齊團隊主管爆料:利益至上前提下安全專家只能坐冷板凳

所以是OpenAI為了優先發佈亮眼的產品,不重視安全實現AGI。讓對齊團隊坐冷板凳不說,還不分給計算資源,導致根本無法推進計畫,這換誰能忍?

網友悟了:「這就是Ilya看到的,並且他一直在告訴董事會並試圖反對。他要求的只是專注於 AI 安全,現在Jan也證實了這一點。」

還有人梳理出了OpenAI有史以來所有安全團隊帶頭大牛們的離職時間線。包括Anthropic聯合創始人Amodei兄妹。

OpenAI安全控管團隊已經實質解散,超級對齊團隊主管爆料:利益至上前提下安全專家只能坐冷板凳

「這聽起來像是OpenAI想繼續燒錢商業化,而不是確保前進步驟的安全。他們想成為大亨,而不是英雄。」

更有人爆料說,當員工離開OpenAI時,需要簽署一個包含承諾終身不得貶損公司的離職協議。如果拒簽就會失去所有歸屬股權,意味著可能會損失數百萬美元。

OpenAI安全控管團隊已經實質解散,超級對齊團隊主管爆料:利益至上前提下安全專家只能坐冷板凳

對Jan Leiker的長文開炮,阿特曼很快他便發文“反擊”,最後也送了一顆小心心:

「我非常感謝 Jan Leike 對 OpenAI 對齊研究和安全文化的貢獻,也非常難過看到他離開。他說得對,我們還有很多事情要做,我們承諾會做到。我會在接下來的幾天裡發一篇更長的文章。」

OpenAI安全控管團隊已經實質解散,超級對齊團隊主管爆料:利益至上前提下安全專家只能坐冷板凳

看來這新的OpenAI保衛戰,AKA「OpenAI內鬥第二季」已經開始,接下來雙方的作文比賽馬上要來。

 

 

36Kr
作者

36氪(36Kr.com)累計發表超過10.8萬條包含圖文、音訊、影片在內的優質內容。氪原創內容體系涵蓋新創公司、大公司、投資機構、地方產業與二級市場等內容模組,設置有快訊、深度商業報導

使用 Facebook 留言
發表回應
謹慎發言,尊重彼此。按此展開留言規則