在大型語言模型的各種技術中,有一種叫Chain-of-Thought(關連思考、思維鏈)的技術,COT這個技術在ChatGPT中有起到相當的影響。不過,這個技術也是相當新,在2022 年 1 月相關論文才被放到 arxiv 上,成果也特別驚豔。
該論文的第一作者就是Jason Wei,原本在Google工作,後來跳槽到OpenAI。現在是AI界倍受矚目的新秀。
不過在這裡我們並沒有要討論COT,而是Jason Wei最近分享了他在OpenAI工作時一整天的作息,引起了科技圈的討論。
AI界新秀在OpenAI工作的一天
以下就是他在OpenAI的一天。
[9:00am] 起床
[9:30am] 搭乘Waymo前往Mission SF,途中在Tartine買個牛油果吐司
[9:45am] 背誦OpenAI憲章。向最佳化之神致敬。學習《The Bitter Lession》(強化學習之父Rich Sutton著)
[10:00am] 在Google Meet上開會,討論如何在更多資料上訓練更大的模型
[11:00am] 寫程式碼,在更多資料上訓練更大的模型。搭檔是Hyung Won Chung
[12:00pm] 去餐廳吃午飯(純素且無麩質)
[1:00pm] 真正開始在大量資料上訓練大型語言模型
[2:00pm] debug基礎設施問題
[3:00pm] 監控模型訓練進度,玩Sora
[4:00pm] 給剛才訓練的大型語言模型上提示工程
[4:30pm] 短暫休息,思考Gemini Ultra的性能到底有多強
[5:00pm] 腦力激盪模型可能的演算法改進
[5:05pm] 修改演算法風險太高,pass。最安全的策略還是土法煉鋼(增加算力和資料規模)
[6:00pm] 晚餐時間,和Roon一起享用蛤蜊濃湯
[7:00pm] 回家
[8:00pm] 喝點小酒,繼續寫碼。鮑爾默峰即將到來(鮑爾默峰是一個程式設計師之間的玩笑概念,指的是適當飲酒的程式設計師可以實現高水準的生產力。又,這種說法並沒有科學根據。)
[9:00pm] 分析實驗結果,我對wandb又愛又恨
[10:00pm] 啟動實驗,讓它自己跑一晚上,第二天查看結果
[1:00am] 實驗真正開始運行
[1:15am] 上床睡覺。在納德拉和黃仁勳的守護下入夢。壓縮才是關鍵。晚安
美國宅男工程師的一天引發討論
他分享的這一整個作息,看得國外網友直接傻眼:
「就算給我一年一百萬,我也不想要這樣過日子。你啥時候睡覺?啥時候醒?啥時候跟家人共度時光?啥時候出門散步……你這樣過十年,你會後悔的。」
相對而言,還是中國網友比較淡定,甚至還默默羨慕了起來……
「跟我工作作息差不多,但我不在OpenAI。」
還有網友道出關鍵,最可怕的是,這是自發性的社畜。
(嗯,天才不可怕,可怕的是天才比你還勤勞……)
工作過勞的OpenAI
事實上,有關OpenAI工作過勞的傳言,早已在坊間流傳已久。
畢竟隨便戳開OpenAI員工的GitHub首頁,滿滿綠色的貢獻度並不罕見。
就在今年早些時候,OpenAI前員工、Codex團隊成員Lenny Bogdonoff的離職聲明,就曾引發大傢伙對OpenAI工作強度的關注。
Lenny Bogdonoff提到,從入職起,他就每週在辦公室工作6天,每天的工作時間也很長:從早上8點一直持續到深夜。
我經歷了無數次深夜的滅火工作,以支援規模擴張和抵禦攻擊。
儘管他本人並沒有抱怨,而是表示「永遠感激這一生一次的經歷」,但仍有不少人關注到了工作壓力的問題。
而在去年,OpenAI前信任與安全主管Dave Willner辭職時也透露,考慮到工作與生活的平衡,辭職是「相當容易做出的選擇」。
特別是從2022年11月ChatGPT推出以後,將家庭置於工作之上變得越來越困難。
- 延伸閱讀:傳聞OpenAI正在開發網路搜尋產品,直接挑戰Google
- 延伸閱讀:Sora 證明馬斯克是對的!特斯拉與OpenAI如何嘗試讓AI從影片生成到理解真實世界
- 延伸閱讀:OpenAI 申請註冊 GPT 商標,卻遭美國專利商標局拒絕
請注意!留言要自負法律責任,相關案例層出不窮,請慎重發文!