2024.07.03 16:00

馬斯克預告用了10萬張NVIDIA H100卡來訓練Grok 3,預計年底上線

ADVERTISEMENT

科技巨擘埃隆·馬斯克(Elon Musk)近日在社群媒體X上引發熱議,他透露即將推出的AI聊天機器人Grok 3將會「非常特別」。馬斯克表示,這款新一代AI經過了10萬張H100晶片的訓練,規模之大令人驚嘆。

H100是NVIDIA開發的圖形處理單元,又稱Hopper,專門用於處理大型語言模型(LLMs)的資料。隨著AI技術的快速發展,這類晶片已成為科技公司爭相搶購的戰略資源。

ADVERTISEMENT

Grok 3的天價訓練成本:高達40億美元

每塊NVIDIA H100 AI晶片的市場價格約在3萬至4萬美元之間。粗略估算,單單訓練Grok 3就使用了價值30億至40億美元的AI晶片。這一驚人數字引發了外界對馬斯克公司資金實力的關注。

目前尚不清楚這些晶片是否由馬斯克的公司直接購買。有報導稱,馬斯克旗下的xAI公司正在與甲骨文洽談,計劃在未來幾年內投資100億美元租用雲端伺服器。近年來,馬斯克的公司已直接採購了大量H100晶片。據悉,馬斯克曾將原本供特斯拉使用的價值5億美元的H100晶片轉給了X公司。

Grok系列演進:從2萬到10萬張H100的增幅

相較於前代產品,Grok 3在訓練規模上實現了巨大飛躍。今年4月,馬斯克在接受挪威主權基金負責人尼科萊·坦根(Nicolai Tangen)採訪時透露,訓練Grok 2需要約2萬張H100晶片。而Grok 3的訓練規模則達到了驚人的10萬張,增幅高達5倍。

ADVERTISEMENT

目前,xAI已發布了Grok-1和Grok-1.5版本,最新版本僅對X平台上的早期測試者和現有用戶開放。馬斯克在最新的社交媒體貼文中透露,Grok 2計劃於今年8月推出,而Grok 3有望在年底亮相。

10萬張H100晶片的規模雖然驚人,但在當前的AI競賽中並非孤例。其他科技巨頭如Meta也在大量採購GPU晶片。Meta執行長馬克·祖克柏(Mark Zuckerberg)今年1月曾表示,到2024年底,Meta將購買約35萬塊NVIDIA H100晶片,加上其他類型的GPU,Meta的AI晶片總量將達到約60萬塊。

如果按照這一規模,Meta在建構自家AI能力上的投資將高達180億美元左右。這一數字充分說明了科技巨頭對AI技術的重視程度和投入力度。

ADVERTISEMENT

AI晶片爭奪戰引發人才爭奪戰

大規模AI晶片的積累不僅推高了硬體成本,還導致了過去一年中頂尖AI人才的招聘競爭變得異常激烈。AI新創公司Perplexity的創辦人兼執行長阿拉文德·斯里尼瓦斯(Aravind Srinivas)分享了他試圖從Meta挖角一位資深研究員的經歷。然而,該研究員因祖克柏擁有大量AI晶片而婉拒了邀請。

斯里尼瓦斯表示:「我試圖聘請一位非常資深的Meta研究員,他們的回答是:「等你有了1萬塊H100 GPU再來找我。」這一軼事生動地反映了AI晶片資源在人才爭奪戰中的關鍵作用。

隨著馬斯克、祖克柏等科技巨頭紛紛加大AI投資力度,全球AI技術競賽正進入白熱化階段。從Grok 3的巨額投入可以看出,未來AI產品的研發成本可能會進一步攀升。這不僅考驗著各大公司的資金實力,也將推動AI技術向更高水平邁進。

ADVERTISEMENT

在這場AI軍備競賽中,誰能在技術創新和商業應用之間找到平衡,誰就有可能在未來的AI時代中佔據優勢地位。我們拭目以待,Grok 3能否如馬斯克所言,成為一款「非常特別」的AI產品,為這場競賽帶來新的變數。

 

 

ADVERTISEMENT