馬斯克預告用了10萬張NVIDIA H100卡來訓練Grok 3，預計年底上線

科技巨擘埃隆·馬斯克(Elon Musk)近日在社群媒體X上引發熱議，他透露即將推出的AI聊天機器人Grok 3將會「非常特別」。馬斯克表示，這款新一代AI經過了10萬張H100晶片的訓練，規模之大令人驚嘆。

H100是NVIDIA開發的圖形處理單元，又稱Hopper，專門用於處理大型語言模型(LLMs)的資料。隨著AI技術的快速發展，這類晶片已成為科技公司爭相搶購的戰略資源。

Grok 3的天價訓練成本：高達40億美元

每塊NVIDIA H100 AI晶片的市場價格約在3萬至4萬美元之間。粗略估算，單單訓練Grok 3就使用了價值30億至40億美元的AI晶片。這一驚人數字引發了外界對馬斯克公司資金實力的關注。

目前尚不清楚這些晶片是否由馬斯克的公司直接購買。有報導稱，馬斯克旗下的xAI公司正在與甲骨文洽談，計劃在未來幾年內投資100億美元租用雲端伺服器。近年來，馬斯克的公司已直接採購了大量H100晶片。據悉，馬斯克曾將原本供特斯拉使用的價值5億美元的H100晶片轉給了X公司。

Grok系列演進：從2萬到10萬張H100的增幅

相較於前代產品，Grok 3在訓練規模上實現了巨大飛躍。今年4月，馬斯克在接受挪威主權基金負責人尼科萊·坦根(Nicolai Tangen)採訪時透露，訓練Grok 2需要約2萬張H100晶片。而Grok 3的訓練規模則達到了驚人的10萬張，增幅高達5倍。

目前，xAI已發布了Grok-1和Grok-1.5版本，最新版本僅對X平台上的早期測試者和現有用戶開放。馬斯克在最新的社交媒體貼文中透露，Grok 2計劃於今年8月推出，而Grok 3有望在年底亮相。

10萬張H100晶片的規模雖然驚人，但在當前的AI競賽中並非孤例。其他科技巨頭如Meta也在大量採購GPU晶片。Meta執行長馬克·祖克柏(Mark Zuckerberg)今年1月曾表示，到2024年底，Meta將購買約35萬塊NVIDIA H100晶片，加上其他類型的GPU，Meta的AI晶片總量將達到約60萬塊。

如果按照這一規模，Meta在建構自家AI能力上的投資將高達180億美元左右。這一數字充分說明了科技巨頭對AI技術的重視程度和投入力度。