根據Meta一份內部備忘錄顯示,2022 年夏末,Meta 首席執行長祖克柏(Mark Zuckerberg)召集公司高層團隊,分析公司計算能力長達五個小時,特別是處理尖端人工智慧的能力。
備忘錄指出,儘管 Meta 在人工智慧研究方面進行了高調的投資、並且公司越來越依賴人工智慧來支援其增長,但在主要業務採用昂貴的人工智慧最佳化軟硬體系統上,這家社群媒體巨頭的速度比較緩慢,這妨礙了其在規模擴張中跟上創新步伐的能力。
會議中提出,如果要投入AI工作,Meta 需要「從根本上改變我們的物理基礎設施設計、軟體系統以及提供穩定平台的方法」。據說,此次改組使 Meta 的資本支出每季度增加了約 40 億美元,幾乎是 2021 年的兩倍,並導致其暫停或取消了在四個地點建立資料中心的計畫。
而 Meta 正面臨著嚴峻財務困境,自去年 11 月以來,該公司一直在進行規模空前的裁員。
與此同時,去年 11 月 ChatGPT 橫空出世,引發了科技巨頭之間的競爭,它們紛紛發佈生成式 AI 產品。而五位消息人士稱,生成式 AI 需要大量的計算能力,這加劇了 Meta 擴容的緊迫性。
不信老黃的GPU,定製自家晶片並沒比較省
Meta 在人工智慧上投入 GPU 硬體的腳步比別家晚,是主要問題之一。
GPU 晶片非常適合人工智慧處理,因為它們可以同時執行大量任務,縮短了處理數十億條資料所需的時間。尤其是老黃很早就將自家的GPU加入深度學習的方案,穩穩的搶佔了市場。當然,GPU 晶片價格較高,而提早佈局的 Nvidia 控制著 80% 的市場,並在相應的軟體方面保持領先地位。
不過,直到去年,Meta 主要還是使用大量普通 CPU 來運行 AI 工作負載。這導致競爭對手在 AI 領域的發展超過了 Meta。他們使用 GPU 晶片並擁有更好的 AI 軟體,因此能夠更快地開發新的 AI 產品和服務。
據兩位消息人士透露,Meta 公司一開始使用自己內部設計的定製晶片來訓練 AI。但到了 2021 年,這種雙管齊下的方法被證明比以 GPU 為核心建構的方法更慢、效率更低效。GPU 晶片在運行不同類型的模型方面也比 Meta 的晶片更加靈活。
祖克柏轉向元宇宙,AI資源再分散
後來,祖克柏又將公司方向轉向元宇宙,算力不足使得公司無法應對威脅,包括 TikTok 的崛起和蘋果主導的廣告隱私變化,AI的資源更是不足。
這些問題引起了前 Meta 董事會成員彼得・蒂爾(Peter Thiel)的關注。2022 年初,他辭去了職務,沒有解釋原因。
據兩位知情人士透露,在他離任前的一次董事會會議上,蒂爾指出祖克柏和他的高層們過於專注於元宇宙的發展,而忽視了 Meta 的核心社群媒體業務,這讓公司容易受到 TikTok 等競爭對手的挑戰。
Meta 本來計畫在 2022 年推出定製晶片,但後來放棄,轉而在同年訂購了數十億美元的 Nvidia GPU 晶片。
可是,此時 Meta 已經落後於Google等同行,後者在 2015 年開始部署自己定製的 GPU 版本,稱為 TPU。
Meta 接下來開始重組人工智慧部門,任命了兩位新的工程師領導。在這段時間內,數十位高層離開了 Meta 公司,幾乎全部更換了人工智慧基礎設施領導層。
接下來,Meta 公司開始改造其資料中心,以適應引進的 GPU,這些晶片需要更多的功率和產生更多的熱量,必須緊密地聚集在一起,並在它們之間進行專門的網路連線。這項工作需要大量的網路容量和新的液冷系統來管理叢集的熱量,因此需要對它們進行「完全重新設計」。
隨著工作的推進,Meta 開始內部計畫開發一款更為雄心勃勃的新型晶片,類似於 GPU,既能訓練人工智慧模型,又能進行推理。兩位消息人士透露,該計畫將於 2025 年左右完成。
起步太晚,沒有實質進展
雖然 Meta 正在擴大 GPU 規模,但微軟和Google等公司已經在推廣商業生成式人工智慧產品給終端用戶,而 Meta 在這方面沒有太多實質性進展。
Meta 首席財務長在二月份承認,公司目前沒有將大部分運算能力用於生成式工作。她說:「基本上我們所有的人工智慧能力都用於廣告、動態消息和 Reels。」Reels 是 Meta 公司類似於 TikTok 的短影片,廣受年輕使用者歡迎。
據四位消息人士透露,Meta 公司直到 ChatGPT 在去年 11 月份推出後,才開始優先考慮開發生成式人工智慧產品。雖然公司的 AI 研究部門自 2021 年底以來一直在發佈技術原型,但沒有專注於將其轉化為產品。
然而,隨著投資者的興趣不斷高漲,祖克伯在今年 2 月份宣佈成立了一支新的高層次生成式人工智慧團隊,他說這個團隊將加速該公司在這一領域的工作。
首席技術長安德魯・博斯沃思也在本月表示,生成式人工智慧是他和祖克伯花費最多時間的領域,並預測 Meta 公司將在今年推出新產品。
兩位熟悉新團隊的人士表示,該團隊的工作處於早期階段,主要是建構基礎模型,這是一種核心程式,以後可以進行微調和適應不同的產品。
Meta 公司發言人 Carvill 表示,該公司已經在不同的團隊上開發生成式人工智慧產品超過一年了。他確認,在 ChatGPT 推出後的幾個月裡,這項工作加速了。
請注意!留言要自負法律責任,相關案例層出不窮,請慎重發文!