經費在燃燒！祖克柏說如果要Llama 4如期推出，Meta還需要Llama 3 10倍以上的算力

Meta 公司開發了最大的基礎開源大型語言模型之一 Llama，該公司認為未來將需要更強的運算能力來訓練模型。

祖克柏（Mark Zuckerberg）在 Meta 第二季度財報電話會議上表示，為了訓練 Llama 4，公司需要比訓練 Llama 3 多 10 倍的運算能力。但他仍然希望 Meta 能夠提高訓練模型的能力，而不是落後於競爭對手。

祖克柏說：「訓練 Llama 4 所需的運算量很可能是我們訓練 Llama 3 所需的計算量的近 10 倍，而且未來的模型還將繼續增長。很難預測未來幾代的發展趨勢。但在這一點上，考慮到啟動新推理項目的籌備時間較長，我寧願冒險在需要之前建設能力，而不是為時已晚。」

Meta於今年 4 月發佈了擁有 800 億個參數的 Llama 3。該公司上週發佈了該模型的升級版，名為Llama 3.1 405B，擁有 4050 億個參數，成為 Meta 最大的開源模型。

Meta 公司首席財務長蘇珊-李（Susan Li）也表示，公司正在考慮不同的資料中心項目，並建設能力來訓練未來的人工智慧模型。她說，Meta 預計這項投資將在 2025 年增加資本支出。

經費在燃燒

訓練大型語言模型是一項成本高昂的工作。在伺服器、資料中心和網路基礎設施投資的推動下，Meta 的資本支出從去年同期的 64 億美元增至 2024 年第二季度的 85 億美元，增長了近 33%。

根據The Information 的報導，OpenAI 在訓練模型上花費了 30 億美元，另外還以折扣價從微軟租用了 40 億美元的伺服器。

「隨著我們擴大生成式人工智慧的訓練能力，以推進我們的基礎模型，我們將繼續以靈活的方式建設我們的基礎設施。這將使我們能夠將訓練能力用於基因人工智慧推理或我們的核心排名和推薦工作，當我們預計這樣做會更有價值時，我們就會這樣做，」李在電話會議上說。

在電話會議上，Meta 還談到了面向消費者的Meta AI 的使用情況，並表示印度是其聊天機器人的最大市場。但李指出，公司並不指望 Gen AI 產品能對收入做出重大貢獻。