各大 AI 模型訓練成本大比拚：Google Gemini Ultra 高達 1.9 億美元

像 OpenAI 的 ChatGPT、Google的 Gemini Ultra 這樣的高級 AI 模型，訓練它們通常需要數百萬美元的費用，且該成本還在迅速上升。

隨著計算需求的增加，訓練它們所需的計算能力的費用也在飆升。為此，AI 公司正在重新考慮如何訓練這些生成式 AI 系統。在許多情況下，這些策略包括在當前的增長軌跡下降低計算成本。

訓練成本是如何確定的？

史丹佛大學與研究公司 Epoch AI 合作，根據雲端運算租金估算了 AI 模型的訓練成本。雙方所分析的關鍵因素包括模型的訓練時長、硬體的利用率和訓練硬體的價值。

儘管許多人猜測，訓練 AI 模型的成本變得越來越高，但缺乏全面的資料來支援這些說法。而史丹佛大學發佈的《2024 年 AI 指數報告》正是支援這些說法的罕見來源之一。

不斷膨脹的訓練成本

下表展示了自 2017 年以來，經通脹調整後的主要 AI 模型的培訓成本：

年份	模型名稱	創建者	訓練成本（經通脹調整）
2017	Transformer	Google	$930美元
2018	BERT-Large	Google	$3288美元
2019	RoBERTa Large	Meta	$160,018美元
2020	GPT-3 175B (davinci)	OpenAI	$4,324,883美元
2021	Megatron-Turing NLG 530B	微軟/NVIDIA	$6,405,653美元
2022	LaMDA	Google	$1,319,586美元
2022	PaLM (540B)	Google	$12,389,056美元
2023	GPT-4	OpenAI	$78,352,034美元
2023	Llama 2 70B	Meta	$3,931,897美元
2023	Gemini Ultra	Google	$191,400,000美元

去年，OpenAI 的 GPT-4 培訓成本估計為 7840 萬美元，遠高於Google PaLM （540B）的訓練成本。Google PaLM 較 GPT-4 僅早一年推出，但訓練成本為 1240 萬美元。

相比之下，2017 年開發的早期 AI 模型 Transformer 的訓練成本為 930 美元。該模型在塑造當前所使用的許多大型語言模型的體系結構方面起著基礎性作用。

Google的 AI 模型 Gemini Ultra 的訓練成更高，達到了驚人的 1.91 億美元。截至 2024 年初，該模型在幾個指標上都超過了 GPT-4，最引人注目的是在“大規模多工語言理解”（MMLU）基準測試中勝出。這一基準是衡量大型語言模型能力的重要標尺。例如，它以評估 57 個學科領域的知識和解決問題的熟練程度而聞名。