NVIDIA黃仁勳為什麼說CPU 已落伍？實例證明 GPU 訓練大型語言模型成本可降低 96%

在美國資料平台Snowflake的開發者大會上，NVIDIA創始人黃仁勳表示，我們現在正經歷60年來第一次根本性的運算平台變革。如果你明年再買一大堆CPU，你的運算吞吐量並不會增加，必須依靠GPU來提升。

不過，這個說法是怎麼來的呢？

黃仁勳這個說法首次出現在 2023 年Computex上的開幕演講，其 GPU 可以大幅降低訓練大型語言模型（LLM）的成本和耗能。讓我們回顧一下黃仁勳是怎麼說明的。

延伸閱讀：黃仁勳秀出NVIDIA「超級GPU」超級晶片開始量產，表示AI伺服器買越多省越多

傳統的摩爾定律已經過時

黃仁勳在演講中表示，他認為生成式人工智慧和加速計算是未來計算的方向，而非CPU。他認為傳統的摩爾定律已經過時，未來的性能提升將主要來自生成式人工智慧和基於加速計算的方法。

他在演講中展示了一份 LLM 的總體擁有成本（Total Cost of Ownership，TCO）分析：首先，他們計算了訓練一個 LLM 所需的 960 個 CPU 組成的伺服器叢集的完整成本（包括網路、機箱、互連等所有裝置），發現這需要花費約 1,000 萬美元（約 3 億 7 千萬台幣），並消耗 11 千兆瓦時的電力。

相比之下，如果保持成本不變，購買一個價值 1,000 萬美元的 GPU 叢集，可以在同樣的成本和更少的電力消耗（3.2 千兆瓦時）下訓練 44 個 LLM。如果轉而保持電力消耗不變，那麼可以通過 GPU 叢集實現 150 倍的加速，以 11 千兆瓦時的電力消耗訓練 150 個 LLM，但這需要花費 3,400 萬美元。