NVIDIA創辦人暨執行長黃仁勳於Computex CEO Keynote主題演講上宣布Grace Hopper超級晶片已開始量產與多項資料中心相關最新動態，也說明了AI伺服器的價格優勢。

The more you buy, the more you save

黃仁勳在演講中提到，資料中心的成本結構相當複雜，簡單來說可以粗分為硬體建置、網路建置、軟體部署、資源使用率、採購營運、生命週期、電力消耗等因素，此外還要考慮資料中心用地成本（某種程度土地可能不比機器便宜），因此如果我們光是看到採用NVIDIA GPU（繪圖處理器）作為主要運算單元的AI伺服器單價很高，就覺得它比較昂貴，實際上不一定是正確的。

延伸閱讀：NVIDIA於GTC 2022發表全新Hopper GPU架構，還可與Grace合體變身超級晶片

舉例來說，由960個處理器組成的伺服器要價美金1,000萬元，電力消耗為11GWh，能夠提供1倍的大型語言模型（Large Language Model）處理效能，然而由172組GPU組成的AI伺服器要價美金3,400萬元，但是能在同樣消耗11GWh電力的前提下，提供150倍效能。

黃仁勳也表示，如果我們的目的是解決問題，那應該是可以接受用不同方式達到相同成效，那麼只需使用由2組GPU組成的AI伺服器即可達到同樣的效能，這套系統只需要美金40萬元，而且可以節省98.82%電力消耗，只需花費0.13GWh即可提供一樣的效能，還可大幅節省擺放伺服器的空間（代表節省機房的地價或房租）。所以說起來，The more you buy, the more you save（你買越多，你省越多）的名言還是有點道理。

在演講中提到的另一個重點，是GH200 Grace Hopper超級晶片已正式開始量產，它在單一運算模組上整合Grace處理器叢集與Hopper GPU，總共具有72組Arm Neoverse V2架構處理器核心，以及採用Hopper架構的H100 GPU，內建96GB HBM3高頻寬記憶體與576GB GPU記憶體，透過NVLink-C2C互連技術提供了高達900GB/s的互連頻寬。

如果將搭載Grace Hopper超級晶片的刀鋒伺服器堆疊起來，並透過NVLink交換器連接，最高可以建構由256組Grace Hopper組成的節點，提供114TB GPU記憶體與230TB/s的NVLink頻寬，並提供1EFLPOS的效能，幾乎等同於現今效能最強的Frontier超級電腦。

▲ 黃仁勳在開場階段拿著GeForce RTX 4060 Ti顯示卡以及搭載GeForce RTX顯示晶片的筆記型電腦登場。

▲ 資料中心的成本結構相當複雜，簡單來說可以粗分為硬體建置、網路建置、軟體部署、資源使用率、採購營運、生命週期、電力消耗等因素，此外還要考慮資料中心用地成本。

▲ 由960個處理器組成的伺服器要價美金1,000萬元，電力消耗為11GWh，能夠提供1倍的大型語言模型（Large Language Model）處理效能。

▲ 由172組GPU組成的AI伺服器要價美金3,400萬元，但是能在同樣消耗11GWh電力的前提下，提供150倍效能。

▲ 由2組GPU組成的AI伺服器即可達到同樣的效能，這套系統只需要美金40萬元，而且可以節省98.82%電力消耗。

▲ 黃仁勳宣布GH200 Grace Hopper超級晶片已正式開始量產。

▲ GH200 Grace Hopper超級晶片整合Grace處理器叢集與Hopper GPU。

▲ 在多款效能測試中，GH200的表現大幅領先x86處理器或x86處理器搭配H100 GPU。

▲ 搭載Grace Hopper超級晶片的刀鋒伺服器能夠透過NVLink交換器連接，並堆疊組成超級電腦。

▲ 具有256組Grace Hopper超級晶片的超級電腦能夠提供1EFLOPS運算能力，緊追在目前唯一具有超過1EFLOPS效能的Frontier超級電腦之後。

會場也有輕鬆時刻

黃仁勳也在演說中介紹了遊戲專用的Avatar Cloud Engine（ACE）for Games客製化AI模型代工服務，可以利用AI為遊戲中的NPC（非玩家角色）賦予智慧，強話與玩家間的互動，讓玩家們更沉浸置身於遊戲之中的感覺。

這項服務結合多項NVIDIA技術，包括使用NEMO透過專屬資料建構客製化語言模型，開發者可依照遊戲故事的世界觀及人物背景調整，並且利用NeMo Guardrails確保不會出現不良內容。此外還能透過Riva文字轉語音實現即時口說對話，並透過Omniverse Audio2Face，讓角色臉部表情與嘴型隨對話內容變化。

演講過程也有許多有趣的輕鬆時刻，例如黃仁勳在展示透過AI將文字轉換成音樂歌曲時，邀請在場聽眾一起同聲高歌，也在介紹視訊通話的投影片埋入小彩蛋。

▲ ACE for Games能為遊戲的NPC加入更生動的互動效果。請點我看動態展示。