NVIDIA於SC24發表H200 NVL運算卡與GB200 NVL4運算模組，提供更彈性產品組合

NVIDIA於SC24大會發表PCIe介面H200 NVL運算卡，以及整合4組Blackwell GPU的GB200 NVL4運算模組，提供企業以更加彈性的方式升級、建置加速運算伺服器。

4連裝運算卡與2連裝Superchip

NVIDIA在Supercomputing 2024超級運算大會（以下簡稱SC24），發表了多樣軟、硬體產品，筆者將針對H200 NVL運算卡與GB200 NVL4運算模組進行介紹。

延伸閱讀：
GTC 24：NVIDIA Blackwell AI運算平台架構解析，將72組GB200組成超大型GPU
GTC 24系列文章

H200 NVL是採用PCIe介面、2槽尺寸的運算卡，並搭載Hopper GPU（繪圖處理器），適合安裝在低功耗、氣冷式伺服器機架，也能搭配現有伺服器進行升級，提供更高的AI與加速運算效能。

H200 NVL最大的特色就是能透過類似「SLI橋接器」的專屬NVLink連接器串接4張運算卡成為單一運算叢集，而在伺服器空間、散熱、供電允許的範圍下，也能安裝2組運算叢集（共8張H200 NVL）。新一代NVLink能夠提供7倍於PCIe Gen5的GPU對GPU資料傳輸頻寬，大幅提升多GPU之HPC（高效能運算）、LLM（大型語言模型）的微調和推論等運算效能。

NVIDIA指出根據調查，大約有70%的企業伺服器機架之電源功率低於20 KW並採用氣冷散熱方案，正好與PCIe介面運算卡的特性相符。而H200 NVL能讓企業依據需求在機架中選擇安裝1、2、4、8組運算卡，將更高的運算能力融入更小的空間。

另一方面，NVIDIA也發表了適合用於單一伺服器的GB200 NVL4運算模組，它等於整合2組GB200 Superchip，總共具有2組Grace CPU（中央處理器）以及4組Blackwell GPU，而各GPU之間透過NVLink互相連接，提供容量高達1.3 TB、可供各GPU存取的一致性記憶體（Coherent Memory），能夠容納量體更大、參數更多的AI模型。

▲ H200 NVL為PCIe介面運算卡，可以透過專屬NVLink連接器串接4張運算卡成為單一運算叢集並共享容量高達1.3 TB的記憶體。

▲ GB200 NVL4運算模組（右）具有2組Grace CPU（中央處理器）以及4組Blackwell GPU，簡單地說可以是為2聯裝GB200 Superchip。

▲ NVIDIA將與多位合作夥伴共同推出搭載H200 NVL、Grace Hopper Superchip、GB200 Superchip、GB200 NVL4運算模組的伺服器與系統，提供企業多元彈性的採購選擇。

H200 NVL效能分析

NVIDIA目前並沒討論GB200 NVL4運算模組的效能表現，但是已經在簡報中揭露了H200 NVL的效能數據。

與H100 NVL相比，H200 NVL的記憶體容量增加為1.5倍，頻寬則為1.2倍，在AI模型微調的效能提高70%。至於HPC運算效能則提高30%，若與前代Ampere架構相比效能表現更提高至2.5倍。

H200 NVL具有完整配套的軟體工具，並附帶5年NVIDIA AI Enterprise訂閱服務，其中包含NVIDIA NIM微服務，能夠協助企業安全地部署高效能AI模型，加速導入AI與HPC的應用。

▲ 鴻海科技集團將在美國、墨西哥和台灣設立新工廠擴大Blackwell的測試和生產，並透過Omniverse的數位孿生縮短設施上線時程。

NVIDIA也說明，鴻海科技集團透過Omniverse平台建立工廠的數位孿生，使團隊能夠整合Siemens Teamcenter X、Autodesk Revit等應用程式內的設施和設備資訊，於實際施工前就先在數位孿生中進行最佳規劃，例如分析安裝攝影機的最佳位置，以強化AI視覺檢測流程。

鴻海科技集團計劃運用Omniverse和AI相關技術，在全球複製其精密生產線，加速部署符合統一標準的高品質生產設施，提高公司的競爭優勢和市場適應能力，旗下台灣工廠將於 12 月開始測試和生產Blackwell，而墨西哥工廠將於明年初開始生產。