NVIDIA發表搭載HBM3e記憶體的H200 GPU，同時帶來4連裝水冷版Quad GH200

NVIDIA在Supercomputing 2023（SC23）大會發表了使用頻寬更大的HBM3e記憶體的H200 GPU，此外也發表整合4組GH200 Superchip與水冷散熱方案的Quad GH200。

現有產品魔改再進化

H200 GPU以H100為基礎，並將原本80GB的HBM3記憶體升級為141GB的HBM3e，不但將容量提升約1.8倍，也將頻寬由原本的3.35TB/s提升至約為1.4倍的4.8TB/s。根據NVIDIA提供的數據，最高能在特定應用達到2倍效能表現。

• 延伸閱讀：NVIDIA最強AI晶片GH200登場：全球首款HBM3e GPU、比H100更快更強

NVIDIA也發表整合4組GH200 Superchip與水冷散熱方案的Quad GH200具有16PFLOPS的AI效能，並搭載288組處理器核心與總容量達2.3TB的記憶體（推測為4組480GB LPDDR5X搭配4組96GB HBM3），並將與Eviden、HPE等廠商合作推出伺服器產品。

▲ H200 GPU最大的改變為搭載容量、頻寬為141GB、4.8TB/s的HBM3 e記憶體，在GPT-3 175B、Llama 2 70B等大型語言模型可以帶來1.6、1.9倍效能，並在高效能運算模擬帶來2倍效能。

▲ NVIDIA表示隨著時間發展，大型語言模型的參數越來越多，運作時也需消耗更多運算資源。

▲ 為了改善整體效能表現，改用頻寬更大的HBM3e記憶體也是個解決方案。

▲ 透過改用HBM3 e記憶體，H200能帶來18倍於2021年推出的A100 GPU。

▲ Quad GH200以先前發表過的GH200 Superchip為基礎。

▲ Quad GH200整合4組GH200 Superchip與水冷散熱方案。

▲ Eviden將推出搭載2套Quad GH200的XH3000伺服器。

▲ HPE也會推出搭載Quad GH200的生成式AI解決方案。

▲ 歐洲高效能電腦運算聯合倡議（EuroHPC Joint Undertaking）、ParTec、Eviden 和 SiPearl等組織將合作在德國的於利希研究中心建置由24,000組GH200構成並透過Quantum-2 InfiniBand網路平台互連的Jupiter超級電腦，提供超過90EFLOPS的效能。

更多NVIDIA與SC23大會的資訊，可以參考SC23官方網站。