NVIDIA與Amazon於AWS re:Invent大會上宣布策略合作，以GH200 NVL32打造Project Ceiba超級電腦

NVIDIA在Amazon AWS re:Invent大會宣佈GH200 NVL32 GPU與Project Ceiba超級電腦，並與Amazon共同推出多款執行個體與雲端服務。

這顆GPU跟機櫃一樣大

NVIDIA將這次發表的GH200 NVL32針對生成式AI等應用設計，並定位為機櫃尺寸的GPU。它在單一機櫃內整合32組GH200 Grace Hopper Super Chip，並透過NVLink和NVSwitch技術互連，組成具有4.5TB HBM3e高頻寬記憶體，以及20TB記憶體總量的大型運算節點，並採用水冷散熱方案。

延伸閱讀：NVIDIA發表搭載HBM3e記憶體的H200 GPU，同時帶來4連裝水冷版Quad GH200

AWS（Amazon Web Services）將成為首間將全新多節點GH200導入雲端的雲端服務供應商，可將32組GH200組成單一Amazon Elastic Compute Cloud（Amazon EC2）執行個體，並推出採用GH200 NVL32的DGX Cloud人工智慧訓練即服務（Training as a Service，TaaS），讓開發者可以在單一執行個體中使用容易極大的共享記憶體，加速訓練生成式人工智慧和超過1兆組參數的大型語言模型（LLM）。

對於需要更高的使用者，還可進一步由AWS Nitro System高階虛擬化和Amazon EC2 UltraClusters超大規模叢集等技術將運算能量進而擴展至上千組GH200，滿足不同量級的使用需求。

NVIDIA與Amazon也合作推動Project Ceiba超級電腦計畫，它將配備16,384組GH200，並由Amazon EFA技術互連，提供高達65EFLOPS的AI運算效能，將成為全球最快、基於GPU的AI超級電腦。

在其它服務部分，Amazon也將推出基於H200的P5e執行個體，適用於大規模和尖端的生成式AI和HPC（高效能運算）等工作負載，以及基於L40S的G6e執行個體與基於L4的G6執行個體，適用於AI模型微調、推論以及多媒體創作等應用。其中G6e執行個體特別適合搭配NVIDIA Omniverse進行3D開發、數位孿生等應用。

▲ NVIDIA與Amazon在多項大型語言模型、推薦系統等AI應用有著密切合作。

▲ GH200 NVL32在單一機櫃內整合32組GH200，AI運算效能高達128PFLOPS，具有4.5TB HBM3e高頻寬記憶體與20TB總記憶體。

▲ Project Ceiba超級電腦由16,384組GH200組成，總記憶體容量高達9.8PB，並具有65EFLOPS的AI運算效能。

▲ Amazon也將推出基於H200、L40S、L4等GPU的P5e、G6e、G6等執行個體。

多款軟體與群端服務

NVIDIA也發表了多款軟體與服務，其中NeMo Retriever能用於建置、客製化和部署生成式AI模型，能夠藉由NVIDIA最佳化的演算法讓生成式AI應用程式提供更準確的回應，協助開發人員可以建立客製化的生成式AI聊天機器人、Copilot助理和摘要工具，讓這些AI應用程式存取企業資料庫，並準確透過生成式AI的智慧提高生產力。

AWS也即將提供Isaac Sim機器人開發平台和L40S GPU，將強大的AI運算與多媒體加速相結合，可在Omniverse帶來高於前代產品3.8倍的效能提升，加速工程和機器人團隊的工作流程。

此外用於藥物研發生成式AI平台BioNeMo也將登陸AWS，讓醫療研發人員能在雲端靈活整合多種NVIDIA加速運算單元，加速雲端伺服器擴大模型訓練和部署規模。

▲ NeMo Retriever有助於企業加速生成式AI模型的建置、客製化和部署。

▲ 舉例來說，企業可以快速為大型語言模型「外掛」資料庫，提高回應的準確度。

▲ Isaac Sim機器人開發平台和L40S GPU能加速機器人開發、模擬與訓練。

▲ Alchemab Therapeutics、Basecamp Research、Character Biosciences、Evozyne、Etcembly和LabGenius等生技新創公司已經使用AWS，並藉由BioNeMo以生成式AI加速藥物開發。此次合作提供更多快速擴展雲端運算資源的方暗，以利開發基於生物分子資料訓練的生成AI模型。

NVIDIA創辦人暨執行長黃仁勳表示，生成式AI正在改變雲端工作負載，並將加速運算作為多樣化內容生成的基礎。在向每位客戶提供經濟高效、最先進生成式AI慧的共同使命驅動下，NVIDIA和AWS將在AI基礎設施、加速函數庫、基礎模型和生成式AI等完整運算堆疊持續。