NVIDIA公布H100 GPU MLPerf效能成績，最高較前代A100提升6.7倍

NVIDIA公布最新MLPerf效能成績，除了新款H100 GPU具有亮眼表現之外，現有的A100也透過軟體最佳化而有所進步。

AI訓練基準測試橫掃千軍

MLPerf是產業用於衡量AI效能的測試基準，包括Amazon、Arm、Baidu、Google、Intel、Meta、Microsoft，以及哈佛大學、史丹佛大學、多倫多大學在內的眾多業者與學術單位皆支持這項標準。

在最新公布的MLPerf效能成績中，採用Hopper架構的H100 GPU在所有企業作業負載的8項測試中皆創下訓練模型的世界紀錄，其中表現最好的BERT項目成績較前代A100 GPU高出6.7倍

在獨立的MLPerf HPC基準測試之超級電腦科學作業負載中，A100 GPU在AI訓練模型所有測試項目都拔得頭籌。而A100 GPU也透過不斷改善的軟體堆疊，在CosmoFlow測試訓練AI模型的成績較2年前首次MLPerf HPC測試的最佳結果還要高出9倍。在同樣的作業負載中，每個A100晶片效能也比其他產品高出66倍之譜。

▲ H100 GPU的MLPerf效能成績前代A100最多提升6.7倍，A100也透過軟體最佳化提升2.5倍。

▲ 這次公開最新的測試成績為MLPerf訓練v2.1與MLPerf HPC v2.0。

▲ MLPerf訓練v2.1具有多種影像分類、物品偵測、醫學影像、語音辨識、自然語言處理、推薦、增強學習等項目，而MLPerf HPC v2.0則有天體物理學、天氣預測及分子動力學等項目。

▲ 從測試圖表可以看到H100與A100的進步。圖中1X的基準線為A100初次提交的成績。

▲ A100 SuperPOD的效能遠優於Intel的Gaudi2、Sapphire Rapids等處理器。（圖表單位為訓練使用時間，越短越好，打叉為沒有提交成績）

▲ H100在BERT測試項目中的表現比Gaudi2高出2.4倍，比Sapphire Rapids高出27倍。

NVIDIA表示受益於Transformer引擎，讓Hopper架構GPU在訓練用於自然語言處理的熱門BERT模型時有極為出色的表現，H100 GPU業在初登場打破MLPerf 推論基準測試紀錄的2個月後，又在產業組織的AI訓練最新測試中，創下處理企業AI作業負載的全新世界紀錄。這些測試結果顯示，對於建立與部署最先進AI模型以要求最高表現的用戶來說，H100是最佳選擇。