NVIDIA公布MLPerf v3.1推論測試成績，GH200首次亮相校能最高較H100提升17%

NVIDIA公布了H100於MLPerf v3.1推論測試的成績，並說明GH200 Grace Hopper Superchip的效能最高能較H100提升17%。

MLPerf v3.1依然全勤

NVIDIA公布MLPerf最新版本v3.1推論測試的成績，新版測試主要的變動為更新推薦系統測試，以及新增GPT-J 6B測試，H100依然提交了所有項目的成績。

• 延伸閱讀：NVIDIA發表新版MLPerf 3.0測試成績，加入大型語言模型與推薦系統基準測試

▲ NVIDIA在說明會中強調了MLPerf v3.1推論測試的變動，以及GH200、L4、Jetson Orin等裝置的測試成績。

▲ MLPerf v3.1主要是更新推薦系統測試使用的DLEM-DCNv2，以及新增GPT-J 6B測試。

▲ DLEM-DCNv2具有新的演算法，能提供更高的推薦參數量（Recommendations Parameter Count），GPT-J 6B則是具有60億組參數的「較小型」大型語言模型（GPT-3具有1,750億組參數）。

▲ NVIDIA表示能提交所有測試成績相當重要，代表自家產品有能力勝任多樣的AI運算需求。舉例來說，透過語音詢問AI攝影機拍到的花是什麼品種，並讓結果同樣以語音輸出，就需要用到語音辨識、自然語言處理、影像辨識、推薦系統、語音合成等AI管線。

▲ H100在MLPerf v3.1的成績領先Google、Qualcomm、Intel等對手。其中打叉的項目為沒有提交成績。

▲ GH200具有更大容量的記憶體，也支援處理器與GPU之間的動態電力調配，效能最高能較H100提升17%。

▲ 根據NVIDIA提供的數據，GH200在多項測試項目領先H100的幅度介於2%~17%之間。

▲ L4是單槽、半高的PCIe介面AI運算卡，且不需額外插電，適合安裝在任何現有伺服器。它也一樣完成所有MLPerf測試項目，且能提供6倍於x86處理器的推論效能，若是處理影像相關運算，更是能受益於內建的專屬媒體引擎，將效能增益拉到120倍之譜。

▲ Jetson Orin系列運算平台則是透過軟體最佳化，帶來61%至84%的效能提升。

GH200將Grace處理器與Hopper GPU整合為單一超級晶片，具有容量更大的記憶體，頻寬也更大，並且能在處理器和GPU之間自動調節電力，提高整體效能表現。